Shannon Entropy
シャノン熵 H(X)=-∑p(x)log p(x) は確率変数の不確かさを測る量であり、情報理論の中核である。
目的
情報量と不確かさを定量化し、エンコードやデシジョンツリーの分割を導く。
メカニズム
エントロピーは自己情報量 -log p(x) の期待値である。一様分布はエントロピーを最大化し（最も不確か）、退化分布のエントロピーは 0 である。決定木は情報利得（エントロピーの減少）が最大の分割を選ぶ。通信路容量 = max H(X)-H(X|Y)。
ユースケース
- 情報のエンコード
- デシジョンツリーの分割
- クリプト安全性の評価