Mutual Information
相互情報量I(X;Y)=H(X)-H(X|Y)は2つの確率変数間の依存関係を測る指標であり、非負かつ対称である。
目的
変数間で共有される情報量を定量化し、特徴量選択やクラスタリング評価に用いる。
メカニズム
I(X;Y)=D_KL(P(X,Y)||P(X)P(Y))であり、同時分布と独立分布の間のKLダイバージェンスを測る。XとYが独立である場合のみI=0となる。情報ボトルネックや特徴量選択では相互情報量の最大化を利用する。
ユースケース
- フィーチャー選択
- 情報ボトルネック
- クラスタリング評価