KL Divergence
KL ダイバージェンス D_KL(P||Q)=∑p(x)log(p(x)/q(x)) は、分布 P と Q の差を測る。非対称かつ非負である。
目的
確率分布間の差を測る。変分推論やモデル選択に使われる。
メカニズム
D_KL≥0 で、等号成立は P=Q のときのみである。非対称であるため距離ではない。交差エントロピー H(P,Q)=H(P)+D_KL(P||Q)。機械学習で交差エントロピーを最小化することは KL 最小化と等価である（H(P) は固定のため）。
ユースケース
- 変分推論（ベイズ）
- モデル評価
- シャノンの情報理論