KL Divergence
KL 散度 D_KL(P||Q)=∑p(x)log(p(x)/q(x)) 度量分布 P 与 Q 的差异，非对称非负。
用途
度量概率分布差异，用于变分推断与模型选择。
机制
D_KL≥0 等号当 P=Q。非对称故非度量。交叉熵 H(P,Q)=H(P)+D_KL(P||Q)。机器学习最小化交叉熵等价最小化 KL（因 H(P) 固定）。
用例
- 变分推断
- 模型评估
- 信息论
KL 散度 D_KL(P||Q)=∑p(x)log(p(x)/q(x)) 度量分布 P 与 Q 的差异，非对称非负。
度量概率分布差异，用于变分推断与模型选择。
D_KL≥0 等号当 P=Q。非对称故非度量。交叉熵 H(P,Q)=H(P)+D_KL(P||Q)。机器学习最小化交叉熵等价最小化 KL（因 H(P) 固定）。