KL Divergence
La divergencia KL D_KL(P||Q)=∑p(x)log(p(x)/q(x)) mide la diferencia entre las distribuciones P y Q; es asimétrica y no negativa.
Propósito
Medir diferencias entre distribuciones de probabilidad, usada en inferencia variacional y selección de modelos.
Mecanismo
D_KL≥0 con igualdad si y solo si P=Q. Es asimétrica, por tanto no es una métrica. Entropía cruzada H(P,Q)=H(P)+D_KL(P||Q). Minimizar la entropía cruzada en aprendizaje automático equivale a minimizar KL (pues H(P) es fija).
Casos de uso
- Inferencia variacional
- Evaluación de modelos
- Teoría de la información