KL Divergence
La divergence KL D_KL(P||Q)=∑p(x)log(p(x)/q(x)) mesure la différence entre distributions P et Q ; elle est asymétrique et non négative.
Objectif
Mesurer les différences entre distributions de probabilité, utilisée en inférence variationnelle et sélection de modèles.
Mécanisme
D_KL≥0 avec égalité si et seulement si P=Q. Elle est asymétrique, donc pas une métrique. Entropie croisée H(P,Q)=H(P)+D_KL(P||Q). Minimiser l'entropie croisée en apprentissage revient à minimiser KL (H(P) étant fixe).
Cas d’usage
- Inférence variationnelle
- Évaluation de modèles
- Théorie de l'information