KL Divergence
Die KL-Divergenz D_KL(P||Q)=∑p(x)log(p(x)/q(x)) misst den Unterschied zwischen den Verteilungen P und Q; sie ist asymmetrisch und nichtnegativ.
Zweck
Unterschiede zwischen Wahrscheinlichkeitsverteilungen messen, genutzt in Variationsinferenz und Modellwahl.
Mechanismus
D_KL≥0 mit Gleichheit genau wenn P=Q. Sie ist asymmetrisch, also keine Metrik. Kreuzentropie H(P,Q)=H(P)+D_KL(P||Q). In maschinellem Lernen ist die Minimierung der Kreuzentropie äquivalent zur KL-Minimierung (da H(P) fix ist).
Anwendungsfälle
- Variationsinferenz
- Modellbewertung
- Informationstheorie