Mutual Information
Die gegenseitige Information I(X;Y)=H(X)-H(X|Y) misst die Abhängigkeit zwischen zwei Zufallsvariablen; sie ist nichtnegativ und symmetrisch.
Zweck
Quantifiziert die zwischen Variablen geteilte Information, genutzt in der Merkmalsauswahl und Cluster-Evaluierung.
Mechanismus
I(X;Y)=D_KL(P(X,Y)||P(X)P(Y)) misst die Divergenz zwischen der gemeinsamen Verteilung und der Unabhängigkeitsverteilung. I=0 genau dann, wenn X und Y unabhängig sind. Die Maximierung der gegenseitigen Information wird im Information Bottleneck und bei der Merkmalsauswahl genutzt.
Anwendungsfälle
- Merkmalsauswahl
- Information Bottleneck
- Cluster-Evaluierung