Mutual Information
L'information mutuelle I(X;Y)=H(X)-H(X|Y) mesure la dépendance entre deux variables aléatoires ; elle est non négative et symétrique.
Objectif
Quantifier l'information partagée entre variables, utilisée dans la sélection de caractéristiques et l'évaluation de clustering.
Mécanisme
I(X;Y)=D_KL(P(X,Y)||P(X)P(Y)) mesure la divergence entre la distribution conjointe et la distribution d'indépendance. I=0 si et seulement si X et Y sont indépendants. La maximisation de l'information mutuelle sert au information bottleneck et à la sélection de caractéristiques.
Cas d’usage
- Sélection de caractéristiques
- Goulot d'étranglement d'information (information bottleneck)
- Évaluation de clustering