Mutual Information
La información mutua I(X;Y)=H(X)-H(X|Y) mide la dependencia entre dos variables aleatorias; es no negativa y simétrica.
Propósito
Cuantificar la información compartida entre variables, usada en selección de características y evaluación de clustering.
Mecanismo
I(X;Y)=D_KL(P(X,Y)||P(X)P(Y)) mide la divergencia entre la distribución conjunta y la de independencia. I=0 si y solo si X e Y son independientes. Maximizar la información mutua se usa en el information bottleneck y la selección de características.
Casos de uso
- Selección de características
- Cuello de botella de información (information bottleneck)
- Evaluación de clustering