Mutual Information
互信息 I(X;Y)=H(X)-H(X|Y) 度量两随机变量的依赖程度，非负且对称。
用途
量化变量间信息共享，用于特征选择与聚类评估。
机制
I(X;Y)=D_KL(P(X,Y)||P(X)P(Y))，衡量联合分布与独立分布差异。I=0 当且仅当独立。最大化互信息用于信息瓶颈与特征选择。
用例
- 特征选择
- 信息瓶颈
- 聚类评估
互信息 I(X;Y)=H(X)-H(X|Y) 度量两随机变量的依赖程度，非负且对称。
量化变量间信息共享，用于特征选择与聚类评估。
I(X;Y)=D_KL(P(X,Y)||P(X)P(Y))，衡量联合分布与独立分布差异。I=0 当且仅当独立。最大化互信息用于信息瓶颈与特征选择。