Shannon Entropy
香农熵 H(X)=-∑p(x)log p(x) 度量随机变量不确定性，是信息论核心量。
用途
量化信息量与不确定性，指导编码与决策树分裂。
机制
熵为自信息 -log p(x) 的期望。均匀分布熵最大（最不确定），确定分布熵为 0。决策树选最大信息增益（熵减少）。信道容量 = max H(X)-H(X|Y)。
用例
- 信息编码
- 决策树分裂
- 密码学评估
香农熵 H(X)=-∑p(x)log p(x) 度量随机变量不确定性，是信息论核心量。
量化信息量与不确定性，指导编码与决策树分裂。
熵为自信息 -log p(x) 的期望。均匀分布熵最大（最不确定），确定分布熵为 0。决策树选最大信息增益（熵减少）。信道容量 = max H(X)-H(X|Y)。