Shannon Entropy
L'entropie de Shannon H(X)=-∑p(x)log p(x) mesure l'incertitude d'une variable aléatoire et constitue la grandeur centrale de la théorie de l'information.
Objectif
Quantifier contenu informationnel et incertitude, pour guider le codage et les divisions d'arbres de décision.
Mécanisme
L'entropie est l'espérance de l'auto-information -log p(x). La distribution uniforme maximise l'entropie (la plus incertaine) ; une distribution dégénérée a une entropie nulle. Les arbres de décision choisissent les divisions au gain d'information maximal (réduction d'entropie). Capacité du canal = max H(X)-H(X|Y).
Cas d’usage
- Codage de l'information
- Division des arbres de décision
- Évaluation cryptographique
Termes associés
Mutual Information
L'information mutuelle I(X;Y)=H(X)-H(X|Y) mesure la dépendance entre deux variables aléatoires ; elle est non négative et symétrique. GLOSSAIRE
Arithmetic Coding
Le codage arithmétique mappe le message complet à un nombre réel dans [0,1), représenté en précision finie, avec un taux de compression s'approchant arbitrairement de l'entropie de la source. GLOSSAIRE