Shannon Entropy
Die Shannon-Entropie H(X)=-∑p(x)log p(x) misst die Unsicherheit einer Zufallsvariable und ist die Kerngröße der Informationstheorie.
Zweck
Informationsgehalt und Unsicherheit quantifizieren, um Codierung und Entscheidungsbaum-Splits zu steuern.
Mechanismus
Entropie ist der Erwartungswert der Selbstinformation -log p(x). Die Gleichverteilung maximiert die Entropie (am unsichersten); eine entartete Verteilung hat Entropie 0. Entscheidungsbäume wählen Splits mit maximalem Informationsgewinn (Entropiereduktion). Kanalkapazität = max H(X)-H(X|Y).
Anwendungsfälle
- Informationscodierung
- Entscheidungsbaum-Splits
- Kryptografische Bewertung
Verwandte Begriffe
Mutual Information
Die gegenseitige Information I(X;Y)=H(X)-H(X|Y) misst die Abhängigkeit zwischen zwei Zufallsvariablen; sie ist nichtnegativ und symmetrisch. GLOSSAR
Arithmetic Coding
Arithmetische Codierung bildet die gesamte Nachricht auf eine reelle Zahl in [0,1) ab, mit endlicher Präzision dargestellt, Kompressionsrate nähert sich beliebig der Quellenentropie. GLOSSAR