Shannon Entropy
La entropía de Shannon H(X)=-∑p(x)log p(x) mide la incertidumbre de una variable aleatoria y es la magnitud central de la teoría de la información.
Propósito
Cuantificar el contenido de información y la incertidumbre, guiando la codificación y las divisiones de árboles de decisión.
Mecanismo
La entropía es la esperanza de la autoinformación -log p(x). La distribución uniforme maximiza la entropía (la más incierta); una distribución degenerada tiene entropía 0. Los árboles de decisión eligen divisiones con máxima ganancia de información (reducción de entropía). Capacidad del canal = max H(X)-H(X|Y).
Casos de uso
- Codificación de información
- División de árboles de decisión
- Evaluación criptográfica
Términos relacionados
Mutual Information
La información mutua I(X;Y)=H(X)-H(X|Y) mide la dependencia entre dos variables aleatorias; es no negativa y simétrica. GLOSARIO
Arithmetic Coding
La codificación aritmética mapea el mensaje completo a un número real en [0,1), representado con precisión finita, con tasa de compresión que se acerca arbitrariamente a la entropía de la fuente. GLOSARIO