¿Cuál es la interpretación de las contribuciones individuales a la entropía de Shannon?

Si$X=\{ x_1,x_2,\dots,x_n\}$se asignan probabilidades$p(x_i)$, entonces la entropía se define como

$\sum_{i=1}^n\ p(x_i)\,\cdot\left(-\log p(x_i)\right).$

Uno puede llamar$I(x_i)=-\log p(x_i)$la información asociada a$x_i$y considere lo anterior como un valor esperado. En algunos sistemas tiene sentido ver$p$como la tasa de ocurrencia de$x_i$y luego alto bajo$p(x_i)$el "valor de tu sorpresa" siempre que$x_i$sucede corresponde con$I(x_i)$siendo mas grande También vale la pena señalar que$p$es una función constante, obtenemos una situación similar a la de Boltzmann.

Pregunta : Ahora me pregunto, dado$\left|X\right|>1$, cómo puedo interpretar, para indexado fijo$j$un solo término$p(x_i)\,\cdot\left(-\log p(x_i)\right)$. Que hace "$x_j^\text{th}$contribución a la entropía" o "precio" representan? ¿Qué es$p\cdot\log(p)$si también hay otras probabilidades.

Pensamientos : Es cero si$p$es uno o cero. En el primer caso, la sorpresa de algo que ocurrirá con certeza es nula y en el segundo caso nunca ocurrirá y por lo tanto no cuesta nada. Ahora

$\left(-p\cdot\log(p)\right)'=\log(\frac{1}{p})-1.$

Con respecto a$p$, La función tiene un máximo que, curiosamente, es al mismo tiempo un punto fijo, a saber$\dfrac{1}{e}=0.368\dots$. Es decir, la contribución máxima de un solo término a$p(x_i)\,\cdot\left(-\log p(x_i)\right)$surgirá si para algunos$x_j$, tienes$p(x_j)\approx 37\%$.

Mi pregunta surgió cuando alguien me preguntó cuál era el significado de$x^x$tener un minimo$x_0$en$x_0=\dfrac{1}{e}$es. esto es naturalmente$e^{x\log(x)}$y di un ejemplo sobre la transferencia de señales. El extremo es la contribución individual con la entropía máxima y quería argumentar que, después de la optimización de la codificación/minimización de la entropía, los eventos que suceden con una probabilidad$p(x_j)\approx 37\%$del tiempo será en total "más aburrido para que usted envíe". Ocurren con relativa frecuencia y la longitud óptima de codificación podría no ser demasiado corta. Pero carezco de interpretación de la contribución de entropía individual para ver si esta idea tiene sentido, o cuál es una mejor lectura de ella.

También se relaciona con esas unidades de información, por ejemplo, nat . Uno sobre$e$es lo mínimo, tiempo que trabajas base$e$(con el logaritmo natural) o con$\log_2$, y$-\log_2(\dfrac{1}{e})=\ln(2)$.

editar: Relacionado: Me topé con$\frac{1}{e}$como probabilidad: regla de parada del 37% .