Unidades naturales de información

El sistema no discreto más simple sin duda es la entropía de una variable aleatoria que es uniforme en un intervalo de longitud$e$, por ejemplo, el intervalo$[0,e]$, y$0$fuera de ese intervalo, por lo que la densidad de probabilidad es constante$e^{-1}$. Esto tiene una entropía de$1$nacional

Un número entero de nats generalmente no es significativo. Al menos nunca he visto surgir tal cosa en ninguna situación física o matemática sensible. Son bastante similares a los radianes en ese sentido: uno rara vez se encuentra considerando un ángulo de exactamente un radián, pero los usamos de todos modos porque simplifican las matemáticas.

Eso no quiere decir que no puedas idear un ejemplo. Por ejemplo, Wolfram|Alpha me dice que un sistema discreto de tres estados tiene una entropía de uno nat si

Esto se puede extender fácilmente a un ejemplo cuántico, considerando un sistema de dos espines preparado en el estado$|00\rangle$con probabilidad$p_1$y de manera similar$p(|01\rangle)=p_2$,$p(|10\rangle)=p_3$y$p(|11\rangle)=0$, con$p_1\dots p_3$definido como arriba. Entonces estará en un estado mixto con una entropía de von Neumann de un nat.

Si pienso en una manera fácil de construir un ejemplo no discreto, actualizaré esta publicación, pero garantizo que se sentirá tan artificial como los ejemplos discretos y cuánticos. Usamos nats porque evitan la necesidad de la constante de Boltzmann, no porque la cantidad$1\;\text{nat}$es significativo.

La respuesta a continuación se basa en una observación del autor de esta pregunta, que se puede encontrar aquí y aquí , aunque el contexto es un poco diferente. (Cuando lo escribí, no sabía que esas preguntas fueron escritas por la misma persona que esta pregunta, pero aún así creo que es una respuesta útil para futuras referencias).

En total contradicción con mi respuesta anterior, hay un buen ejemplo natural donde$\frac{1}{2}\,\text{nat}$surge como una cantidad de información. Surge como una entropía condicional en lugar de una entropía, pero creo que sigue siendo interesante. Por supuesto, puede convertirlo en un nat simplemente haciendo dos copias independientes del mismo sistema. Este es un ejemplo puramente matemático, pero es tan simple que es fácil imaginarlo surgiendo en un contexto físico.

Dejar$Q$sea ​​una variable aleatoria uniformemente distribuida en el intervalo$[0,1]$. Dejar$X$sea ​​una variable aleatoria discreta con valores$\{0,1\}$, correlacionado con$q$tal que$p(x=1|Q=q)=q$. (o dicho de otro modo,$X$es una variable aleatoria cuya probabilidad$q$se distribuye uniformemente en$[0,1]$.)

Es claro que la entropía de$X$es un bit, y la entropía de$Q$diverge (O, si prefiere usar la entropía continua de Shannon, es igual a un bit). Sin embargo, también podemos preguntar el valor de la entropía condicional$H(X|Q)$, que (hablando informalmente) es la cantidad esperada de incertidumbre que queda en la variable$X$después de aprender el valor de$Q$. se define como

o

Dados dos sistemas idénticos e independientes de esta forma con variables$X_1, Q_1$y$X_2, Q_2$, la entropía condicional$H(X_1X_2|Q_1Q_2) = 2H(X|Q) = 1\,\text{nat}$.

También es razonable preguntar el valor de la información mutua entre las dos variables.$X$y$Q$. Esto está dado por$\ln 2 - 1/2\,\,\text{nats}$, o$1-\frac{1}{2}\log_2 e\,\,\text{bits}$.

Para ver un ejemplo más físico de una cantidad de una nación, consulte esta pregunta de Mark Eichenlaub. Actualmente estoy tratando de averiguar si hay una conexión entre este ejemplo físico y el matemático que acabo de presentar.