¿Es lo mismo la entropía de la información que la entropía termodinámica?

Entonces, la cita de Pratchett parece ser sobre energía, más que sobre entropía. Supuse que podría afirmar lo contrario si asume que "la entropía es conocimiento", pero creo que eso es exactamente al revés: creo que el conocimiento es un caso especial de baja entropía. Pero tu pregunta sigue siendo interesante.

la entropía$S$en termodinámica está relacionado con el número de estados indistinguibles que puede ocupar un sistema. Si todos los estados indistinguibles son igualmente probables, el número de "microestados" asociados con un sistema es$\Omega = \exp( S/k )$, donde la constante$k\approx\rm25\,meV/300\,K$está relacionado con la cantidad de energía intercambiada por los sistemas termodinámicos a diferentes temperaturas.

El ejemplo canónico es un frasco de monedas de un centavo. Supongamos que dejo caer 100 monedas al suelo. Hay 100 formas en las que puedo tener uno cara arriba y el resto cruz; existen$100\cdot99/2$formas de tener dos cabezas; existen$10 \cdot99\cdot98/6$formas de tener tres cabezas; hay alrededor de$10^{28}$maneras de tener cuarenta cabezas, y$10^{29}$maneras de tener cincuenta cabezas. Si se le cae un tarro de monedas de un centavo, no las encontrará con un 3 % de cara, como tampoco lo va a alcanzar un rayo mientras se está repartiendo una escalera real: hay demasiadas otras alternativas.

La conexión con la termodinámica surge cuando no todos mis microestados tienen la misma energía, por lo que mi sistema puede intercambiar energía con su entorno al tener transiciones. Por ejemplo, suponga que mis 100 centavos no están en el piso de mi cocina, pero están en el piso de mi camioneta con la llanta desequilibrada. La vibración significa que cada centavo tiene la posibilidad de volcarse, lo que tenderá a impulsar la distribución hacia 50-50. Pero si hay alguna otra interacción que haga que el cara a cara sea más probable que la cruz, entonces no me detendré en 50-50. Tal vez tengo un pasajero obsesivo que voltea todos los centavos con cola hacia arriba. Si el temblor y el volteo aleatorio son lo suficientemente lentos como para que pueda voltearlos a todos, eso es efectivamente "temperatura cero"; si la sacudida y el volteo aleatorio son tan vigorosos que un centavo generalmente se voltea solo antes de corregir el siguiente, eso es "temperatura infinita". (Esto es en realidad parte dela definición de temperatura .)

La entropía de Boltzmann que usé arriba,

$$S_B = k_B \ln \Omega,$$ es exactamente igual a la entropía de Shannon, $$S_S = k_S \ln \Omega,$$ excepto que la constante de Shannon es$k_S = \frac1{\ln 2}\rm\,bit$, de modo que un sistema con diez bits de entropía de información puede estar en cualquiera de$\Omega=2^{10}$estados

Esta es una afirmación con consecuencias físicas. Supongamos que compro una tarjeta SD de dos terabytes ( aparentemente el estándar admite esto ) y la lleno con cuarenta horas de video de mis conejillos de indias convirtiendo el heno en caca. Al reducir el número de posibles estados de la tarjeta SD de$\Omega=2\times2^{40}\times8$a uno, la definición de Boltzmann me dice que he reducido la entropía termodinámica de la tarjeta por$\Delta S = 2.6\rm\,meV/K$. Esa reducción de entropía debe equilibrarse con un aumento de entropía igual o mayor en otras partes del universo, y si hago esto a temperatura ambiente, ese aumento de entropía debe ir acompañado de un flujo de calor de$\Delta Q = T\Delta S = 0.79\rm\,eV = 10^{-19}\,joule$.

Y aquí nos encontramos con pruebas prácticas y experimentales de una diferencia entre la información y la entropía termodinámica. El consumo de energía mientras se escribe una tarjeta SD es de milivatios o vatios, y transferir mi película de conejillo de Indias de cuarenta horas no será una operación breve --- ese extra$10^{-19}\rm\,J$, suficiente energía para impulsar una sola transición atómica infrarroja, que tengo que pagar para saber que cada bit en la tarjeta SD no es nada en comparación con los otros costos para ejecutar el dispositivo.

La entropía de la información es parte, pero no casi toda, de la entropía termodinámica total de un sistema. La entropía termodinámica incluye información de estado sobre cada átomo de cada transistor que compone cada bit, y en cualquier sistema biestable habrá muchas, muchas configuraciones microscópicas que corresponden a "encendido" y muchas, muchas configuraciones microscópicas distintas que corresponden a "apagado". ."

---

CuriousOne pregunta,

¿Cómo es que la entropía de Shannon del texto de un folio de Shakespeare no cambia con la temperatura?

Esto se debe a que cualquier medio de almacenamiento de información efectivo debe operar a temperatura cero efectiva; de lo contrario, los bits se volcarán y la información se destruirá. Por ejemplo, tengo las Obras completas de Shakespeare que pesa aproximadamente 1 kg de papel y tiene una entropía de información de unos pocos megabytes.

Esto significa que cuando se imprimió el libro hubo un gasto energético extra mínimo de$10^{-25}\rm\,J = 1\,\mu eV$asociado con poner esas palabras en la página en ese orden en lugar de cualquier otro. Saber lo que hay en el libro reducesu entropía. Saber si el libro son sonetos primero o obras de teatro primero reduce aún más su entropía. Saber que "Viaje/No se quede/Encuéntrenme todos antes del amanecer" está en la página 158 reduce aún más su entropía, porque si su cerebro está en el estado de baja entropía en el que conoce el Sueño de una noche de verano, sabe que debe hacerlo. comienza en la página 140 o 150 más o menos. Y yo contándote cada uno de estos hechos y concomitantemente reduciendo tu entropía estaba asociado con una energía extra de alguna fracción de un nano-eV, totalmente perdida en mi metabolismo cerebral, la energía mecánica de mis dedos, la energía de operación de mi computadora, la energía de operación de mi conexión a Internet al disco en el centro de datos de StackExchange donde se almacena esta respuesta, y así sucesivamente.

Si elevo la temperatura de esta Obra Completa de 300 k a 301 K, elevo su entropía en$\Delta S = \Delta Q/T = 1\,\rm kJ/K$, que corresponde a muchos yottabytes de información; sin embargo, el libro está ingeniosamente arreglado para que la información que está desorganizada no afecte la disposición de las palabras en las páginas. Sin embargo, si trato de almacenar un megajulio adicional de energía en este libro, en algún momento de su camino hacia una temperatura de 1300 kelvin se transformará en un montón de cenizas. Las cenizas son de alta entropía: es imposible distinguir las cenizas de "Love's Labors Lost" de las cenizas de "Timon of Athens".

La entropía de la información, que se eliminó de un sistema donde se almacena la información, es un pequeño subconjunto de la entropía termodinámica, y solo puede almacenar información de manera confiable en partes de un sistema que están efectivamente a temperatura cero.

---

Un gas ideal monoatómico de, digamos, átomos de argón también se puede dividir en subsistemas donde la entropía depende o no de la temperatura. Los átomos de argón tienen al menos tres formas independientes de almacenar energía: movimiento de traslación, excitaciones electrónicas y excitaciones nucleares.

Suponga que tiene un mol de átomos de argón a temperatura ambiente. La entropía de traslación viene dada por la ecuación de Sackur-Tetrode y depende de la temperatura. Sin embargo, el factor de Boltzmann para el primer estado excitado a 11 eV es

$$\exp\frac{-11\rm\,eV}{k\cdot300\rm\,K} = 10^{-201}$$ y por tanto, el número de átomos de argón en los primeros (o superiores) estados excitados es exactamente cero y hay cero entropía en el sector de excitación electrónica. La entropía de excitación electrónica permanece exactamente cero hasta que los factores de Boltzmann para todos los estados excitados suman$10^{-24}$, de modo que hay en promedio un átomo excitado; eso sucede en algún lugar alrededor de la temperatura $$T = \frac{-11\rm\,eV}{k}\ln 10^{-24} = 2500\rm\,K.$$ Entonces, a medida que aumenta la temperatura de su mol de argón de 300 K a 500 K, la cantidad de átomos excitados en su mol cambia de exactamente cero a exactamente cero, que es una configuración de entropía cero, independiente de la temperatura, en una forma puramente termodinámica. proceso.

Asimismo, incluso a decenas de miles de kelvin, la entropía almacenada en las excitaciones nucleares es cero, porque la probabilidad de encontrar un núcleo en el primer estado excitado alrededor de 2 MeV es muchos órdenes de magnitud menor que el número de átomos en su muestra.

Asimismo, la entropía termodinámica de la información en mis Obras completas de Shakespeare es, si no nula, muy baja: hay un pequeño número de configuraciones de texto que corresponden a Obras completas de Shakespeare más que a El señor de los anillos o a Ulises. o un Don Quijote del mismo material con masa equivalente. La entropía de la información ("Las Obras completas de Shakespeare llenan unos pocos megabytes") me dice la entropía termodinámica mínima que tuvo que eliminarse del sistema para organizarlo en las Obras completas de Shakespeare, y un costo de energía asociado con la transferencia de esa entropía a otra parte; esos costos son pequeños en comparación con los intercambios totales de energía y entropía involucrados en la impresión de un libro.

Siempre que la temperatura de mi libro se mantenga sustancialmente por debajo de 506 kelvin , la probabilidad de que cualquier letra del libro cambie espontáneamente para parecerse a otra letra o a una mancha ilegible es cero, y los cambios de temperatura son reversibles .

Este argumento sugiere, por cierto, que si desea almacenar información en un sistema de mecánica cuántica, debe almacenarla en el estado fundamental, que el sistema ocupará a temperatura cero; por lo tanto, debe encontrar un sistema que tenga múltiples estados fundamentales degenerados. Un ferroimán tiene un estado fundamental degenerado: los átomos en el imán quieren alinearse con sus vecinos, pero la dirección en la que eligen alinearse no está restringida. Una vez que un ferromagnético ha "elegido" una orientación, tal vez con la ayuda de un campo de alineación externo, esa dirección es estable siempre que la temperatura esté sustancialmente por debajo de la temperatura de Curie , es decir, cambios modestos en la temperatura no causan entropía. fluctuaciones crecientes en la orientación del imán.Es posible que esté familiarizado con los mecanismos de almacenamiento de información que funcionan según este principio.

Formalmente, las dos entropías son la misma cosa. La entropía de Gibbs, en termodinámica, es

$$S = -k_B \sum p_i \ln p_i$$ mientras que la entropía de Shannon de la teoría de la información es $$H = -\sum p_i \log_2 p_i.$$ Estos son iguales hasta algunos factores numéricos. Dado un conjunto estadístico, puede calcular su entropía (termodinámica) usando la entropía de Shannon y luego multiplicándola por constantes.

---

Sin embargo, hay un sentido en el que tienes razón. A menudo, cuando las personas hablan de la entropía de Shannon, solo la usan para contar cosas que intuitivamente percibimos como información. Por ejemplo, se podría decir que la entropía de un transistor, cambiada a 'encendido' o 'apagado' con la misma probabilidad, es de 1 bit.

Pero la entropía termodinámica del transistor es miles, si no millones de veces mayor, porque lo cuenta todo, es decir, las configuraciones de todos los átomos que componen el transistor. (Si quiere explicárselo a sus colegas programadores, diga que no cuentan si cada átomo individual está "encendido" o "apagado").

En general, la cantidad de información "intuitiva" (como bits o palabras en un libro) es una fracción totalmente insignificante de la entropía total. La entropía termodinámica de una biblioteca es aproximadamente la misma que la de un almacén de libros en blanco.

Para ser honesto, creo que esta pregunta no está realmente resuelta, o al menos que todavía no hay un consenso en la comunidad científica sobre cuál es la respuesta.

Mi comprensión de la relación es, creo, ligeramente diferente a la de knzhou, rob o CuriousOne. Tengo entendido que la entropía termodinámica puede considerarse como una aplicación particular de la entropía de la información. En particular, se pueden aplicar los principios de información y entropía informacional para preguntar cuánto se sabe sobre el estado de un sistema cuántico, y bajo ciertas condiciones parece recuperarse la entropía termodinámica de Boltzmann.

Como ejemplo concreto, un experimento reciente relacionado con esta pregunta (1) estudia la "entropía de entrelazamiento" de un sistema cuántico en interacción, que es una aplicación de la entropía informativa a un estado cuántico. En las circunstancias apropiadas (observando la matriz de densidad de una sola partícula de un estado cuántico termalizado), se muestra que esta entropía informativa es idéntica a la entropía termodinámica de Boltzmann.

Desde este punto de vista, la termodinámica es "solo" una aplicación particular de principios informativos. Por supuesto, también se pueden aplicar principios informativos a sistemas completamente diferentes, como libros y comunicaciones por radio, etc. Como resultado, las entropías termodinámica e informativa no son lo mismo, sino dos aplicaciones particulares del mismo principio general.

Sin embargo, esta opinión no es compartida por todos, y aunque esta correspondencia parece funcionar en algunos casos como el experimento anterior, queda por explicar en un entorno más general.

Dos preguntas algo relacionadas que te pueden resultar interesantes:

Conversión espontánea de calor en trabajo a temperaturas negativas

¿Cuáles son los fenómenos responsables del aumento irreversible de la entropía?

---

Apéndice: Jerarquía de entropía

Aquí está la jerarquía de entropías que estoy reclamando aquí (ignorando constantes como$k_B$):

1. Entropía de Shannon:$S_\textrm{Shannon}=− \sum_i p_i \log p_i$. Describe, aproximadamente, cuánto se sabe sobre el estado de algún sistema, con$i$siendo los estados posibles. Este sistema podría ser, por ejemplo, una cadena de bits binarios.

2. Aplicando esto a un estado cuántico desconocido, se obtiene la entropía de Gibbs:$S_\textrm{Gibbs}=− \sum_i p_i \log p_i$, donde el$i$son ahora específicamente los posibles estados cuánticos del sistema. Para que esta expresión tenga sentido físico,$i$deben ser los estados propios del sistema en una base en la que la matriz de densidad es diagonal*. Con esta estipulación,$S_\textrm{Gibbs}$es idéntica a la entropía de Von Neumann de un estado cuántico:$S_\textrm{VN}=− \text{tr}(\rho \log \rho)$, con$\rho$la matriz de densidad.

3. La entropía de entrelazamiento es simplemente una aplicación de$S_\textrm{VN}$a un subconjunto espacial particular de un sistema (generalmente aislado):$S_{EE,A}=− \text{tr}(\rho_A \log \rho_A)$, dónde$\rho_A$es la matriz de densidad resultante de la traza parcial sobre la matriz de densidad de un gran sistema, conservando solo algún subsistema local. En otras palabras, es la entropía de una parte particular de un sistema mayor.

4. La afirmación altamente no trivial hecha en (1) (y en otros lugares) es que para un sistema termalizado, la$S_{EE,A}$de un pequeño subsistema local$\rho_A$es equivalente a la entropía termodinámica de Boltzmann, definida como:$S_\textrm{Boltz}=-\sum_i(p_{i,\textrm{th}} \log p_{i,\textrm{th}})$, con$p_{i,\textrm{th}}=\frac{e^{-E_i/k_B T}}{\sum_i e^{-E_i/k_B T}}$,$i$como los posibles estados de$\rho_A$, y$k_B T$elegido para que el sistema tenga la energía promedio correcta. Esta afirmación se conoce, por cierto, como la "hipótesis de termalización del estado propio".

*No hay nada demasiado misterioso acerca de este requisito: es simplemente porque para que la entropía tenga algunas propiedades "agradables" como la aditividad, el estado$i$debe estar sin correlación.

Hasta ahora ha habido bastantes respuestas perspicaces sobre la entropía mecánica estadística, pero hasta ahora la única mención de la entropía termodinámica la ha hecho CuriousOne en los comentarios, así que pensé que sería útil dar un breve recordatorio general sobre la sutil diferencia. entre la noción de entropía en termodinámica y las fórmulas que surgen de la mecánica estadística y la teoría de la codificación.

Un enfoque para comprender la entropía termodinámica es a través de las restricciones fundamentales (o tecnológicas) sobre la máxima eficiencia alcanzable de los motores térmicos. El Volumen 1 de las conferencias de Feynman tiene una sección sobre termodinámica que describe de manera elocuente cómo la eficiencia de Carnot proporciona una escala de temperatura universal.$T$(hasta una elección arbitraria de unidades), de modo que la cantidad$\frac{d Q}{T}$es la diferencial de una función de estado$S$eso se llama entropía. Dado que se define esencialmente a través del rendimiento de los motores térmicos, la entropía termodinámica solo es sensible a las características de un sistema que puede absorber calor y relajarse de manera que permita extraer trabajo.

En este sentido, la entropía teórica de la información es una medida de las características que conoces*, mientras que la entropía termodinámica se puede considerar como una medida de las características a pequeña escala que influyen colectivamente en los sistemas a escalas más grandes.

*La entropía teórica de la información y la entropía mecánica estadística son (en sí mismas) esencialmente solo medidas de volumen para un espacio de resultados posibles.