Si la entropía de la teoría de la información y la termodinámica no tienen por qué ser siempre idénticas, ¿cuál es más fundamental?

Más fundamental no es un concepto claro e inequívoco. Si por el concepto A es más fundamental que el concepto B se quiere decir que el concepto B puede deducirse del concepto A pero no viceversa, puede parecer que la entropía de la teoría de la información es más fundamental que la entropía termodinámica. Sin embargo, creo que después de un mayor escrutinio, este punto de vista parece inconsistente con los hechos.

De hecho, la "derivación" de la Termodinámica de la Teoría de la Información asume los conceptos y relaciones de la Termodinámica y muestra que las fórmulas de la Mecánica Estadística para las ecuaciones fundamentales de la Termodinámica pueden derivarse de la Teoría de la Información. Sin embargo, las Teorías Físicas son algo más que un conjunto de símbolos. Deben incluir las reglas de interpretación del formalismo. Por tanto, basta pensar en el concepto de calor. ¿Cómo se define dentro de la Teoría de la Información sin utilizar la Termodinámica?

Por lo tanto, no hablaría de más fundamental . Más bien diría que son dos entropías diferentes, con diferentes alcances. En algunos casos, la Teoría de la Información puede proporcionar resultados consistentes con la termodinámica, siempre que se hayan utilizado las reglas de interpretación de la Termodinámica .

Una observación diferente pero relacionada es que el mismo nombre de entropía para dos entidades diferentes en Termodinámica y Teoría de la Información no implica necesariamente una relación jerárquica.

Sobre tu segunda pregunta, la respuesta es negativa. Hay casos en los que solo uno de ellos puede ser significativo para un sistema físico. Intentaré explicar la afirmación anterior con un par de ejemplos:

1. La fórmula de Shannon solo requiere la asignación de una probabilidad a cada microestado de un sistema. Por lo tanto, es un concepto significativo incluso en el caso de una distribución de probabilidad de no equilibrio. La entropía termodinámica se define solo para sistemas en equilibrio.
2. Los sistemas termodinámicos se basan en sistemas físicos con dinámicas subyacentes que controlan la evolución de estados microscópicos. La entropía de la información se puede asignar incluso a sistemas estáticos (que no evolucionan).

Por un lado, la entropía termodinámica es solo un tipo especial de entropía de información, por lo que la última es más fundamental.

Por otro lado, la entropía informacional es generalmente subjetiva y depende del observador, pero la entropía termodinámica es la misma para todos los observadores (salvo un desplazamiento por una constante, lo que no es significativo) y por lo tanto es de hecho objetiva y por que juega un papel fundamental en la física.

Tenga en cuenta que, en principio, uno puede imaginar un observador para quien la entropía termodinámica no tiene sentido, pero dicho observador debe ser no local, y las leyes dinámicas de la física, aparentemente, no permiten la existencia de tales observadores.

Puede encontrar algunos detalles en "La base física de la dirección del tiempo" de Zeh.

La relación entre la información y la entropía termodinámica es que son conceptualmente distintos pero equivalentes en un sentido similar a como lo son la masa y la energía, lo que significa que existe una proporcionalidad uno a uno entre los dos, pero sus significados semánticos son bastante diferentes. Esto se puede resumir en forma de una ecuación.

(si se mide$H$en shannons, en lugar de nats) y, lo que es más importante, esto se refiere a cambios en la entropía, porque puede haber un cambio constante arbitrario que se relacione con la cantidad de información que tiene el agente al que se atribuye la entropía informativa.

Conceptualmente, la diferencia es que la entropía termodinámica se aplica a un sistema físico , pero la entropía informacional se aplica a un mensaje , que es más abstracto, o mejor, la relación entre un mensaje y un agente receptor. Debido a que se aplican a diferentes cosas, es difícil llamar a una más fundamental o, en todo caso, podríamos llamar a la entropía térmica la "más fundamental" desde un punto de vista físico porque es una propiedad física directa de un sistema. La equivalencia surge cuando consideramos que el "mensaje" en cuestión es la descripción microscópica del sistema físico, es decir, el mensaje que especifica completamente el microestado del sistema.

Las objeciones citadas por otros autores aquí tienen que ver con los agentes que aprenden/adquieren información; ese tipo de cambios no son a los que se refiere la equivalencia anterior: se refiere a cómo el conocimiento del agente, sin adquirir nueva información, "fecha" en el tiempo como el El sistema experimenta una evolución física de acuerdo con las leyes de la física. Si aprende nueva información, lo que significa que amplía su descripción del macroestado para que sea menos "macro" y más "micro", entonces$H$salta de una manera inconsistente con$S$porque$S$se basa en un macroestado estándar fijo (por ejemplo, energía y volumen, para un gas). Otra forma de ver esto es que cuando el sistema y el agente interactúan en la medición, el aislamiento en el que se basan las atribuciones de$S$y$H$Depende, se descompone. Uno debería, en tales situaciones, preguntarse acerca de la$S$y$H$atribuido al par compuesto sistema/agente por un segundo agente, si realmente se quiere discutir la equivalencia.

(PD el uso de$H$aquí no debe confundirse con la entalpía . Esa es una desafortunada colisión notacional en este contexto, pero oye, el principio del casillero después de todo...)