¿Cuál es la relación entre la entropía termodinámica y la información en el cerebro (o un libro)?

en breve:

Sí, la información y la negentropía miden lo mismo, y pueden compararse directamente y solo difieren en un factor de escala constante.

Pero esto introduce un problema cuando se habla de la información valiosa en un libro, cerebro o computadora, porque la información valiosa se ve abrumada por la entropía relativamente numéricamente gigantesca de la disposición de la masa que almacena esa información. Este problema, sin embargo, a menudo se resuelve fácilmente haciendo preguntas de información que se formulan de manera que se seleccione la información de interés. Entonces en una computadora, donde esta separación es más obvia, por ejemplo, es importante diferenciar entre la entropía de un transistor (una estructura cristalina con información muy alta) y la información contenida en su estado lógico (una información mucho más baja, pero suele ser más interesante).

Por lo tanto, la pregunta termina siendo única, ¿entendemos el sistema lo suficientemente bien como para determinar qué información nos interesa? Una vez que sabemos eso, generalmente es posible estimarlo.

¿La negentropía y la información miden lo mismo?:

Sí. Muchas personas lo explican muy claramente, incluida esta respuesta en PSE, pero iré con un libro antiguo de Brilluoin, Science and Information Theory ( es decir , este es el Brilluoin de Brilluoin Zones, etc., y también la persona que acuñó el término "neguentropía").

El punto esencial es mostrar que cualquier observación o experimento realizado en un sistema físico automáticamente resulta en un aumento de la entropía del laboratorio. Entonces es posible comparar la pérdida de negentropía (aumento de entropía) con la cantidad de información obtenida. La eficiencia de un experimento se puede definir como la relación entre la información obtenida y el aumento de entropía asociado.

información vs información valiosa:

Brilluoin también distingue entre "información" e "información valiosa", y dice que a priori no hay una forma matemática de distinguirlos, aunque en ciertos casos podemos definir lo que consideramos información valiosa, y en esos casos podemos calcularla. . 

Ignoramos por completo el valor humano de la información. A una selección de 100 letras se le da cierto valor de información, y no investigamos si tiene sentido en inglés y, de ser así, si el significado de la oración tiene alguna importancia práctica. De acuerdo con nuestra definición, un conjunto de A 100 letras seleccionadas al azar (según las reglas de la tabla 1.1), a una frase de 100 letras de un periódico, a un fragmento de Shakespeare o a un teorema de Einstein se les da exactamente el mismo valor de información, es decir, definimos “información”. a diferencia del "conocimiento”, para el cual no tenemos una medida numérica. No hacemos distinción entre información útil e inútil, y optamos por ignorar por completo el valor de la información. Nuestra definición estadística de información se basa únicamente en la escasez. Si un la situación es escasa, contiene información. Si esta información es valiosa o sin valor, no nos concierne. La idea de “valor” se refiere al posible uso por parte de un observador vivo.

Entonces, por supuesto, para abordar la información en los Pricipia, la cuestión es separar la información de la información valiosa, y notar que un libro similar con las mismas letras en una secuencia específica pero aleatoria tendrá la misma información, pero diferente información valiosa. .

En su libro, Brilluoin proporciona muchos ejemplos ordinarios, pero también calcula algunos ejemplos más amplios e interesantes que están estrechamente relacionados con algunos subtemas de estas preguntas. En lugar de una imagen (como sugiere la pregunta del OP), Brilluoin construye una forma de cuantificar cuál es la información de un diagrama esquemático. En lugar de un texto de física (como sugiere la pregunta del OP), analiza una ley física (en el caso, la ley de los gases ideales) y también calcula su contenido de información. No es una sorpresa que estos valores de información se vean inundados por la información no valiosa en el material físico en el que están incorporados.

un caso específico, el cerebro:

De los tres temas que plantea la pregunta, el más interesante para mí es el cerebro. Aquí, preguntar cuál es la información en el cerebro crea una ambigüedad similar a la de una computadora, "¿estás hablando de los transistores cristalinos o estás hablando de su estado de voltaje?" Pero en el cerebro es más complejo por varias razones, pero la más difícil de resolver parece ser que no hay una distinción clara entre estructura y estado e información valiosa.

Un caso en el que está claro cómo resolver esto es la información en picos dentro de las neuronas. Sin dar un resumen completo de la neurociencia, diré que las neuronas pueden transmitir información a través de voltajes que aparecen a través de sus membranas, y estos voltajes pueden fluctuar de manera continua o existir como eventos discretos llamados "picos". Los picos son los más fáciles de cuantificar su información. Al menos para las neuronas aferentes que codifican estímulos donde las personas pueden adivinar razonablemente qué estímulo están codificando, a menudo es posible cuantificar bits/pico, y generalmente se encuentra que es de 0,1 a 6 bits/pico, dependiendo de la neurona (pero obviamente hay una preselección de las neuronas aquí). Hay un excelente libro sobre este tema titulado Spikes , de Fred Rieke, et al., aunque se ha trabajado mucho desde su publicación. 

Es decir, dado un modelo de 1) qué se codifica (p. ej., aspectos de los estímulos) y 2) cuál es el mecanismo físico para codificar esa información (p. ej., picos), es bastante fácil cuantificar la información. 

Usando un programa similar es posible cuantificar la información almacenada en una sinapsis y en variaciones continuas de voltaje, aunque hay menos trabajo en estos temas. Para encontrarlos, busque cosas como "sinapsis de información de Shannon", etc. No me parece difícil imaginar un programa que continúe por este camino, y si se escalara a un tamaño lo suficientemente grande, eventualmente podría estimar información en el cerebro de estos procesos. Pero esto solo funcionará para los procesos que entendemos lo suficientemente bien como para hacer las preguntas que llegan a la información que nos interesa.

Hay muchas maneras diferentes de definir la información de los libros en una biblioteca, dependiendo de si uno los ve como objetos físicos de papel, como colecciones de letras/palabras o como algo más.

Si nos enfocamos en la información almacenada en el texto, es decir, la disposición específica de letras y palabras, entonces se puede ver en dos niveles:

• En primer lugar, la disposición de letras y palabras no es aleatoria, es decir, claramente no se encuentra en el estado de máxima entropía. Como una manifestación divertida de esto, se podría comparar la frecuencia de las letras usadas en un texto escrito en inglés y en otro idioma usando el mismo alfabeto (o al menos superpuestos): son manifiestamente diferentes y, de hecho, a menudo sirven como el primer paso en el texto. algoritmos de reconocimiento. Obviamente, el texto real es mucho más complejo que las estadísticas de letras y palabras, ya que las letras y las palabras se correlacionan a través de reglas complejas (el artículo de Shannon presenta una discusión temprana de dicho análisis, pero hay reglas más complejas estudiadas en lingüística matemática bajo términos tales como gramática transformacional , gramática generativa , etc.)
• Sin embargo, hay incluso más en los textos que las estadísticas de los símbolos: su correlación con otras distribuciones estadísticas, por ejemplo, con las palabras, oraciones y otros datos almacenados en la cabeza de una persona que lee un libro. Claramente, un hablante monolingüe de español puede obtener más de un libro escrito en este idioma que un hablante monolingüe de inglés, aunque la letra aún obtiene más que un hablante monolingüe de chino. En la ciencia de la información, tales correlaciones se miden mediante información mutua , es decir, la información medida con respecto a un trasfondo/contexto específico.

Desde tal punto de vista textual, la pérdida de la información debido a una mancha oa una página faltante en un libro depende de cuánto distorsione las estadísticas de los símbolos en ese libro, y las correlaciones entre ellos. A veces, una palabra tachada se puede adivinar fácilmente por el contexto, mientras que en otros casos puede hacer que una frase completa o un párrafo sean incomprensibles.

¿Es legítimo considerar la información almacenada en el cerebro como parte de la entropía termodinámica?

En la medida en que el cerebro en sí mismo es físico, entonces podemos hacerlo.

Sin embargo, la mente en sí misma no se entiende de esta manera, por ejemplo, ni siquiera está claro qué es la conciencia. Tampoco está claro qué se puede entender por información almacenada en la mente. Por lo tanto, es mejor alejarse de pensar en la mente mediante conceptos físicos.