Argumento sucinto del papel fundamental de los dígitos binarios como unidades de información

Resumen

La información distingue entre múltiples estados de cosas ; lo que indica, como mínimo, un sesgo en la probabilidad de que se realice algún estado de cosas, e idealmente, lo que indica que se realiza un solo estado de cosas mientras que una serie de alternativas no lo han sido.

Para tener una unidad de información, debe tener al menos dos posibles estados de cosas. Convencionalmente, podríamos describir estos estados de cosas como el valor de verdad de una proposición lógica: o tenemos A , o no-A . Tales distinciones binarias son las formas más crudas y elementales de distinguir estados de cosas en la lógica clásica (y formas de estilo booleano relacionadas). Cualquier teoría de la información que surja de tal lógica inevitablemente tenderá a indicar elecciones bivalentes —es decir ,  un bit— como unidad de información.

Combinatoria y la necesidad de alfabetos de tamaño > 1

Podemos considerar los problemas de obtener algo que sea más mínimo, específicamente un enfoque unario que involucre un alfabeto de una letra (pero donde tenemos palabras de diferentes longitudes) al considerar seriamente qué maquinaria combinatoria se requiere para obtener más de una posibilidad de un marco unario. En los comentarios, propone una configuración en la que hay mensajes que consisten en una sola letra, posiblemente aumentada por un carácter de "fin de archivo" de un solo uso. Permítanme denotar esas dos letras por '1' y 'E'.

En la configuración de varias letras, todavía queremos expresar más de un número finito de señales a pesar de tener un alfabeto de tamaño finito. (Los intentos de usar alfabetos infinitos darán lugar a problemas de precisión, donde de alguna manera debemos certificar la distinción de dos 'letras'. Este es un problema de arranque sin una resolución aparente. Por lo tanto, nos restringimos a alfabetos finitos). La forma en que lidiar con esto es asociar diferentes estados de cosas con secuencias de personajes con distintos estados de cosas. El juego "veinte preguntas" es un buen ejemplo de esto (aunque en un entorno interactivo) en el que se intenta inferir la identidad de un objeto a través de una secuencia de preguntas de sí/no de longitud fija.

Entonces, podemos simular un alfabeto T de tamaño arbitrario, simplemente usando un número suficientemente grande de caracteres de un alfabeto más pequeño Σ . Pero a menos que use un código fijo, donde a partir de los primeros n caracteres puede estar seguro de si espera o no un n +1 ^carácter para completar el mensaje, debe usar cadenas de una longitud fija.

Podemos modelar cadenas de longitud fija mediante el producto de n veces (cartesiano) del alfabeto consigo mismo, Σ ⁿ . El problema con un alfabeto unario Σ  = {1} es que Σ ⁿ tiene el mismo tamaño que Σ mismo, lo que anula el propósito.

¿Qué nos impide considerar cadenas de longitud variable? Si tenemos alfabetos de varias letras, nada de nada; pero debemos tener claro cómo estamos describiendo la longitud de la cadena, que, metadatos o no, sigue siendo información; define cómo debemos interpretar la señal. En un disco duro, por ejemplo, un carácter de final de archivo E no significa que no haya información alguna después del disco; solo que cualquier dato que sigue es irrelevante para la información que se transmite (por ejemplo, por el archivo específico al que se hace referencia).

Matemáticamente, podemos describir archivos de longitud que va de 0 a n usando uno de los caracteres E para indicar 'fin de mensaje', lo que significa que dos cadenas que concuerdan hasta ese carácter deben considerarse equivalentes. Por ejemplo, usando un alfabeto Σ  = {1,E}, diríamos que las dos cadenas

111E1111 y 111E1EE1

como equivalente, ya que concuerdan hasta el carácter E más a la izquierda. Abreviaríamos la clase de equivalencia a la que pertenecen ambas cadenas como 111. Sin embargo, necesitamos el segundo carácter para definir dónde termina el "contenido de información" de la cadena y, por lo tanto, indicar qué clase de equivalencia de cadenas pretendemos con el mensaje. . Esto también sería cierto en un contexto práctico de comunicaciones, donde se configuran protocolos para indicar a varios dispositivos cuándo, de hecho, ya no están en comunicación con un dispositivo remoto (en lugar de interpretar el ruido aleatorio como datos).

Por supuesto, normalmente no describimos cadenas de diferentes longitudes en términos de clases de equivalencia de cadenas de cualquier longitud finita o infinita. Esto, sin embargo, es una conveniencia; en la práctica cotidiana, tanto en matemáticas como en prosa normal, tenemos marcadores de final de secuencia, aunque solo sea en forma de espacios en blanco y puntuación, que es en sí mismo una señal distinguible de cualquier marca como 0 o 1; cuando escribo 11 y 101, sabes que estas son cadenas de longitud 2 y 3 respectivamente porque una termina con un espacio en blanco y otra con una coma. No los confunda con las cadenas " 11 an... " o " 101, ya sabe..." porque las convenciones de nuestro lenguaje escrito los establecen como posibles marcadores de fin de secuencia para palabras o cadenas de caracteres en general. Es decir, transmiten esa información. Sin interpretarlos de esta manera, no tendría idea de cuándo una palabra o terminó una oración, y por lo tanto no hay lugar para acotar la complejidad del mensaje que les estoy enviando.

Alguien que insista (diría ingenuamente) en que puede 'intuitivamente' distinguir secuencias únicas de longitud arbitraria, y así comunicar diferentes mensajes con las cadenas 1, 11, 111, 1111, 11111, etc., diría que esto nuevamente cae al mismo problema que tener un alfabeto de longitud infinita; Los metadatos se vuelven cruciales para el problema de distinguir posibles señales y, por lo tanto, al final, los metadatos codifican el mensaje, es decir , los metadatos son los datos mismos. No creo que sea posible captar inmediatamente la diferencia entre dos mensajes 111...1 que continúan durante 1000 caracteres, de uno de 1001 caracteres; la representación en sí debe contener pistas sobre dónde comienza y termina el mensaje, aunque solo sea en forma de espacios en blanco de una señal de referencia inactiva en lugar de una señal manifiesta. Distinguir si el mensaje ha terminado o no se vuelve crucial para determinar dónde ha terminado el mensaje.

La división de caracteres en 'datos' y 'metadatos' es una división que nosotros mismos hacemos, prácticamente, con respecto a los mensajes. Sin embargo, los metadatos aún comunican estados de cosas que pueden resultar esenciales para la correcta interpretación del mensaje enviado. Por ejemplo, un carácter de fin de archivo indica el estado de cosas " no hay más caracteres que desempeñen un papel en el mensaje ", mientras que cada carácter que (dentro o fuera de contexto) no indica un final de archivo para mensajes de longitud incierta, indica " se necesitan más caracteres para la desambiguación". Si el papel de la información es fundamentalmente eliminar la ambigüedad de los estados de cosas, entonces nuestra propia división de estados de cosas en "aquellos que conciernen al mensaje en sí" y "aquellos que no conciernen al mensaje en sí mismo" es incidental, por muy útil que sea. Si el mensaje tiene una longitud incierta, es necesario tener un medio para comunicar cuál es la longitud real del mensaje, y esto es imposible de hacer con un alfabeto de una sola letra, que, porque solo puede comunicar un mensaje de cualquier longitud fija, no puede distinguir en ningún número de caracteres entre dos estados de cosas.

[Editado para agregar comentarios sobre combinatoria, esquemas unarios]

Creo que tiene razón en que la computación no es fundamental, pero para mí el punto de usar la computación es que la computación universal le permite calcular cualquier cosa, incluida cualquier métrica de información que le pueda gustar. Por lo tanto, medir información en términos de cómputo es simplemente valerse de una capacidad expresiva infinita. No es una declaración de que la computación es la clave aquí, solo que puedes hacer lo que quieras con ella.

Además, los factores constantes importan mucho. Si invento un lenguaje de programación que contiene el párrafo anterior como el símbolo ☆, entonces solo hay una diferencia de factor constante en la longitud del programa para expresar el párrafo anterior (unas 440x) y, sin embargo, he fallado por completo en capturar la intuición sobre la información que Kolmogorov presumiblemente pretendía. Si no se autoimpone la limitación de utilizar dispositivos informáticos compactos de propósito general, las medidas de información de Kolmogorov arrojan resultados sin sentido. Esto también ilustra que la computación no es lo fundamental de la información. Más bien, es una herramienta (que debe usarse apropiadamente) para el análisis.

Dicho esto, no creo que se pueda "probar" que el bit sea la unidad fundamental de información. Ciertamente puede adoptar un conjunto de axiomas que incluyen algo lógicamente equivalente a "el bit es la unidad fundamental de información". La mayoría de los textos sobre la información de Shannon hacen exactamente esto (en el sentido de que prueban que la información de Shannon de -p log pes la correcta ^† , y la representación computacionalmente más trivial* es con log= log2). Pero si pregunta a un nivel más profundo, no creo que pueda demostrar que el bit es fundamental en lugar del potencial de acción (o liberación sináptica) desde una perspectiva biológica; o que la desviación estándar(o intervalo de confianza) desde una perspectiva estadística analógica. En algún nivel, todos son equivalentes (pero tienes que cavar bastante para llegar de uno a otro), y cuál te gusta dependerá de tu perspectiva.

^{† Por una muy buena razón, como le demostrará cualquier libro de texto introductorio.}

* ^{No por ninguna razón realmente buena, excepto que dos estados es el número mínimo posible, y sucede que la física conspira para hacer que los dispositivos de dos estados sean más fáciles de construir que otros, por lo que nuestras computadoras son binarias.}

No creo que el bit sea la unidad fundamental de información. Es desde cierta perspectiva, pero se podrían elegir otras.

La justificación en resumen es así:

una. Qué conocimiento tenemos se puede codificar matemáticamente

b. las matemáticas siempre se pueden codificar como números

C. la representación más simple en un sistema numérico es en base 2

el paso a) es donde el conocimiento en oposición a la información comúnmente falla, que es lo que señala al admitir la diferencia entre información y 'semántica'. La broca es simplemente una buena elección de ingeniería; esto no es para restar importancia a su importancia. Cuando se dice que el bit es fundamental , se debe preservar el contexto y este es el contexto computacional y de ingeniería .

La escritura es una forma de información, si no hubiera una persona real que la entendiera , sería simplemente una secuencia de formas geométricas separadas por espacios.

Tienes razón acerca de confundir información (como en bits) que es c) con conocimiento a) está poniendo el mundo patas arriba. Pero, por supuesto, los bits pueden convertirse en una nueva fuente de conocimiento. Así que la situación es más sutil de lo que he descrito.