¿Cuál es la relación entre la incertidumbre y la información obtenida de una medición?

Supongamos que tenemos la probabilidad de medir el valor$x_i$dada por$P(x_i)$. la incertidumbre de$x$luego se mide por la entropía de Shannon (que no es exactamente lo mismo que la entropía en termodinámica ):

Después de la medición$A$, la distribución de la misma cantidad viene dada por la probabilidad condicional$P(x_i|A)$, por lo que la incertidumbre es:

Se puede encontrar una discusión más detallada de estos conceptos en los libros sobre teoría de la información, como, por ejemplo, Elements of Information Theory de Cover y Thomas .

"Incertidumbre" es un término ambiguo. Para una medida estándar en física, hay dos componentes de error reconocidos.

La precisión es una medida de qué tan cerca coincide una medida con el valor "conocido". Obviamente, el valor conocido o verdadero de una medida normalmente no se conoce, pero para situaciones como la determinación de la concentración de una sustancia química en un experimento de química, deliberadamente se mezclaría una concentración conocida de esta sustancia química, conocida como el "estándar". y haga una medición de esta concentración para asegurarse de que su dispositivo/método de medición le esté dando una lectura verdadera.

La precisión es una medida de cuántas cifras significativas puede asignar a una medida determinada y está relacionada con el dispositivo que se utilizó para realizar la medida. Para una medida con regla métrica, donde la regla métrica está marcada en centímetros y no contiene marcas milimétricas, puede medir longitudes al centímetro más cercano y estimar la fracción de centímetro que excede la longitud desconocida. Por lo tanto, una línea de 65,3 centímetros de largo se reportaría como de 0,653 metros de largo, donde el dígito menos significativo (por ejemplo, "3") se reconoce como un valor estimado. No reportarías la longitud como 0.6530 metros, porque las reglas de precisión requieren que solo estimes y reportes el primer dígito estimado en tu respuesta. Del mismo modo, si se marcó una regla de metro diferente en centímetros y milímetros, reportaría la línea medida como 0.6532 metros, donde nuevamente, el dígito menos significativo (por ejemplo, "2") se reconoce como un valor estimado. Tenga en cuenta que si la precisión se informa correctamente, es fácil discernir que la primera medición se tomó con un dispositivo que estaba marcado en centímetros, mientras que la segunda medición se tomó con un dispositivo que estaba marcado en milímetros.

En cuanto a la "incertidumbre" en las mediciones descritas anteriormente, AMBAS mediciones dan una respuesta dentro de la precisión del dispositivo que se utilizó. CADA respuesta es "información" válida en el contexto de exactitud y precisión. Si una respuesta puede considerarse "mejor" o más válida que la otra, a menudo depende de qué tan precisa sea la respuesta que necesite para una aplicación o experimento determinado. Esto, por supuesto, significa que no existe una relación estrictamente definida entre "incertidumbre" e "información", ya que ambos términos son ambiguos dentro del contexto de las normas físicas establecidas.

“Los datos no son información. La información no es conocimiento. El conocimiento no es sabiduría. La sabiduría no es la verdad. La verdad no es belleza. La belleza no es amor. El amor no es música. La música es LO MEJOR”. franco zappa

Si mides algo, obtienes datos. La cantidad de información en los datos se puede estimar estimando su incertidumbre. Si antes de que llegaran los datos no tenía idea de qué esperar, y luego lo descubrió, eso es algo. Pero si estabas bastante seguro de lo que obtendrías y luego lo obtuviste, eso es mucho menos. Si estaba seguro de cuáles serían los datos y luego se equivocó, obtuvo más información que si simplemente no supiera.

Si los datos fueron el resultado de una carrera de caballos en la que tenía dinero, entonces el mensaje real es lo que le importa. Si REALMENTE tu caballo ganó pero no lo anunciaron, pierdes tu dinero de todos modos. Pero, ¿y si lo que realmente te importa es un principio general? Tiene una idea de lo que está pasando que da como resultado las mediciones, y cada medición ayuda a persuadirlo de que está en lo cierto o no. Si comprende las cosas principales y hay varias cosas pequeñas que tienen efectos pequeños, puede aceptar algunos errores pequeños. Pero una vez que se aceptan sus grandes efectos, alguien más podría presentar teorías sobre los pequeños errores y, para él, esas son las cosas importantes. "La carne de un hombre es el veneno de otro. Los datos de un hombre son el error experimental de otro".

Entonces, lo que decide si es información o ruido, es lo que te importa.

La cantidad de información que obtienes proviene básicamente de cuán sorprendido estás cuando la obtienes. O tal vez es mejor decir a partir de cuánto se reduce su incertidumbre.

Este material es difícil de cuantificar de una manera significativa. Pero hay formas de cuantificarlo de las que podría tomar sentido en circunstancias específicas.

Entendemos que cantidad$q$tiene un verdadero valor$q_{true}$. Sin embargo, sólo podemos conocer un conjunto de valores dentro de los cuales$q_{true}$mentiras. La extensión de ese conjunto de valores se denomina incertidumbre.$\delta q$. Dado que no podemos saber en qué parte del conjunto se encuentra el valor verdadero, a menudo usamos el promedio como nuestra mejor suposición.$q_{best}$. Hay otras mejores conjeturas, como la mediana o la media geométrica.

Para reportar una cantidad el formalismo$q = q_{best}\pm\delta q$se usa Este informe requiere 2 piezas de información.

1. La mejor estimación,$q_{best}$
2. La incertidumbre,$\delta q$

Tener una mejor estimación o una mayor incertidumbre no cambia la cantidad de información requerida para describir completamente la cantidad. Existe una incertidumbre más pequeña dentro de la extensión de la incertidumbre más grande, por lo que una implica la otra. Dar la fila y el número de asiento sin el estadio no tiene sentido. Entonces, una incertidumbre válida es una sola pieza de información.

si la incertidumbre se duplica, ¿la información obtenida se reduce a la mitad?

No. Todavía hay solo dos datos sobre la cantidad.

Además, ¿la incertidumbre infinita equivale a 0 información?

No. Los verdaderos valores se encuentran dentro de la extensión del conjunto de valores. Todavía se puede hacer la mejor estimación. Algunos lo llamarían "Declarar lo obvio".

El Principio de Incertidumbre debe ser considerado cuidadosamente. En este caso, "Incertidumbre" tiene connotaciones de mecánica cuántica que pueden modificar el significado en comparación con la forma utilizada anteriormente. El Principio conecta las incertidumbres (antes consideradas independientes) de dos cantidades.

El principio de incertidumbre introduce una restricción sobre las incertidumbres. Si se conoce la constante de proporcionalidad, la restricción reduce el número de piezas de información a 3. La constante puede ser exacta, lo que lleva el número de piezas de información a 4. O puede ser incierta, lo que lleva la cantidad de información a 5.

La incertidumbre no crea ni destruye información. Reducirlo simplemente pule la información existente.