Esa es la entropía continua (diferencial); ¡no la entropía de la variable aleatoria discreta que es su salida ADC!

Podrías (y viendo tu página de perfil, probablemente te divertirás mucho haciéndolo) investigar lo que se llama distorsión de velocidad en el campo que se ocupa de la entropía de la información, la teoría de la información . Esencialmente, un ADC no "deja pasar" toda la entropía que ingresa, y hay formas de medir eso.

Pero en este caso concreto, las cosas son más sencillas.

Recuerda: La entropía de una fuente discreta$X$es la expectativa de información

$$H(X) = E(I(X))$$

y desde su salida ADC$X$tiene un número muy finito de cantidades contables de estados de salida, la expectativa es solo una suma de probabilidad de una salida$x$veces la información de esa salida:

$$\begin{align} H(X) &= E(I(X))\\ &= \sum_{x} P(X=x) \cdot I(X=x)\\ &= \sum_{x} P(X=x) \cdot \left(-\log_2(P(X=x))\right)\\ &= -\sum_{x} P(X=x) \log_2(P(X=x)) \end{align}$$

Ahora, primera observación:$H(X)$de un$N$-bit ADC tiene un límite superior: nunca puede obtener más de$N$bits de información de ese ADC. Y: obtienes exactamente$H(X)=N$si usa la distribución uniforme discreta para los valores sobre el$2^N$Pasos de ADC (¡pruébalo!$P(X=x) = \frac1{2^N}$en la fórmula anterior, y recuerda que sumas$2^N$diferentes estados de salida posibles).

Entonces, podemos concluir intuitivamente que la distribución normal digitalizada produce menos bits de entropía que la distribución uniforme digitalizada.

Prácticamente, eso significa algo inmensamente simple: en lugar de usar, digamos, un ADC de 16 bits para digitalizar su fenómeno normalmente distribuido, use dieciséis ADC de 1 bit para observar 16 entidades análogas normalmente distribuidas, y solo mida si el valor observado es más pequeño o más pequeño. mayor que el valor medio de la distribución normal. Ese "bit de signo" se distribuye uniformemente sobre$\{-1, +1\}$, y por lo tanto, obtiene un bit completo de cada ADC de 1 bit, sumando un total de 16 bits. Si su fuente de ruido es blanca (eso significa que una muestra no está correlacionada con la siguiente), entonces puede muestrear 16 veces más rápido que su ADC de 16 bits con su ADC de 1 bit y obtener los 16 bits completos de entropía en el mismo tiempo que habría hecho una conversión de analógico a digital de 16 bits¹.

¿Cuántos bits de entropía tiene la distribución normal cuantificada?

Pero tenía una pregunta muy importante: ¿Cuántos bits obtiene cuando digitaliza una distribución normal?

Lo primero que hay que darse cuenta:

La distribución normal tiene colas y tendrás que truncarlas; lo que significa que todos los valores por encima del paso ADC más grande se asignarán al valor más grande, y todos los valores por debajo del más pequeño al valor más pequeño.

Entonces, ¿qué probabilidad obtienen los pasos ADC?

Haré el siguiente modelo:

1. Como se muestra arriba, el signo de nuestro$\mathcal N(0,1)$variable distribuida es estocásticamente independiente del valor absoluto. Entonces, solo calcularé los valores para los contenedores ADC$\ge0$; los negativos serán simétricamente idénticos.
2. Nuestro modelo ADC cubre$[-1,1]$unidades analógicas; Tiene$N+1$pedacitos Lo que significa que voy a cubrir$[0,1]$con$N$bits a continuación.
3. El contenedor ADC no negativo más pequeño cubre los valores analógicos$v_0=[0,2^{-N}[$; el despues de ese$v_1=[2^{-N},2\cdot 2^{-N}[$.
   El$i$th bin (contando desde 1,$i<2^N-1$) cubre $$v_i=[i\cdot 2^{-N},(i+1)\cdot 2^{-N}[$$ .
4. Sin embargo, lo más interesante es el último contenedor: cubre $$v_{2^N-1}=[ (2^N-1)\cdot 2^{-N},\infty[=[1-2^{-N},\infty[$$ .

Entonces, para obtener la entropía, es decir, la información esperada, necesitaremos calcular la información de cada contenedor individual y promediarlos, es decir, sopesar la información de cada contenedor con su probabilidad. ¿ Cuál es la probabilidad de cada contenedor?

$$\begin{align} P(X\in v_i|X>0) &= \int\limits_{i\cdot 2^{-N}}^{(i+1)\cdot 2^{-N}} f_X(x)\,\mathrm dx && {0\le i<2^N-1}\\ &= 2\left(F_X\left((i+1)\cdot 2^{-N}\right)-F_X\left(i\cdot 2^{-N}\right)\right) &&|\text{ standard normal}\\ &= 2\Phi\left((i+1)\cdot 2^{-N}\right)-2\Phi\left(i\cdot 2^{-N}\right)\\[1.5em] P(X\in v_{2^N-1}|X>0) &=\Phi(\infty)-2\Phi\left(1- 2^{-N}\right)\\ &= 1-2\Phi\left(1- 2^{-N}\right) \end{align}$$

Entonces, tracemos la información de un ADC de 5 bits (lo que significa que 4 bits representan los valores positivos):

Resumiendo los $\P\$ de arriba, vemos que solo obtenemos 3,47 bits.

Hagamos un experimento: ¿Paga mi ADC? Simplemente trazaremos la entropía que obtenemos sobre los bits ADC que pagamos.

Como puede ver, obtiene rendimientos decrecientes por un costo adicional; así que no use un ADC de alta resolución para digitalizar una distribución normal fuertemente truncada

Escalando el rango de ADC

Como fue bastante intuitivo en las secciones anteriores, el problema es que el contenedor límite acumula demasiada masa de probabilidad.

¿Qué pasa si escalamos el rango de ADC, para cubrir$[-a\sigma, a\sigma]$en lugar de solo$[-\sigma, \sigma]$?

Lo que confirma nuestra sospecha de que hay una entropía máxima que obtendrá cuando haga que su distribución normal parezca relativamente uniforme:

---

código fuente

Los scripts utilizados para generar las cifras anteriores se pueden encontrar en Github .

---

¹ de hecho, debe observar de cerca la arquitectura de su ADC: los ADC generalmente no están destinados a digitalizar el ruido blanco y, por lo tanto, muchas arquitecturas de ADC se esfuerzan por "colorear" el ruido blanco, por ejemplo, cambiando la energía del ruido a frecuencias más altas al medir el valor de salida sucesivamente; ¡una introducción al ADC Delta-Sigma es una lectura obligada aquí! Y estoy seguro de que lo disfrutarás :)