Entropía topológica en cadenas de Markov

Recomiendo encarecidamente dos referencias:

• el artículo de Young ( e-print ), una revisión conceptual esclarecedora de la entropía en sistemas dinámicos;
• Tesis de Maestría de Pekoske , por sus ejemplos con cálculos paso a paso.
  _{(Sin embargo, tenga cuidado con el error tipográfico en la página 36:$h_\mu(\sigma)\approx .075489$tiene que leer$h_\mu(\sigma)\approx 0.32451$.)}

Entropía topológica$h_T$

¿Cómo encuentro la entropía topológica?$h_T$?

A partir de un desplazamiento de Markov topológico compatible .

Las probabilidades de transición dadas corresponden a la matriz de transición (izquierda):

$$P = \begin{pmatrix} 1-q & 0 & 1\\ q/2 & 1-q & 0\\ q/2 & q & 0 \end{pmatrix}.$$

Obtenemos un desplazamiento de Markov topológico (es decir, un subdesplazamiento de tipo finito) de la cadena de Markov original considerando la matriz de adyacencia $A$ compatible con$P$(ver las publicaciones aquí y esta charla ):

$$A = \begin{pmatrix} 1 & 0 & 1\\ 1 & 1 & 0\\ 1 & 1 & 0 \end{pmatrix}.$$

La entropía topológica del desplazamiento topológico de Markov viene dada (ver también este libro ( e-print )) por el logaritmo del radio espectral (es decir, el módulo de valores propios más grande,$|\lambda|$) de la matriz de adyacencia:

$$h_T = \log_2|\lambda|.$$

Para$A$arriba tenemos$\lambda=2$y por lo tanto

$$h_T = 1.$$

Entropía de Kolmogorov-Sinai (KS)$h_{KS}$

Si$\pi$es el estado estacionario de la cadena de Markov dado por$P$, entonces

$$h_{KS} = - \sum_{i,j} \pi_i P_{ij} \log_2 P_{ij}.$$

El vector de estado estacionario$\pi$de la cadena de Markov es el vector propio asociado con el valor propio unitario de$P$, normalizado de modo que$\sum\pi_i=1$(ver estos ejemplos ). Para$P$arriba tenemos

$$\pi = \frac{1}{2q+3}\begin{pmatrix} 2\\ 1\\ 2q \end{pmatrix}.$$

Eso produce, por ejemplo:

$$h_{KS}(q=1/2) \approx 1,$$ $$h_{KS}(q=1/5) \approx 0.75464.$$

Entropía de Shannon$h_S$

muestra esa$h_T\le h_S$. ¿Es esto un hecho general?

Sí, creo que sí.

La entropía de Shannon$h_S$depende de la partición elegida y no tiene límites, por lo que esperaría la declaración (1)$h_T < h_S$ser correcto. Además, es posible tener (i)$h_S=h_{KS}$(por ejemplo, para el cambio de Bernoulli ) y tenemos (ii)$h_T \ge h_{KS}$: de (i) y (ii) vemos que es posible que (2)$h_T = h_S$sostiene; finalmente, de (1) y (2) tenemos:$h_T\le h_S$.

En términos de probabilidades$p_i$, podemos escribir

$$h_S = - \sum_{i} p_{i} \log_2 p_{i}.$$

Cálculo de la entropía de Shannon usando$P$las probabilidades de estado estacionario,$\pi_i$, obtenemos, por ejemplo:

$$h_{S}(q=1/2) \approx 1.5.$$ $$h_{S}(q=1/5) \approx 1.3328.$$