Sobre la definición de cadenas de Markov

Se pueden considerar primitivas de procesos estocásticos, en el siguiente sentido. Asumir que$(U_n)$es iid y define$(X_n)$y$(S_n)$recursivamente por$X_0=S_0=0$y, por cada$n\geqslant0$,

$$X_{n+1}=X_n+U_{n+1},\qquad S_{n+1}=S_n+X_{n+1}.$$ Entonces, el proceso $(U_n)$es iid por definición (por lo tanto, una cadena de Markov), el proceso $(X_n)$es una cadena de Markov (homogénea) con probabilidades de transición $p_{i,j}=P(U_1=j-i)$para todos los estados $(i,j)$, pero, en general, el proceso $(S_n)$no es una cadena de Markov.

Por ejemplo, suponga que cada$U_n$es uniforme en$\{-1,1\}$, entonces$(X_n)$es la caminata aleatoria estándar en$\mathbb Z$con transiciones$p_{i,i+1}=p_{i,i-1}=\frac12$para cada$i$en$\mathbb Z$. Usando la notación$\xi_{i:j}$para$(\xi_i,\xi_{i+1},\ldots,\xi_j)$para varios símbolos$\xi$y enteros$i\leqslant j$, se puede comprobar que

$$P(S_{1:4}=(1,1,0,2))=P(U_{1:4}=(1,-1,-1,3))=0,$$ mientras $$P(S_{1:4}=(-1,-1,0,2))=P(U_{1:4}=(-1,1,1,1))\ne0,$$ de ahí la distribución de $S_4$condicionalmente en $S_{1:3}$no depende solo de $S_3$, eso es, $(S_n)$no es una cadena de Markov.

...Sin embargo, el proceso$(S_n)$es "Markov de orden$2$", en el sentido de que la distribución de$S_{n+2}$condicionalmente en$S_{1:n+1}$depende de$(S_{n},S_{n+1})$solo. Específicamente, para todos los números enteros$(i,j,k)$,

$$P(S_{n+2}=k\mid S_{1:n-1},S_n=i,S_{n+1}=j)=P(U_1=k-2j+i).$$ La iteración del mecanismo de primitivación descrito anteriormente produce "procesos de Markov de órdenes superiores".

Para obtener procesos estacionarios , es decir, procesos$(S_n)$cuyas transiciones no dependen del tiempo, considere nuevamente$(U_n)$uniforme iid en$\{-1,1\}$pero considere algunos procesos$(X_n)$y$(S_n)$en el espacio de estado$\mathbb Z/N\mathbb Z$para algunos grandes$N$, definida recursivamente por$X_0=S_0$uniforme en$\mathbb Z/N\mathbb Z$, y

$$X_{n+1}=X_n+U_{n+1}\pmod{N},\qquad S_{n+1}=S_n+X_{n+1}\pmod{N}.$$ Entonces, cada $X_n$y cada $S_n$es uniforme en $\mathbb Z/N\mathbb Z$y $X_{n+1}$es independiente de $S_n$(este exige un poco de trabajo). En particular, el proceso $(S_n)$no es una cadena de Markov ya que, para cada $(i,j)$en $\mathbb Z/N\mathbb Z$, $$P(S_{n+1}=j\mid S_n=i)=\frac1N,\qquad P(S_{n+1}=j\mid S_{n-1}=2i-j,S_n=i)=0.$$

Cualquier distribución de probabilidad satisfará su ecuación 2. El punto de una cadena de Markov es que en la ecuación

$$P[X_{n+1}=j|X_0=i_0,\ldots,X_n=i_n]=p_{i_nj},$$ la probabilidad solo depende del elemento anterior: $$P[X_{n+1}=j|X_0=i_0,\ldots,X_n=i_n]=P[X_{n+1}=j|X_n=i_n].$$