Atractores espurios en las redes de Hopfield

Creo que su intuición sobre la menor "proporción de energía" de los estados espurios que explican su mayor susceptibilidad al desaprendizaje podría ser correcta.

En una red de Hopfield, los estados espurios son patrones de actividad que no se han incrustado explícitamente en la matriz sináptica, pero que, sin embargo, son estables. En otras palabras, son estados atractores "no deseados" que, en virtud de una superposición finita con los estados atractores "deseados", se presentan como un mínimo local en la función de energía. La regla de desaprendizaje en Hopfield et al. (1983) consiste en modificar la matriz sináptica para disminuir la energía de los estados estables en los que se asienta la dinámica de la red, ya sean estados espurios o embebidos. Debido a que los estados espurios tienen mayor energía que los estados incrustados, se ven más fuertemente afectados por el paso de desaprendizaje.

Ahora bien, ¿por qué los estados espurios tienen mayor energía que los estados atractores incrustados? Bueno, en realidad esto no es cierto en general, pero es el caso en un régimen donde la red de Hopfield no excede su capacidad de carga, es decir, cuando el número de patrones aprendidos sobre el número de unidades$p/N$es inferior a la capacidad crítica$\alpha_c\approx0.138$. En este régimen, es posible estimar la superposición de los estados espurios con los patrones aprendidos, y mostrar que es generalmente menor que$1$(la superposición de los patrones aprendidos consigo mismos). Debido a cómo la construcción hebbiana de la matriz sináptica en el modelo de Hopfield, estos solapamientos son términos que aparecen en la función de energía. La energía de un patrón es proporcional a menos la raíz cuadrada de su superposición con los patrones aprendidos. Esto significa que los patrones espurios tienen mayor energía que los aprendidos.

En general, este tipo de consideraciones ingenuas debe sustentarse en argumentos más rigurosos basados ​​en la teoría de la probabilidad. Estos, por ejemplo, señalan que incluso para el régimen inferior$\alpha_c$los patrones recuperados son en realidad estados espurios tan pronto como el número de patrones incrustados$p$excede arriba$\frac{N}{2\ln N}$. Sin embargo, tales estados espurios tienen una gran superposición con los patrones aprendidos ($0.97$) que básicamente coinciden con ellos.

Este resultado y sus generalizaciones para temperatura distinta de cero (es decir, ruido en la dinámica) y más allá de la capacidad crítica se han elaborado en el siguiente documento muy técnico:

• Amit DJ, Gutfreund H y Sompolinsky H (1987) Mecánica estadística de redes neuronales cerca de la saturación . Ana. física (Nueva York) 173, 30

y en el libro:

• Amit DJ, (1992) Modelado de la función cerebral: El mundo de las redes neuronales atractoras . Prensa de la Universidad de Cambridge, ISBN: 9780521421249