Redes neuronales con relatos biológicamente plausibles de neurogénesis

No conozco ningún algoritmo NN que coincida completamente con su definición, y los he buscado (anteriormente y recientemente). Aquí hay algunos documentos que creo que están cerca o en la dirección que está explorando.

Uso de modelos teóricos para analizar el desarrollo neuronal (revisión)

Un lenguaje de instrucción para la autoconstrucción en el contexto de las redes neuronales

Neurogénesis evolucionada y sinaptogénesis para el control robótico: el modelo L-brain

Modelado de la función de nuevas neuronas: una historia del uso de la neurociencia computacional para estudiar la neurogénesis adulta (revisión)

Los primeros dos enlaces son artículos de neurociencia computacional que analizan modelos relativamente complejos de neurogénesis en relación con el neurodesarrollo (en lugar de la neurogénesis adulta). Algunos de estos modelos (incluido el segundo documento) ni siquiera involucran actividad de red y, en su forma actual, probablemente ninguno de ellos sea capaz o adecuado para resolver problemas prácticos. El tercer documento es probablemente el más cercano a lo que está buscando (pero no tengo acceso), y el cuarto es como sugiere su título.

Muchos modelos de red de neurogénesis se centran en el neurodesarrollo. Una conclusión bastante obvia parece ser que la razón de esto es que el papel biológico más importante de la neurogénesis está en el neurodesarrollo. He pensado mucho en usar la neurociencia para derivar algoritmos NN que sean tanto biológicamente plausibles como funcionales, y he considerado la neurogénesis dentro de ese contexto. Mi conclusión actual es que, fuera de la neuroevolución , la neurogénesis no es actualmente un enfoque ideal para el modelado de NN, porque su papel en el aprendizaje y la computación parece estar mayormente limitado a un caso especial (el hipocampo) que no se entiende bien (a pesar de su obvia importancia).

Con respecto a la correlación en cascada, sospecho que se puede lograr un efecto similar en algunos NN biológicos usando solo sinaptogénesis y plasticidad sináptica. Básicamente, si tiene muchas neuronas y el nuevo aprendizaje se limita a un número mínimo de sinapsis que posteriormente se protegen de futuras modificaciones, entonces el efecto podría ser el mismo que limitar siempre el nuevo aprendizaje a las neuronas recién agregadas (como en CC-NN ). Tal caso sería consistente con estoshallazgos, por ejemplo. En tal modelo, no sería biológicamente plausible, y quizás no deseable, que cada neurona estuviera conectada con cada neurona en la capa anterior y siguiente, y por lo tanto se requeriría un sistema para determinar el patrón de conexiones exploratorias. Para hacer eso, uno podría basarse en modelos de neurodesarrollo como el anterior (para sesgar los objetivos de la sinaptogénesis, para generar conexiones iniciales de la red, o ambos) o, alternativamente, tratar de derivar algoritmos que se aproximen a los patrones de conectividad observados de biológicos. redes

No conozco un modelo de red particular para este trabajo (por lo que mi respuesta será incompleta), pero creo que cualquier memoria asociativa basada en el aprendizaje de Hebbian puede estructurarse fácilmente para simular la neurogénesis. Estas redes no supervisadas son en realidad sistemas dinámicos no lineales que pueden entenderse en términos de sus espacios de fase. El espacio de fase es la realización de la dinámica de la red en el tiempo. Contiene (posiblemente) varios estados estables, llamados mínimos.

Considere una red de n nodos. Cuando agrega el nodo n + 1 y lo conecta al resto de la red a través de una cierta cantidad de conexiones, lo que (hipotéticamente) ve es que el espacio de fase no se reforma por completo; pero cambia suavemente. Una cosa importante a aclarar (gracias a Artem Kaznatcheev), es que el número n debería tener un valor considerablemente grande. Imagine el caso extremo, donde n es 1; entonces toda la estructura desaparecerá.

No soy tan bueno en sus matemáticas, pero en principio esto permite simular la neurogénesis en este tipo de redes que implementan sistemas dinámicos. Se pueden desarrollar algoritmos que recluten o eliminen nodos y conexiones en paralelo al entrenamiento.

Cómo agregar nodos: creo que la respuesta a esta pregunta en particular no afecta la plausibilidad neurobiológica del modelo. Incluso podemos suponer que los nodos están ahí, pero no se utilizan (debido a la innecesidad previa), y ahora los necesitamos y los reclutamos.

Pero, como nota final, debo decir que nunca antes había desarrollado una red de este tipo, por lo que no puedo compartir mis experiencias aquí.