¿Cómo se compara hPES con las tasas de aprendizaje de las ANN?

El principal mecanismo de aprendizaje de las redes neuronales artificiales (ANN) es la retropropagación, que no es biológicamente plausible [2].

Trevor Berkolay creó una alternativa a este aprendizaje con el Marco de ingeniería neurológica (NEF) y Nengo llamado hPES (sensibilidad al error prescrito homeostático) [1]. Pero, ¿cómo se comparan sus capacidades de aprendizaje con el aprendizaje estándar supervisado y no supervisado de las ANN en términos de potencia computacional requerida y velocidad de aprendizaje?

[1] Ver también, "Cómo construir un cerebro" por Chris Eliasmith capítulo 6.4

[2] Se pueden encontrar más detalles sobre esta afirmación en la pregunta " ¿Es biológicamente plausible la utilería trasera? "

Nota: Esta pregunta retrató a las ANN y a la NEF como antagónicas, lo que en realidad no es el caso. Spaun el modelo cerebral, que es una especie de niño del cartel de la NEF, utiliza ANN (redes neuronales convolucionales específicamente) convertidas en neuronas puntiagudas en su sistema de visión.

Respuestas (1)

Según el documento, la ventaja de este nuevo enfoque sobre las ANN convencionales, las redes de creencias profundas (DBN) y las redes de autoorganización (SON) son:

  1. Permanece funcional durante el aprendizaje en línea.
  2. Requiere solo dos capas conectadas con aprendizaje simultáneo supervisado y no supervisado
  3. Emplea modelos de neuronas de picos para reproducir características centrales del aprendizaje biológico, como la plasticidad dependiente del tiempo de picos (STDP)

Podría decirse que hPES es superior a las ANN en términos de capacidad, pero en términos de rendimiento, tendrá que comparar el código de sus experimentos con las ANN destinadas a realizar la misma tarea, pero dado que ambas metodologías están diseñadas con diferentes propósitos en mente , puede que no valga la pena comparar. Además, cabe señalar que aunque el autor afirma haber creado un HIJO, la validación de esta afirmación en el artículo (y en su tesis de maestría) es bastante débil. En el documento, solo prueba que el SON aumenta la escasez, que no es para lo que generalmente se usan los SON (por ejemplo, las redes de Kohonen).

Finalmente, tenga en cuenta que aunque hPES es más plausible biológicamente, todavía tiene algunos de los mismos problemas que tienen las ANN. Es decir, los parámetros que toma deben optimizarse para la tarea específica que está aprendiendo (algunos enfoques para resolver esto con ANN incluyen algoritmos genéticos), incluso si es menos sensible a la modificación de parámetros. El autor menciona esta investigación de parámetros como parte de un trabajo futuro.

¿HPES no solo se ocupa de los códigos de tarifa y no de los tiempos de pico? Una mejor pregunta sería cómo se compara hPES con STDP.
@MattWay hPES se puede usar para aumentar y evaluar las neuronas, como todo en Nengo
No dije que no podía.
@MattWay leyendo esto de nuevo, lo siento, no te entendí bien. Si consulta la tesis de maestría de Trevor Bekolay, verá que hPES captura todos los aspectos de STDP.
@MattWay años después, tengo un resumen MUY breve de cómo coincide en esta respuesta
¿Cómo se compara hPES con las tasas de aprendizaje de las ANN?
RespuestasAquíPolítica de privacidad1y, 0v