En 2004 , el libro de Jeff Hawkins Sobre la inteligencia fue ampliamente elogiado . Pero Hawkins hizo algunas afirmaciones sobre las redes neuronales artificiales que parecen (para mí) insostenibles hoy, solo 13 años después. Da la impresión de que, en principio, las redes neuronales artificiales no son capaces de lo que él llama representaciones invariantes y almacenamiento jerárquico de patrones (pág. 70 y sigs.).
Mis preguntas son:
¿Simplemente no (anticipó) el desarrollo del aprendizaje profundo que comenzó a más tardar en 2005 (ver Historia del aprendizaje profundo ) y que incluye representaciones tanto invariantes como jerárquicas?
¿O están justificadas sus retenciones contra las redes neuronales artificiales (incluido el aprendizaje profundo), y las representaciones invariantes y jerárquicas del aprendizaje profundo no son competitivas con las de las redes biológicas, es decir, la neocorteza? ¿En qué sentido, entonces?
Sobre representaciones invariantes y jerárquicas (en mis palabras y entendimiento):
Una representación invariable, por ejemplo, de un rostro, es aquella que es independiente y, por tanto, invariable con respecto a aspectos contingentes de la imagen del rostro que tienen que ver con la distancia, el ángulo de visión, las condiciones de iluminación y similares.
Es la representación en la capa más alta de una jerarquía de representaciones con características geométricas locales representadas en la capa más baja.
Esto describe superficialmente tanto el aprendizaje profundo como las arquitecturas corticales. Pero tal vez hay detalles de implementación/realización que hacen que uno sea significativa y genuinamente más eficiente que el otro, por ejemplo, columnas corticales que parecen no estar presentes en las arquitecturas de aprendizaje profundo, ¿verdad?
Creo que la terminología de Hawkins tiende a no ser tan precisa como debería ser. Supongo que esa es la causa raíz de esta pregunta también.
La impresión de que Hawkins dice que las computadoras o las redes neuronales nunca podrán realizar ciertas tareas que son rutinarias para el cerebro humano puede deberse a su falta de precisión.
Escribes (en un comentario):
Tengo la impresión de que él ve las computadoras y las ANN como lo mismo.
Esa no es mi impresión 1 , así que responderé dos preguntas:
En el capítulo 2, "Redes neuronales", págs. 23-39, Hawkins habla de cierto tipo de redes neuronales artificiales (principalmente págs. 24-29).
Está hablando principalmente de ANN muy simples. Ver pág. 25:
La mayoría de las redes neuronales consistían en un pequeño número de neuronas conectadas en tres filas.
Es cierto que hay muchas tareas que las ANN simples no pueden hacer (o no pueden hacer bien), pero, por supuesto, eso no es cierto para las ANN más complejas. Creo que el problema aquí es que Hawkins no siempre hace esta distinción lo suficientemente clara, aunque dice en la p. 28:
No quiero dejarlos con la impresión de que todas las redes neuronales son de la variedad simple de tres capas. Algunos investigadores han seguido estudiando redes neuronales de diferentes diseños. Hoy en día, el término red neuronal se usa para describir un conjunto diverso de modelos, algunos de los cuales son biológicamente más precisos y otros no.
Tal vez la siguiente cita en la p. 32 podría interpretarse de tal manera que en realidad previó algunos desarrollos después de 2004:
En los últimos años, ha ido en aumento la creencia en la importancia de la retroalimentación, el tiempo y la predicción. Pero el trueno de la IA y las redes neuronales clásicas mantuvo otros enfoques moderados y subestimados durante muchos años.
En el capítulo 4, "Memoria", pp. 65-84, (que contiene la p. 70ff que mencionaste) no habla de redes neuronales artificiales, sino de "computadoras". No especifica exactamente lo que quiere decir, pero supongo que es más o menos "máquinas que funcionan principalmente como las computadoras actuales".
En P. 67, dice que incluso "la computadora paralela más grande imaginable no puede resolver" ciertas tareas que el cerebro puede resolver. Creo que está mal, pero como no está muy claro qué quiere decir con "computadora", no estoy seguro.
Algunas o la mayoría de las afirmaciones de Hawkins pueden ser correctas, pero eso depende de lo que él entienda por "computadoras" o "redes neuronales", y no siempre deja eso claro.
1 Por ejemplo, esta cita en la p. 24 parece implicar que sí ve una diferencia:
Una red neuronal se diferencia de una computadora en que no tiene CPU y no almacena información en una memoria centralizada.
Efervescencia
Hans Peter Stricker