Después de hacer la pregunta ¿Cuál es la red neuronal más compleja? Me di cuenta de que realmente no tengo una buena métrica de "complejidad" en un sentido general. La medida más simple probablemente sería el recuento de neuronas o el número de sinapsis, pero eso no tiene en cuenta la estructura de la red.
Un par de medidas de complejidad se analizan en el artículo Complejidad de las redes neuronales predictivas , pero son muy específicas para una sola tarea. Uno es la cantidad de trabajo necesario para aprender una determinada cosa y el otro es cuántas neuronas se necesitan para aproximarse a una determinada función.
Las medidas toscas, basadas en animales, a menudo se emplean para captar titulares; como las afirmaciones incorrectas de que The Blue Brain Project había emulado una red neuronal "tan compleja como" el cerebro de un gato. C. elegans es un nivel de complejidad común y aparentemente alcanzable para una red neuronal artificial.
Las medidas basadas en animales se pueden relacionar con el profano, pero parecen cuestionables, especialmente cuando se compara una red neuronal con la de un animal cuya red neuronal no ha sido mapeada por completo ( como C. elegans ).
¿Cuál es una medida significativa por la cual se pueden medir las redes neuronales artificiales? ¿Cómo se comparan actualmente tales redes? ¿Puede alguna métrica de este tipo medir adecuadamente la complejidad de un sistema de este tipo?
La métrica de complejidad estándar en informática teórica y aprendizaje automático, en particular en la teoría del aprendizaje estadístico, es la dimensión Vapnik-Chervonenkis (VC) . Es interesante porque nos brinda una muy buena herramienta para medir la capacidad de aprendizaje de una red neuronal (o cualquier otro aprendiz estadístico, en general).
Una buena introducción al uso de la dimensión VC para estudiar redes neuronales es:
Eduardo D. Sontag [1998] "Dimensión VC de redes neuronales" [ pdf ].
Allí, el autor muestra (por ejemplo) que una red con una capa oculta, entradas, y neuronas tiene dimensión VC de . También explica algunas técnicas básicas sobre cómo hacer un límite superior de la dimensión VC y cómo usarla para redes neuronales dinámicas.
Aventurando una visión contrastante: la dimensión VC citada por AK es una medida teórica buena/sólida de la complejidad de ANN, pero es poco probable que se aplique a cualquier ANN construida real, excepto como una estimación, y los investigadores/artículos en ANN aplicadas grandes no estiman actualmente dimensión CV.
En cierto sentido, cómo medir la complejidad de una ANN es una pregunta abierta que los investigadores intentan responder actualmente ("trabajo en progreso") y no se resolverá hasta que haya una teoría más general de "detección de características" que parece estar emergiendo lentamente en este momento, por ejemplo, en la investigación de aprendizaje profundo . es probable que tal teoría lleve mucho tiempo en desarrollo si es posible y alguna vez se obtiene. Aproximadamente, desde este punto de vista, una ANN "más compleja" reconoce características "más complejas" en diferentes dimensiones (espaciales, temporales, diferentes modalidades sensoriales como auditiva, cinestésica (robótica), etc.).
Sin embargo, mientras tanto, vale la pena y es bastante objetivo considerar simplemente una estimación de estilo de "caja negra" o "operacional" basada en la funcionalidad inteligente exhibida por ANN. en otras palabras, ¿qué puede lograr la ANN y cómo se compara esto con nuestro único otro punto de referencia de inteligencia, es decir, biológico?
Usted tiende a descartar esto en la pregunta, pero ya existe una "escala móvil" informal de inteligencia biológica de uso común, por ejemplo, con organismos pequeños en un extremo, moviéndose a través de insectos y mamíferos, etc., y humanos en el otro. final. En la ciencia animal hay preguntas y estudios bastante concluyentes, por ejemplo, "cuál es más inteligente, un perro, un cerdo o un gato" con respuestas bastante matizadas/definitivas (también con la comprensión de que "el contexto importa" y hay varios aspectos de incomparabilidad).
Este enfoque básicamente se remonta a la prueba de Turing y la prueba de Turing sigue siendo una medida científica muy válida de la inteligencia, todavía se aplica, por ejemplo, en el concurso de Loebner , y parece tener raíces también en los principios de la psicología conductista . implica los aspectos básicos de una prueba científica, como un control y un muestreo ciego , etcétera.
Además, hay aspectos de la inteligencia que son exclusivos de los humanos, como el reconocimiento de voz, el reconocimiento de imágenes, la traducción de idiomas, etc., y estos conducen a buenos puntos de referencia de las ANN que están dirigidas a la funcionalidad similar a la humana en cuanto a qué tan bien se compara la ANN. al desempeño humano. incluso puede conducir a mediciones de desempeño sobrehumano en varios casos.
Esto no conduce a una sola estimación cuantificable/numérica de la inteligencia, pero en psicología, esa premisa está empezando a ser seriamente cuestionada de todos modos, por ejemplo, la teoría de las inteligencias múltiples y tal vez incluso refutada un poco en este punto.
Artem Kaznatchev