La IA puede adivinar si eres gay o heterosexual: ¿cómo obtienen una tasa de éxito del 91 %?

¿Es cierto o falso?

El trabajo de investigación en cuestión pasó la revisión por pares, lo que sugiere que otros expertos en el campo consideraron que la metodología era sólida. Es concebible que los resultados fueran falsificados (como sucede ocasionalmente en la investigación), pero esto es muy poco probable dado lo fácil que sería reproducir y verificar los hallazgos. De hecho, no hay nada que te impida reproducir su trabajo tú mismo.

Sin embargo, ¿podrían estar equivocados los resultados? Bueno, los propios autores del estudio escribieron lo siguiente:

Nuestros hallazgos podrían estar equivocados. De hecho, a pesar de la evidencia en contrario, esperamos estar equivocados. Sin embargo, los hallazgos científicos solo pueden ser desacreditados por datos científicos y réplicas, no por abogados bien intencionados y funcionarios de comunicación que carezcan de capacitación científica.

en respuesta a las críticas de HRC y GLAAS ( fuente ).

¿Cómo midieron el 91%? Si el 7-11% de las personas son homosexuales, simplemente diciendo "heterosexual" todo el tiempo, el software tendría una tasa de éxito del 89%-93%.

Como se explica en el artículo , el algoritmo se presentó con un número igual de fotos de personas heterosexuales y homosexuales. En otras palabras, la probabilidad a priori de que la persona de cada imagen sea homosexual era del 50%, no del 7-11% de la gente que te cruzas por la calle.

Resumen: Este artículo es un artículo científico real que ha pasado la revisión por pares. El verdadero juez de si sus hallazgos son ciertos o no es si se pueden replicar. Simplemente no ha habido suficiente tiempo desde que salió el estudio para que se publique una réplica. Además, hay preguntas sobre qué significan exactamente sus resultados. Las Redes Neuronales Artificiales no le explican al usuario por qué hizo sus predicciones; son una caja negra.

Las redes neuronales artificiales (ANN) son una herramienta de aprendizaje automático que se puede entrenar para reconocer patrones en los datos y hacer predicciones basadas en esos patrones. Su estructura se inspiró en la estructura de las redes neuronales naturales, los cerebros. Como una red neuronal natural, sus procesos de toma de decisiones son una caja negra . Las ANN hacen una predicción (si el individuo es homosexual o heterosexual) en función de los datos de entrada (un conjunto de fotografías), pero no explican su razonamiento. Los investigadores especulan sobre lo que podría haber captado la ANN, pero en realidad no lo saben.

¿Qué rasgos faciales empleó el algoritmo para detectar la orientación sexual? Los rostros promedio con mayor probabilidad de pertenecer a hombres homosexuales (ver Figura 1) eran más femeninos, mientras que los rostros con mayor probabilidad de pertenecer a lesbianas eran más masculinos. Por lo general, los hombres tienen mandíbulas más grandes, narices más cortas y frentes más pequeñas. Los hombres homosexuales, sin embargo, tendían a tener mandíbulas más estrechas, narices más largas, frentes más grandes y menos vello facial. Por el contrario, las lesbianas tendían a tener rostros más masculinos (mandíbulas más grandes y frentes más pequeñas) que las mujeres heterosexuales.

La atipicidad de género de los rostros gay se extendía más allá de la morfología. Las lesbianas tendían a usar menos maquillaje en los ojos, tenían el cabello más oscuro y usaban ropa menos reveladora (nótese el escote más alto), lo que indica un estilo y una apariencia menos femeninos. Además, aunque las mujeres tienden a sonreír más en general, las lesbianas sonreían menos que sus contrapartes heterosexuales.

Además, de acuerdo con la asociación entre las gorras de béisbol y la masculinidad en la cultura estadounidense, los hombres heterosexuales y las lesbianas tendían a usar gorras de béisbol (vea la sombra en sus frentes en la Figura 1; esto también se confirmó mediante una inspección manual de imágenes individuales).

Tal vez la ANN se guió principalmente por los rasgos faciales y tal vez por otras señales como sonreír o usar gorras de béisbol. El conjunto de entrenamiento fue tomado de un sitio web de citas. Espero que los hombres gay y las lesbianas elijan fotos que sean atractivas para otros hombres gay y lesbianas. La ANN podría estar detectando esas diferencias. En respuesta a estas preguntas, los autores argumentan que:

Primero, probamos nuestro clasificador en una muestra externa de fotos de Facebook. Logró una precisión comparable a la de la muestra del sitio web de citas, lo que sugiere que las imágenes del sitio web de citas no eran más reveladoras que las imágenes de perfil de Facebook. ...

Finalmente, la red neuronal profunda utilizada aquí se entrenó específicamente para enfocarse en rasgos faciales fijos que no se pueden modificar fácilmente, como la forma de los elementos faciales. Esto ayudó a reducir el riesgo de que el clasificador descubriera algunas diferencias superficiales y no relacionadas con el rostro entre las imágenes faciales de personas homosexuales y heterosexuales utilizadas en este estudio.

Nota: aunque intentan eliminar cualquier dependencia de cosas que no sean rasgos faciales fijos, no estoy seguro de si lo lograron. No estoy muy familiarizado con los algoritmos de reconocimiento facial o las redes neuronales.

La ANN en el periódico usó un conjunto de entrenamiento con caras mitad homosexuales y mitad heterosexuales. A la ANN se le presentaba una sola cara gay y una sola cara seria, y se le preguntaba cuál era cuál. Cuando se hicieron las caras a partir de 5 fotografías, fue capaz de elegir correctamente cuál era gay el 91% de las veces. Esto es bastante diferente de cualquier aplicación de la vida real, donde aproximadamente el 10% de la población es gay.

Especulación: la predicción de mayor precisión, 91% de precisión, se logró con 5 fotos de la misma persona. Sin embargo, solo había 219 hombres gay y 223 lesbianas con 5 fotos en su conjunto de datos, en comparación con ~3500 cada uno para 1 foto. Esto podría ser una debilidad en sus métodos, pero 200 sujetos siguen siendo bastantes. Es posible que sus métodos exageren su precisión. Las predicciones basadas en 4 fotos tenían significativamente más sujetos y solo una precisión ligeramente menor. Si decidiera arbitrariamente descartar la precisión de múltiples fotografías, todavía nos quedaría una precisión del 81 % para los hombres homosexuales.

Si está leyendo esto en el futuro, este enlace de Google Scholar muestra todos los artículos que citan el artículo en cuestión. Con suerte, en un par de años, habrá una gran lista de artículos en ese enlace. Se espera que los artículos que se publicarán sean una forma de revisión más sólida que la revisión por pares. Espero que muchos de ellos repitan las conclusiones de este artículo breve y acríticamente. Los autores de estos artículos probablemente no leyeron este artículo lo suficientemente profundo como para hacer una crítica real de sus métodos. Si uno de ellos lo discute extensamente, esos autores probablemente entendieron los métodos y las conclusiones lo suficientemente bien como para ser debidamente escépticos. Si ese documento también trata un tema muy similar, o se basa en este trabajo, estaría muy interesado en la opinión de ese autor sobre el documento en cuestión.