¿Evidencia de revisión de estafas en las principales conferencias de AI/ML?

Recientemente escuché algunos rumores independientes sobre colusión masiva entre los revisores en las principales conferencias de IA/ML. La forma en que esto funciona es que un gran grupo de miembros del comité de programa (PC) inician un grupo de chat (en WhatsApp/Telegram, etc.) y comparten sus trabajos asignados; otros miembros del grupo marcan los trabajos que son suyos y hacen que los "internos" los califiquen más alto.

Para concretar las cosas, Alice y Bob inician un chat donde ambos comparten sus papeles asignados. Alice ve que el lote de Bob contiene uno de sus trabajos y le pide a Bob que escriba una reseña entusiasta de ese trabajo.

¿Están confirmados estos rumores? ¿Alguien más ha oído hablar de esto? Si está tan extendido como me hicieron creer, ¿qué significa esto para el proceso de revisión en estas conferencias y qué contramedidas podemos tomar?

¿Quién patrocina estas conferencias? Creo que sería tratado como una infracción grave en cualquier conferencia patrocinada por ACM o IEEE.
No hay duda de que se trata de una infracción grave. AAAI, ICML, IJCAI y NIPS no están afiliados a ACM o IEEE, pero son ampliamente considerados como las principales conferencias en IA y ML. No hay nada que informar si no hay evidencia concreta de esto.
Preguntar si estos rumores están fundamentados sin ninguna evidencia es simplemente difundir los rumores.
El punto justo de @BrianBorchers, pero tal vez no sea malo que se propaguen los rumores: no se necesita mucha gente para que esto funcione, especialmente si son de la misma subcomunidad dentro de la disciplina.
Si bien los miembros del Comité del Programa pueden ser revisores, no todos los revisores son miembros del Comité del Programa...
@Spark Los rumores difundidos por los rumores son desinformación. A veces, los rumores surgen como un sentimiento general de desconfianza, pero sin indicios o al menos evidencia circunstancial, no son del tipo falsificable y, por lo tanto, en el mejor de los casos, un instrumento político más que un intento de mejorar las cosas.

Respuestas (2)

Las principales conferencias de AI/ML como NIPS tienen algo así como 2500 revisores. Probablemente habrá algunas manzanas podridas allí que participen en el tipo de comportamiento que usted describe. Sin embargo, me sorprendería si esto está sucediendo a gran escala. Los organizadores de la conferencia tomarían medidas si tuvieran conocimiento de tales actividades.

Parece que no tienes evidencia de esto. Francamente, suena como una típica teoría de la conspiración. Tal vez alguien desee explicar por qué sus documentos nunca llegan, pero los de X, Y y Z siempre lo hacen, y decide que X, Y y Z deben estar coludidos. La verdadera explicación será mucho más mundana: es probable que ciertos grupos y personas tengan más experiencia y hayan aprendido los "trucos del oficio" necesarios para publicar artículos.

Estos son rumores y rumores, siempre que no tenga pruebas. Si tienes pruebas, es un gran escándalo.

Es muy poco ético compartir los documentos que se le envían para su revisión a menos que se le permita delegar, en cuyo caso, eso tiene que suceder con discreción. Efectivamente, debe tratar un documento enviado como inexistente fuera de los propósitos del proceso de revisión/selección (y no considero que los intercambios/acuerdos de revisión sean legítimos).

No me sorprendería si hay algunas personas que hacen eso; si se detectan, es probable que se incluyan oficialmente en la lista negra como revisores. En cuanto a decir que este es un enfoque sistémico, no tengo conocimiento de ninguna evidencia de esto en conferencias sólidas, de hecho, toda mi experiencia personal apunta más bien a lo contrario. La pérdida de reputación de una buena conferencia sería irreversible. Una sola fuga comprobada de tal actividad apoyada en un nivel casi sistémico sería fatal y posiblemente irrecuperable.

Advertencia: AI/ML ha experimentado recientemente un crecimiento explosivo. Puede ser que, junto con el consiguiente aumento de la competitividad, esto haya arrastrado a algunas personas de dudosa integridad que instigan y/o participan en actividades como las descritas por OP. Si ese es el caso, este es el momento de actuar y cortar estas actividades de raíz.

El crecimiento explosivo en las presentaciones de AI/ML es exactamente lo que me hace pensar que hay algo en estos rumores.
@Spark Si bien es una buena práctica asegurarse de que "la esposa de César esté por encima de todo reproche", la posibilidad de que algo suceda no es idéntica a que algo suceda, y tampoco a las sospechas de que algo suceda. La prueba es necesaria en acusaciones graves como esa.
¡No estoy acusando a personas específicas! Si no quedó claro, pido disculpas. Estoy planteando una inquietud que escuché de otros, si tuviera pruebas, lo habría mencionado. La comunidad AI/ML es grande y tiene muchas subdivisiones, tal vez esto estuvo sucediendo durante un tiempo y estaba siendo ingenuo, tal vez esto ya se trató en otros momentos, eso es lo que quería saber.
@Spark No hay garantía de que no suceda. Sin embargo, en los casos en los que participé en conferencias de alto perfil, estuve muy satisfecho con la integridad con la que se manejaron las cosas. Por supuesto, las cosas pueden haber cambiado en los últimos años, pero incluso si lo hicieran, puede ser un proceso emergente y, por lo tanto, quien tenga conocimiento de esto debe actuar rápidamente para aplastarlo antes de que se convierta en parte del sistema. Una vez grabado, será mucho más difícil deshacerse de él.
¿Evidencia de revisión de estafas en las principales conferencias de AI/ML?
RespuestasAquíPolítica de privacidad1y, 0v