Revisión efectiva en conferencias de informática de primer nivel

Evidencia anecdótica: IEEE ICDM solía exigir que todos los revisores tuvieran títulos de doctores, por lo que no había estudiantes de doctorado en el Comité del Programa. Luego, en un año en particular, se pidió a todos los miembros del PC que revisaran 17 documentos (en lugar del tamaño de lote prometido y habitual en ICDM, de 8 a 10 documentos), en un período de revisión de 16 días (incluidos los fines de semana). Eso tampoco condujo a revisiones de alta calidad y, como daño adicional por las consecuencias, varios miembros del PC rechazaron la invitación para el ICDM del próximo año, lo que amplificó el problema.

No conozco ninguna solución razonable desde el punto de vista de los organizadores de la conferencia:

• Si aplicamos criterios a los revisores, habrá menos revisores disponibles, por lo que cada uno de los revisores disponibles debe hacer más trabajo, lo que reduce su disponibilidad para otras conferencias.
• Este año, IJCAI solicitó a sus presidentes de área que rechazaran los documentos de manera bastante agresiva: aproximadamente la mitad de todos los documentos fueron filtrados antes de que comenzara la revisión. Esto disminuye la carga de los miembros del PC, pero aumenta la carga de los presidentes de área, e inevitablemente aumentará la variación ya inaceptablemente alta inherente al proceso de revisión: no todos los trabajos rechazados en la mesa habrán merecido ser rechazados en la mesa, lo cual es muy injusto en esos autores.
• ICLR abre la revisión, lo que significa que las revisiones y las identidades de los revisores se publican en Internet. Dado que las personas saben que su nombre estará disponible junto con la reseña que escribieron, solo aquellas personas que saben que pueden invertir una cantidad considerable de tiempo aceptarán una invitación a reseñar. Esto significa que el grupo de revisores será más pequeño, lo que aumenta la carga de los miembros individuales de PC...
• Si una conferencia fuera a monitorear el desempeño de los revisores, y de alguna manera* lograra evaluar la calidad de las revisiones, ¿entonces qué? Supongamos que los miembros del PC hacen un mal trabajo. ¿Los echas? Entonces tenemos incluso menos miembros del PC para completar el trabajo el próximo año, aumentando la carga de los otros miembros del PC...

* ¿Cómo haríamos esto, sin embargo? ¿Deberían los presidentes de área evaluar esto? Eso aumentaría enormemente la carga de trabajo de los coordinadores de área, lo que probablemente no sea una buena idea dados los problemas de sobrecarga que se describen en el resto de esta publicación.

Como científico que intenta publicar artículos, veo dos soluciones sobre cómo abordar el problema:

1. Sé duro cuando recibas las reseñas de las conferencias y confía en que, a la larga, la preferencia por los buenos artículos superará la variación en las decisiones de las conferencias individuales.
2. En su lugar, envíe su trabajo a una revista; si sus artículos reciben una mala crítica injusta para una revista, al menos puede discutirlo con el editor.