Los congresos teóricos de informática suelen tener un periodo de revisión de unos dos meses. Los miembros del comité de programación tienen potencialmente docenas de documentos para revisar, además de sus trabajos diarios habituales. ¿Qué tan minuciosamente se revisan los trabajos por lo general? ¿Qué tipo de heurística se emplea a menudo para revisar los documentos más rápido? ¿Se verifica en detalle la corrección de cada prueba o los revisores confían en que los autores lo hagan bien?
Varía. Como estudiante de doctorado de primer año, me pidieron que revisara un artículo teórico, aunque casi no tenía experiencia en el campo. El profesor me dijo explícitamente que solo tenía que leer la primera mitad del artículo y que solo tenía que decirle si le parecía interesante y correcto.
Al mismo tiempo, estoy seguro de que muchos revisores hacen un trabajo diligente y no subcontratan sus revisiones a estudiantes de posgrado sin experiencia.
Relacionado: http://www.phdcomics.com/comics/archive.php?comicid=1760
Si un miembro del PC tiene docenas de trabajos para revisar, entonces a) la conferencia lo está haciendo mal ob) se espera que el miembro del PC subcontrate la mayor parte del trabajo de revisión a revisores externos. Una buena heurística para no sobrecargar a los revisores es esperar que cada revisor maneje no más de 3 a 6 artículos. Con ese tipo de números, es completamente razonable esperar que cada documento sea revisado con gran detalle.
En la práctica, sin embargo, existe un alto grado de variabilidad en la calidad de los revisores. Algunos revisores harán un trabajo muy minucioso: mis artículos teóricos a menudo reciben comentarios detallados de al menos un revisor que deja en claro que trabajaron con todas las matemáticas. Todos en la academia también tienen historias de "malos críticos" sobre personas que no tomaron su trabajo en serio. Por ejemplo, recientemente vi a un crítico proporcionar una reseña que, en su totalidad, decía: "Aceptar como charla". Las buenas conferencias con presidentes de programas responsables intentan mitigar estos efectos, pero siempre hay mucho ruido en el proceso.
Ryan
Jukka Suomela
Bacalao