¿Qué incentivos tienen los revisores en las principales conferencias para rechazar o aceptar un artículo correctamente?

He sido presidente del programa de una conferencia ACM antes, y mi opinión es que sí, a veces tenemos revisores que actúan de esta manera. No es una gran apariencia y es una fracción de nuestro grupo total de revisores. Otros han mencionado incentivos, así que esto es lo que hemos hecho (según el modelo de otras conferencias) con nuestros malos revisores:

• Los artículos con una revisión mal escrita y dos revisiones bien escritas y que están lo suficientemente en el límite como para que no estemos seguros (es decir, si las dos revisiones bien escritas no están de acuerdo), tenderíamos a asignar un revisor adicional.
• Hay una lista preparada para el próximo equipo de PC sobre todos los revisores que escribieron reseñas mal escritas o para aquellos que no cumplieron con sus responsabilidades, para que puedan ser excluidos.
• Los miembros sénior del PC y los presidentes de los programas leen estas reseñas. Estamos en el mismo campo que estos revisores, por lo que ahora tenemos una mala impresión de su rigor académico y seriedad en el ejercicio de sus responsabilidades.

Algunas conferencias también han comenzado a hacer un "Mejor revisor" o un programa de reconocimiento para un puñado de sus revisores más dedicados. Creo que es un buen enfoque ya que algunos revisores van más allá.

Incentivos positivos:

• Construir una reputación positiva: esto es especialmente relevante para los investigadores de carrera temprana (ECR) que aún no son conocidos por todos en el campo. Los ECR que dejaron una impresión positiva podrían considerarse para futuros roles de servicio y esfuerzos cooperativos. Sin embargo, es posible que los investigadores más experimentados aún deseen ser percibidos como "buenos ciudadanos" de la comunidad.
• Algunas conferencias otorgan "premios a los mejores revisores": esa es una buena muestra de reconocimiento y entrada de CV.

Incentivos negativos:

• Evitar una reputación negativa: las reseñas particularmente malas pueden dañar la reputación, tanto del revisor como de la conferencia que dejó pasar la mala reseña. La mayoría de las personas, hasta cierto punto, se preocupan por su reputación.

No serían invitados a participar en el futuro. Probablemente alguien más tendría que cubrirlos. Pero, más allá de eso, no es probable que suceda nada más que una posible mancha en su reputación. El comité del programa vería los resultados y tienden a estar bastante conectados en el campo.

Los revisores tienden, según mi experiencia, a tomarse la revisión muy en serio, tanto en un intento de tener una conferencia de calidad como para ayudar a los autores a mejorar los artículos.

No hay incentivos serios aquí, la gente hace esto principalmente por razones no basadas en incentivos. Si te ves a ti mismo como una persona responsable que se preocupa por tu profesión, harás revisiones y tratarás de hacer el mejor trabajo que puedas dadas las circunstancias. No digo que los incentivos nunca importen, pero no son lo único que impulsa el comportamiento humano.

Lo principal que evita eso es que los revisores generalmente se autoseleccionan para el rol. Hay algunos casos en los que las conferencias requieren que actúes como revisor si eres autor de un artículo, pero aparte de eso, si no quieres hacer una revisión, simplemente no lo hagas. Por lo tanto, los revisores tienden a hacer reseñas por un deseo de servicio profesional más que por cualquier otra cosa. Sería extremadamente inusual que un académico elija actuar como revisor y luego (intencionalmente) dé una revisión insípida o sin sentido. No hay ningún incentivo particularmente efectivo contra esto; es solo que no hay ningún incentivo positivo para hacerlo en primer lugar.

Creo que la pregunta es incorrecta porque habla de "aceptación o rechazo adecuado" como si lo adecuado se entendiera y acordara universalmente.

En lugar de una definición universalmente acordada de apropiado, cada conferencia puede tener su propio entendimiento de apropiado y elegir revisores que en su mayoría estén de acuerdo con el entendimiento de la conferencia.

No tiene que estar de acuerdo con el entendimiento de la conferencia, pero si está muy en desacuerdo, tal vez debería elegir una conferencia diferente.

Nadie ha mencionado todavía que un solo revisor no toma la decisión final. Al menos en las principales conferencias de Ciencias de la Computación, cada artículo es revisado de forma independiente por al menos tres revisores diferentes, luego hay una discusión y la decisión final la toma alguien por encima de ellos en la jerarquía ("revisor meta, etc.").

Entonces, un crítico no solo se vería mal al intentar esto, sino que ni siquiera funcionaría. Serían ignorados o anulados por los otros participantes en el proceso de revisión.