¿Cómo se otorgan los premios al mejor revisor (en una conferencia de informática)?

A menudo he visto personas (posdoctorados, etc.) enumerando en su CV o página web que fueron premiados como el mejor revisor de la conferencia X. Recientemente me invitaron a convertirme en revisor de una conferencia, lo que me hizo reflexionar sobre cuáles son los criterios. por dar esos premios? (Mi campo es la informática si eso marca la diferencia).

Nunca he oído hablar de un premio al "mejor crítico", por lo que ciertamente no es omnipresente en informática. Pero, ¿qué te hace pensar que hay algún otro criterio además de ser el mejor revisor, en términos de minuciosidad y utilidad?
Tengo mucha curiosidad acerca de esto: en mi campo (matemáticas), no tenemos un sistema de revisión separado para los trabajos de la conferencia (la mayoría de las charlas de las conferencias no están directamente vinculadas a los trabajos; en las que lo están, los trabajos vienen después de la conferencia). y, si son arbitrados, serán arbitrados de la manera habitual, no por algún grupo preasignado de "revisores"). ¿Hay algún pequeño grupo de revisores que estén revisando los mismos documentos (y que estén calificados para hacerlo? ¡Impresionante!), de modo que tenga sentido identificar uno como el "mejor"? Muy interesante.
@PeteL.Clark Probablemente debería hacer una pregunta sobre cómo funciona eso, ya que es demasiado para explicar en un comentario. Resumen ejecutivo: es similar desde el punto de vista organizativo al arbitraje de revistas, en el sentido de que los artículos enviados a una revista en cualquier año habrán sido revisados ​​por muchas personas diferentes y lo mismo ocurre con los artículos enviados a una conferencia. Pero todo sucede en aproximadamente un mes, lo que significa que la revisión es bastante superficial.
@David: Ya veo. Pregunta ingenua: ¿no hace eso que designar a un crítico como "el mejor" sea un poco injusto (todos están revisando cosas diferentes)?
@PeteL.Clark ¿No es más injusto que designar un artículo como "el mejor", dado que todos estaban escribiendo cosas diferentes? Pero, como digo, nunca me he topado con un premio al "mejor crítico", así que estoy improvisando solo un poco menos que tú, aquí.
BPM ( bpm-conference.org/BpmConference ) tiene un premio al mejor crítico AFAIK. Es una simple votación de los autores del artículo (es decir, se solicita a cada autor su opinión sobre el valor de las revisiones 1, 2 y 3). No estoy seguro de cuán lejos está esto de ser completamente aleatorio, ya que supongo que los autores de los artículos rechazados generalmente no están satisfechos con sus revisiones, pero los autores de los artículos aceptados sí lo están. De todos modos, un amigo mío obtuvo este premio hace dos años y escribe reseñas de conferencias muy completas.
No tengo criterios concretos (por eso no una respuesta), pero anecdóticamente, sé que se está otorgando a revisiones particularmente bien informadas o revisiones en las que se ha invertido un cuidado especial en varios niveles.

Respuestas (1)

Estos son los criterios utilizados por la Conferencia internacional sobre recuperación multimedia (ICMR) de ACM 2012 para el premio al "mejor revisor":

Los criterios son que el revisor debe haber demostrado la experiencia para proporcionar comentarios perspicaces y bien informados, debe haber proporcionado revisiones de calidad que sean útiles para los autores de los artículos, debe haber mostrado colegialidad y comentarios constructivos, y debe haber completado las revisiones a tiempo. El premio se selecciona después de examinar las más de 400 reseñas de los 101 revisores.

Las conferencias con una fase de respuesta del autor pueden usar las respuestas de los autores para ayudar a elegir al mejor revisor. Por ejemplo, el CFP para la Conferencia sobre ingeniería del lenguaje de software de 2014 dice:

Los autores tendrán una breve oportunidad para responder a las revisiones. Las respuestas serán consideradas en las discusiones del PC y consideradas en la selección del mejor revisor.

¿Cómo se otorgan los premios al mejor revisor (en una conferencia de informática)?
RespuestasAquíPolítica de privacidad1y, 0v