Proceso de revisión abierto versus ciego

El estudio de 2008 titulado Peer Review in Scholarly Journals - Perspective of the Scholarly Community: An International Study tuvo como objetivo "medir las actitudes y el comportamiento de la comunidad académica con respecto a la revisión por pares". Algunas citas del resumen :

Se prefirió la revisión doble ciego. Aunque la experiencia normal de los investigadores en la mayoría de los campos era la revisión simple ciego, cuando se les preguntó cuál era su opción preferida, hubo una preferencia por la revisión doble ciego, con un 56 % seleccionando esto, seguido por un 25 % por el simple ciego, 13 % para revisión abierta y 5% para revisión posterior a la publicación. La revisión abierta por pares fue un desaliento activo para muchos revisores, con un 49 % que dijo que revelar su nombre al autor los haría menos propensos a revisar.

y

La revisión doble ciego se consideró la más eficaz. La revisión doble ciego tuvo la mayoría de los encuestados (71 %) que la percibieron como eficaz, seguida (en orden decreciente) por la revisión simple ciego (52 %), posterior a la publicación (37 %) y la revisión abierta por pares (27 %).

Un artículo de 2008 en Nature (y una corrección ) analiza el estudio anterior, pero el artículo trata sobre la revisión doble ciego versus la revisión simple ciego, y no sobre la revisión ciega versus la revisión abierta.

Lo curioso es que en este tema, la mayoría de la gente menciona inmediatamente el lado de la "honestidad" del problema, no el lado de la "calidad". Para esto último, creo que no se trata de revisiones ciegas/abiertas, que es la cuestión pertinente, sino de la cuestión público/privado. Si las reseñas son siempre públicas, supongo que la calidad aumentará, porque el presidente/editor en jefe general presionará de esa manera para garantizar que su conferencia/revista tenga una excelente reputación. Personalmente, no quiero/necesito saber quién está revisando mis documentos, pero quiero Y necesito revisiones de calidad, y son inusuales en estos días. Todos sabemos por qué: demasiados artículos, demasiadas revisiones que hacer, poco tiempo...

Cuanto más se revela sobre la identidad de los autores y revisores, menos honesto puede ser el proceso de revisión. Tal apertura puede favorecer a los científicos ya establecidos sobre los recién llegados.

En el mundo ideal, un revisor plantearía las mismas preocupaciones al revisar los artículos de un ganador del premio Nobel o de un estudiante universitario. Pero como las personas incluso temen hacer preguntas posiblemente tontas en público, me sorprendería mucho si pudieran aplicar el mismo escrutinio independientemente de a quién estén revisando.

Incluso con el proceso ciego (simple) estándar, escuché que un científico ya famoso envió artículos con nombres inventados para recibir revisiones honestas (simplemente no recuerdo quién).

Un ejemplo de Herbert S. Wilf en un discurso de cumpleaños de Donald E. Knuth (señalado por Joel Reyes Noche):

En la década de 1980, en los primeros días del Journal of Algorithms, yo era editor en jefe, y Don [Donald Knuth] me envió un artículo, escrito por él mismo bajo el seudónimo de Ursula N. Owens, aparentemente de algún pequeña universidad en un pequeño pueblo inexistente en Kansas. La razón era que él realmente quería obtener un informe del árbitro duro y sustantivo en el papel, y se había dado cuenta de que a veces los árbitros se habían quitado los golpes debido a su nombre en la parte superior de un papel .

El proceso de doble ciego puede ser aún más beneficioso, pero al mismo tiempo ilusorio (como el tema, las referencias y el estilo pueden revelar al autor). Además, la identidad del autor a veces puede ser beneficiosa (por ejemplo, para comparar si la nueva presentación tiene algo nuevo).

Nada de eso es una prueba.

Pero en lugar de contar las líneas de reseñas, se puede intentar comparar qué tan suave (o duro) se trata a los colaboradores, según su estado (título académico, nombre de la universidad, fama/reconocibilidad).

Uno de los argumentos más convincentes que he escuchado a favor de la revisión a ciegas es que evita que las personas cuyo trabajo ha sido rechazado se "venguen" del revisor (consciente o inconscientemente). Considere, por ejemplo, un académico senior que tiene un artículo rechazado debido a la revisión de un académico junior. Sería bastante fácil para el académico senior obstaculizar el progreso del junior.

Esto es similar al punto que planteó Piotr acerca de que es un proceso más "honesto".

Sin embargo, no conozco ningún ejemplo específico de esto.

No tengo ninguna prueba de ninguna manera, pero para un punto de datos, puede consultar el taller de HotNets .

En varios de los primeros talleres, el comité del programa publicó reseñas públicas de los documentos. Durante el proceso de revisión, los miembros del comité del programa escribieron revisiones ciegas, como es el proceso habitual (los revisores eran anónimos). Pero también, para cada documento publicado, un miembro del comité del programa escribió una nueva revisión destinada al consumo público que resume la opinión del comité del programa sobre el documento. Muchas de las revisiones públicas fueron bastante francas, tanto en la identificación de reservas sobre el documento como en los aspectos del documento que disfrutó el comité del programa.

No creo que HotNets siga haciendo eso, pero podría intentar investigar más sobre cuál fue la experiencia de la comunidad de HotNets con las reseñas públicas (¿públicas? ¿Negativas?). También creo que ha habido algunos otros talleres y conferencias de informática que también han escrito reseñas públicas, por lo que también podría verlos.

Sólo puedo compartir algo de mi experiencia.

Una vez, un amigo recibió una solicitud de revisión de un artículo de una revista importante. Su jefe lo sabía y le pidió que lo rechazara porque los autores estaban haciendo lo que él y su jefe estaban haciendo.