El problema de la revisión por pares incompetente

Es difícil proporcionar algún tipo de evaluación general en todos los campos. Sin embargo, mi experiencia en publicaciones revisadas por pares me ha llevado a concluir que los revisores pares verdaderamente incompetentes son mucho más raros de lo que a menudo "sienten" los autores. Siempre es divertido y catártico criticar al Revisor n. ° 3 , pero no estoy de acuerdo con su evaluación de lo que hace que una revisión sea incompetente.

La comunicación científica no es una calle de un solo sentido, aunque la gente suele abordarla de esta manera. Cuando está escribiendo un artículo, debe coincidir bien en la presentación a su audiencia. Los comentarios del tipo que usted analiza suelen reflejar una desconexión entre el autor y la audiencia, como resultado de uno de los dos modos de falla del artículo:

• Es posible que el material no se presente tan bien como piensa el autor. Nos familiarizamos mucho con nuestro propio trabajo y, a menudo, empezamos a perder de vista todas las suposiciones y las delicadas conexiones entre los diferentes aspectos del trabajo. Es difícil linealizar la compleja maraña de relaciones en la mayoría de los trabajos en una forma accesible.
• La presentación puede ser buena, pero mal adaptada a la audiencia. Las diferentes comunidades tienen diferentes cosas que buscan en los documentos y diferentes contextos contra los cuales se juzgará un manuscrito. A menudo, un documento que será elogiado por una comunidad será odiado por otra porque el documento no se presenta de manera adecuada para esa comunidad. Esto no significa que algo ande mal con la comunidad, sino con la comprensión que los autores tienen de esa comunidad. Por ejemplo, se han publicado diferentes aspectos de algunos trabajos interdisciplinarios míos tanto en lenguajes de programación como en biología sintética , y los dos artículos son completamente extraños entre sí, aunque se trata esencialmente del mismo trabajo con la misma pieza de software.

Una revisión verdaderamente incompetente, por otro lado, es aquella que no se molesta en discutir el artículo en particular. Por ejemplo, como presidente del programa hace un par de años, recibí la siguiente revisión de uno de los documentos de la conferencia, tal como se presenta aquí en su totalidad:

Buen trabajo.

El revisor estaba claramente satisfecho con el documento, pero esta revisión esencialmente no proporcionó información significativa para el proceso de decisión.

Entonces, después de todo ese preámbulo, permítanme volver a los aspectos cuantitativos de sus preguntas:

• Mi observación ha sido que el número de revisiones verdaderamente incompetentes es muy pequeño. Los editores y presidentes de conferencias generalmente tratan rápidamente a los revisores que no cumplen con los estándares mínimos.
• Las revisiones que muestran una desconexión frustrante entre el revisor y los autores, como usted presenta en su pregunta, han ido disminuyendo constantemente con el tiempo a medida que aumenta mi habilidad como autor.
• Paso muy poco de mi tiempo apelando o escribiendo refutaciones --- probablemente menos de una hora por artículo, en promedio. Sin embargo, paso mucho más tiempo revisando en respuesta a los comentarios de los revisores y, en general, mis trabajos son mucho mejores para el trabajo.

Partamos las posibilidades en dos, ¿de acuerdo?

1. Los revisores son de hecho incompetentes. Si es un diario, contesta las observaciones. Si se trata de una conferencia, presente en otro lugar. Sucede. Sin embargo, esta posibilidad es bastante improbable y no le aportará nada como investigador, así que...

2. Su papel es 'malo'. No se enoje, pero según su pregunta, parece que no abordó previamente los comentarios. La mayoría de los artículos realmente buenos que he revisado respondieron a mis comentarios potenciales en el artículo mismo. Por ejemplo, dijeron que ""El método aplicado es incorrecto"", por lo tanto, sería bueno para usted y su trabajo tener un párrafo en algún lugar que diga "Si bien puede parecer que el método es incorrecto, demostramos que es tiene razón porque....". De esa manera, no solo ya aclaraste cualquier ambigüedad, demuestras que reflexionaste sobre los contenidos y posibles ramificaciones de tu trabajo y eso es importante.

   Es posible que haya hecho algunas suposiciones incorrectas sobre su audiencia, por ejemplo, suponiendo que tendrán un nivel más alto que el que realmente tienen los revisores. Esta es una mala suposición, en general, porque es bastante raro obtener revisores/audiencia con un nivel adecuado. Realmente tienes que "llevar a tu audiencia de la mano" y guiarlos a través del trabajo, haciendo la mínima cantidad de suposiciones posibles (margen de maniobra aquí si no tienes suficiente espacio).

Para resumir, su artículo permitió que los revisores malinterpretaran el contenido, y eso es malo.

Tenga en cuenta que la escritura en sí es más importante que los contenidos.... sí, lo sé, pero es cierto. Es más fácil ser aceptado cuando envías un artículo muy bien escrito, con algunas ideas no tan buenas, que una idea revolucionaria mal escrita. Efectivamente, si la idea es tan diferente (que está muy bien), la parte de escritura tiene que ser aún mejor, para superar el sesgo que la gente tiene contra lo nuevo y hacerles entender. (Por lo general, tratamos de entender cosas basadas en lo que sabemos, y los nuevos conceptos que lo contradicen son más difíciles de aceptar).

Por supuesto, sin leer correctamente el documento, se trata principalmente de conjeturas, pero lo he visto lo suficiente como para adivinar con cierta certeza. Sin embargo, si tu papel es bueno, mejorará haciendo esto, así que no pasa nada.

Dicho esto, no estoy seguro si tengo n publicaciones en los últimos años y no me importa contar (mi nombre está ahí, mi becario existe, diviértanse). Lo siento, pero no puedes despotricar y elegir quién responde, así no es como funciona el mundo.

Sé que probablemente estés furioso en este momento, porque nada de lo que dije es lo que querías escuchar. Por favor, antes de responder, cálmate . Estuve allí, hice eso, no fue bueno para nadie. Estoy de su lado aquí, de lo contrario, podría haber rechazado la pregunta, lo que estaría justificado, solo por su tono y seguir adelante. Este no es el lugar para esas diatribas enojadas.