¿Cómo evalúo un trabajo cuando los autores pueden estar comportándose de manera deshonesta?

Esta es una continuación de esta pregunta: ¿ Debería recomendar el rechazo de un artículo que reviso si los autores no hacen los cambios que podrían haber hecho?

En resumen: una revista importante me envió un artículo para que lo arbitrara. Mi primer informe señaló que los autores solo habían considerado uno de los dos posibles patrones de comportamiento que podría tener su sistema. Cuando los autores volvieron a enviar, básicamente ignoraron lo que había dicho (aunque ver más abajo). Así que lo devolví, pidiendo que se hicieran los cambios que había pedido antes.

Cuando leí el segundo borrador con mucho cuidado, vi que en realidad habían agregado un párrafo muy corto que parecía estar argumentando en contra del segundo tipo de comportamiento que me preocupaba que fuera posible. Era tan pequeño que ni siquiera lo noté antes de hacer mi pregunta anterior de StackExchange. Sin embargo, los autores del manuscrito cometieron un error en su intento de demostrar cuantitativamente este punto; como señalé en mi segundo informe, su argumento en realidad demostró que yo estaba en lo correcto.

Ahora, han presentado el documento por tercera vez. Esta vez, reconocen con mucho entusiasmo que tengo razón: se espera que ocurran ambos tipos de comportamiento del sistema. Sin embargo, ahora afirman que sus cálculos numéricos en realidad incluyen ambas posibilidades, ¡y que en realidad lo hicieron todo el tiempo! La carta dice que simplemente explicaron las cosas muy mal.

Han hecho más cambios en el manuscrito. Ahora establece que ambos comportamientos pueden ocurrir y que ambos están completamente incluidos. No estoy en posición de verificar si sus resultados son consistentes con esto. El documento hace muchos cálculos numéricos pesados, lo que llevaría mucho tiempo replicar. Dado que el resultado final no va a depender mucho de los detalles intermedios, es plausible que sus gráficos hayan mostrado las respuestas totalmente correctas todo el tiempo.

Sin embargo, el formato del artículo sugiere lo contrario. Añádase a eso el hecho de que el segundo borrador del documento argumentaba oblicuamente en contra del tipo de comportamiento que ahora admiten que es natural. Siento que hay dos posibilidades probables. La primera es que los autores están siendo deshonestos. Pasaron por alto la segunda posibilidad, y ahora que he señalado que definitivamente ocurre, han razonado que pueden mentir sobre el asunto y será difícil refutar su afirmación. Estoy bastante descontento con esta posibilidad; Espero que no sea el caso. La segunda posibilidad es que la comunicación entre los dos autores del artículo fuera extremadamente pobre. La persona que hizo la escritura real tendría que haber sido bastante ignorante de lo que su coautor realmente estaba calculando. Esta es una situación menos preocupante pero aún lejos de ser ideal.

Entonces, una vez más, me encuentro inseguro de qué hacer. ¿Debo compartir mis dudas con el editor? ¿O debería tomar las afirmaciones del borrador actual tal como están, atribuirlo todo a la incompetencia en lugar de a la deshonestidad? Después de todo, no tengo pruebas concretas de fraude.

No consideraste que pueden haber reutilizado algún código escrito por alguien que no es autor. Tal vez debería pedir a los autores que le proporcionen el programa para su revisión.
No ha podido verificar todos sus cálculos, no puede estar seguro de que su explicación sea incorrecta, está sacando conclusiones basadas en el formato del artículo y su primer pensamiento es que los autores pueden estar actuando de manera deshonesta. Creo que estás sacando conclusiones precipitadas. Le sugiero que retroceda un poco y se concentre más en la esencia del artículo y menos en las motivaciones de los autores. Nunca atribuyas a la malicia lo que puede explicarse adecuadamente por incompetencia/descuido/falta de comunicación/error involuntario/descuido. Dijeron explícitamente que explicaron mal las cosas: ¡sucede!
¿Puedo preguntarle si cree que hay deshonestidad en el nuevo borrador del documento o simplemente a través de la discrepancia entre la forma en que los autores presentan su conocimiento desde el primer borrador hasta el borrador actual? Para mí, esta es una distinción importante: "Lo supe todo el tiempo" puede ser un ejemplo de deshonestidad por parte de un académico, pero no un ejemplo de deshonestidad académica . Casi todas las personas que he conocido intentan enmarcarse de la mejor manera posible, hasta el punto de tomarse libertades con la realidad objetiva. Si esta flexión afecta al propio trabajo académico: problema. Si no es así: ¿problema?
@DW Si no ha podido verificar los resultados (por el motivo que sea), ¿debería recomendar aceptar el trabajo?
"Sin embargo, ahora afirman que sus cálculos numéricos en realidad incluyen ambas posibilidades, ¡y que en realidad lo hicieron todo el tiempo!" ... ¿Qué ves exactamente mal en esto? Inicialmente interpretaron los datos de una manera, y ahora de otra manera. Y ni siquiera dijeron " lo sabíamos todo el tiempo "; dijeron " nuestros resultados respaldaron esto todo el tiempo ", lo que parece exactamente lo que usted (como revisor) querría ver si sus datos se obtuvieron correctamente. ¿Qué es lo que realmente busca en su artículo en este momento? ¿Estás molesto porque no te han dado crédito o algo así?
¿Por qué no simplemente exigir una copia del código que se utilizó para realizar los cálculos? Entonces puedes ver las cosas por ti mismo.
Tal vez los cálculos numéricos siempre incluyeron el otro comportamiento, pero no se dieron cuenta de esto hasta que los convenciste de su importancia. Habiéndose dado cuenta de esto, han actualizado el documento en consecuencia. En cuyo caso todo está bien y correcto y el proceso de revisión por pares funciona según lo previsto.

Respuestas (2)

Me he encontrado en situaciones similares en el pasado. Sin embargo, en tales casos, el comportamiento fraudulento era mucho más evidente. Este es un caso un poco mixto.

Siempre que los resultados sean plausibles, los autores tienen cierta libertad para hacer lo que dices que tienen. Sin embargo, dado que también deberían haber sabido que los mismos árbitros revisarían el documento nuevamente, la forma en que abordaron los cambios parece ser de mal gusto.

Recomendaría mencionar lo que encuentre problemático en sus comentarios, confidencialmente para el editor si es necesario, pero preferiblemente en los comentarios "abiertos" que los autores pueden ver. Esto dejará en claro exactamente por qué cree que el trabajo debe (o no) ser aceptado. Podrías indicar algo como lo siguiente:

Científicamente, los resultados son aceptables, pero me siento muy incómodo y preocupado por la forma en que los autores han incorporado los cambios. El editor debe tener en cuenta estas cuestiones antes de tomar una decisión final.

Eso pone la decisión en manos del editor (donde pertenece por derecho), mientras que usted puede presentar cualquier caso que considere apropiado.

No tengo idea de por qué la otra respuesta es la que obtuvo todos los votos a favor, esta parece razonable y va al grano, mientras que la otra básicamente dice "sospechas algo, no te molestes, continúa, todo está bien", que es un uf para mi.
@Lohoris Me dirigí a tu comentario en mi respuesta. Tal vez esto aclare lo que quise decir.

Es difícil decirlo solo con su descripción (y sin conocer el documento real y las revisiones), pero, sinceramente, esto no me parece un comportamiento poco ético. Básicamente, lo que parecía haber sucedido fue lo siguiente:

  1. Los autores entregan el documento. Usted revisa y afirma que falta uno de dos aspectos importantes.
  2. Los autores no están de acuerdo y, en un intento por calmarlo, escriben un breve párrafo simbólico sobre el segundo aspecto (que, con toda honestidad, no creen que sea muy importante).
  3. Usted insiste en que el segundo aspecto es superimportante y debe tratarse de manera más explícita.
  4. Los autores se dan por vencidos y describen lo que pueden pensar que es un aspecto menor con mucho más detalle de lo que originalmente planearon hacer. Tenga en cuenta que es muy posible que los autores fueran plenamente conscientes de esto y tuvieran los datos para hacer esto todo el tiempo, pero simplemente no pensaron en ello como algo importante. Que ahora estén de acuerdo en que esto es muy importante suena más como un intento de conquistarte que a cualquier otra cosa.

He visto este tipo de intercambios en muchas, muchas presentaciones de revistas. Que esto realmente mejore o no el documento depende principalmente de si el segundo aspecto fue realmente importante o no. Usted dice que lo es, pero definitivamente he visto a los revisores obsesionarse con las notas al margen absolutas también (que estoy seguro de que honestamente pensaron que eran esenciales), en última instancia, en detrimento del manuscrito.

En términos más generales, suena un poco como si fueras un poco el tipo de crítico " maldito si lo haces, maldito si no lo haces " en este proceso. ¿Qué tipo de cambio esperaba después de la segunda ronda de revisión? Usted quería que se cubriera este comportamiento adicional, y lo hicieron, y ahora que lo hicieron, se pregunta por qué no lo hicieron desde el principio y supone que está sucediendo algo poco ético. Si no hubieran abordado este punto, no se habría sentido satisfecho porque los autores no corrigieron sus comentarios principales.

Lo que generalmente trato de enseñar a mis alumnos es que cuando revisan las revistas, deben recomendar soluciones que realmente se pueden hacer . Es decir, debe haber un cambio razonable y factible que realmente lo haga feliz de aceptar el manuscrito. Si cree que un artículo no puede corregirse de manera razonable, recomiende el rechazo (y no acepte otra revisión si el editor decide revisar). Nunca recomiendes la revisión si no te gusta ningún resultado.

Editar basado en el comentario de Lohoris a la respuesta de aismail:

No tengo idea de por qué la otra respuesta es la que obtuvo todos los votos a favor, esta parece razonable y va al grano, mientras que la otra básicamente dice "sospechas algo, no te molestes, continúa, todo está bien", que es un uf para mi.

Acusar a los autores de fabricar los datos es una sospecha seria y no debe plantearse a la ligera si existen otras explicaciones plausibles. No es que "no deba molestarse" , es que simplemente no me parece que los datos hayan sido fabricados (o, al menos, no suena significativamente más probable que en cualquier envío de revista donde el código, etc. es no pública, lo cual es un problema sistémico). Hay varias razones (buenas o al menos menos malas) por las que los autores ahora pueden tener datos sobre los que no informaron en la primera versión, que incluyen:

  • Los autores generaron estos datos en los muchos meses entre revisiones.
  • Los autores tenían los datos todo el tiempo pero no los consideraban muy importantes.
  • Los autores querían guardar estos datos para otro artículo (ya sea para salami-slice, o porque realmente pensaron que esos deberían ser lógicamente dos artículos separados)

Es ampliamente aceptado que incluso los cambios importantes en los datos y el análisis pueden ocurrir entre revisiones importantes y, de hecho, es un lugar común, al menos en mi comunidad, agregar más datos al documento en función de la solicitud del revisor. Esta es básicamente la razón por la que hacemos una revisión por pares en primer lugar: si siempre sospechamos cuando los autores hacen más que cambios cosméticos, ¿por qué recomendamos revisiones en primer lugar?

Entiendo que los autores estaban hablando de una "falta de comunicación" en la carta de respuesta, pero, francamente, después de dos revisiones (especialmente con un revisor muy crítico en el bucle), la mayoría de los autores tienden a escribir en la carta de respuesta lo que sea que piensen que les da la mejor oportunidad para calmar al revisor. No le daría demasiado peso a lo que la gente escriba en este documento no público.

No estoy en desacuerdo con su último párrafo, pero el problema en este caso es que el OP no sabía si se podía hacer la solución: el documento no consideró cierta posibilidad, y el OP no sabía si esto era porque se podría prescindir fácilmente de esa posibilidad, frente a si se trataba de un defecto fatal que potencialmente invalidaba toda la conclusión del artículo. ¿Qué recomiendas en ese tipo de situación?
Me temo que no has entendido del todo la situación. Estoy seguro de que el malentendido es culpa mía, ya que he sido bastante elíptico en mis declaraciones, no queriendo revelar demasiado sobre el contenido científico del artículo; además, la historia se divide en dos preguntas separadas. Permítanme tratar de aclarar: el primer borrador solo consideró un posible patrón de comportamiento para el sistema. Cualquiera que conozca el campo sabría que si ocurriera el segundo patrón de comportamiento, sería importante. Mi conclusión es que los autores han pasado por alto por completo la segunda posibilidad.
... Después de señalar esto en mi primer informe, no abordaron el punto en absoluto en su carta de respuesta. Sin embargo, descubrí que habían agregado una sección que intentaba mostrar que el segundo tipo de comportamiento era imposible. Sin embargo, su cálculo contenía un error y, de hecho, ¡mostraba que el segundo comportamiento era extremadamente probable! El tercer borrador reconoció esto, pero afirmó que los cálculos numéricos siempre habían incluido ambas posibilidades. O están siendo deshonestos, o la persona que hace los cálculos no se comunica con la persona que escribe las explicaciones.