¿Qué hacer cuando sospecha de los resultados numéricos en un manuscrito enviado que está revisando?

Actualmente estoy revisando un artículo y siento sospechas acerca de sus resultados numéricos. Siento que sus resultados se han modificado ligeramente para exhibir su superioridad en comparación con otros métodos comparativos.

No puedo dar una razón matemática exacta por la que creo que sus resultados numéricos han sido manipulados, pero es muy extraño que en los 15 escenarios hayan sido mejores. De hecho, estoy bastante seguro de que su método es mejor que sus puntos de referencia, pero no siempre. Tal vez modificaron algunos escenarios.

Como no tengo una razón matemática por la que creo que algunos de sus números están alterados, ¿debería pedir su código de computadora y ejecutarlos yo mismo?

No le pregunté al editor todavía. ¿Debería preguntarle primero? @EnergyNumbers
Si tiene suficientes números y se aplica la ley de Benford , puede usarla para probar los datos. (Pero recuerde que siempre puede modificar los datos para que cumplan con la ley de Benford).

Respuestas (6)

Complementando las otras respuestas, ya sea además o aparte de pedir los códigos y ejecutarlos usted mismo, no creo que sea una mala idea preguntar explícitamente a los autores, algo como esto:

Los algoritmos estándar para ejecutar ( bla bla bla ), por ejemplo, como se sigue en los trabajos de Refs. [1-3] ( introducir estos en ), sugieren una precisión estándar en algoritmos típicos. El trabajo actual parece haber mejorado lo mismo, lo cual es un punto fuerte a favor de la publicación. Sin embargo, los autores deben incluir un comentario en el manuscrito, mencionando qué cambios han implementado en los algoritmos típicos tan predominantes, lo que conduce a esta mayor precisión.

Mi jerga puede tener que ser torcida un poco aquí, pero creo que transmito el punto.

Siendo esta una consulta en el informe del árbitro, los autores estarán obligados a alimentar los detalles, y si hay alguna manipulación de por medio, puede terminar siendo expuesto.

Espero que ayude :)

esta es buena @el-lado-oscuro

Dices que no tienes una razón matemática para sospechar. Pero tiene alguna razón. Debe formular esto como una razón en su informe lo mejor que pueda.

Además, creo que es totalmente razonable pedir código y datos para reproducir los resultados. Probablemente la revista tenga alguna política sobre la investigación reproducible y podría consultarla.

No puedo formular mi sentimiento y engaño. He trabajado con estos métodos antes, no siempre dan los mejores resultados. En algunos casos, el método más antiguo (sus puntos de referencia) da resultados ligeramente mejores. @Puñal
@Electricman Creo que los formuló bastante bien en su pregunta, es decir, con referencia a su sorpresa por el dominio de un método sobre otro.
Entonces, ¿debería explicar mi razón de manera justa y luego pedirle a su código de computadora que reproduzca los resultados? @fmark
"He trabajado con estos métodos antes, no siempre dan los mejores resultados". Esto significa que el editor eligió a la persona adecuada para revisar el artículo. Conoces el campo y tienes experiencia en la práctica. Debe tener confianza en su evaluación de que los resultados mostrados son demasiado buenos para ser verdad.
Creo que pediré el código para ver si puedo reproducir los mismos resultados. Sin embargo, si sus resultados no fueran demasiado buenos, no sospecharía. Sin embargo, independientemente de este caso, creo que es muy difícil detectar la manipulación en los resultados en general. ¿Por qué las revistas no piden el código informático al igual que los manuscritos? Imagine que hay métodos A, B, C y el método propuesto X. Sabemos que el método X es nuevo y A, B, C son métodos más antiguos. Entonces, el autor simplemente puede poner algunos números malos para A, B, C y luego muestra que su método X es mejor. Como X es nuevo, nadie sospecha @WolfgangBangerth

Si hay problemas de referencia "estándar" o de uso generalizado para esta aplicación, sería razonable sugerir que se usen (y dar una referencia a las definiciones de problemas y otros documentos que informan los resultados, en sus comentarios). La evaluación comparativa selectiva no es nueva como técnica de ventas y marketing, aunque uno podría esperar que un artículo académico presente una visión equilibrada.

Incluso si puede permitirse el tiempo y el esfuerzo para obtener el código y reproducir los resultados, podría terminar con un debate de "mis problemas de prueba son más difíciles que sus problemas de prueba", que puede ser irrelevante a menos que el documento afirme que su método siempre es mejor . - y eso sería un reclamo valiente para hacer en cualquier situación no trivial. Puede valer la pena publicar un método que es mejor "sólo" en algunas circunstancias.

"Incluso si puede permitirse el tiempo y el esfuerzo para obtener el código y reproducir los resultados, podría terminar con un 'mis problemas de prueba son más difíciles que sus problemas de prueba'> ¿Qué sucede si le pregunto a su modelo de computadora sobre el problema dado? Entonces, si no puedo regenerar sus resultados con el código dado, significa manipulación en los resultados.... @alephzero

Creo que es obligatorio para la ciencia tener código fuente abierto y datos abiertos. No es ciencia de otra manera. Usar los resultados de un cálculo sin ver el código es como confiar en un teorema sin pedir la prueba. Así que absolutamente pregunta el código.

Estoy de acuerdo con usted. Las revistas deben modificar sus políticas y solicitar códigos de computadora durante el envío del manuscrito. Pero no es nada común. Al menos a mí todavía no me ha pasado. @asdf
I think that it's mandatory for science to have open source code and opendata.No necesariamente, pero debería serlo.
No necesariamente antes de la publicación o durante la revisión, y depende de la cantidad de código y datos de los que esté hablando; no sería razonable insistir en todo el código fuente, incluido, por ejemplo, dibujar un gráfico menor en la p. 19. En general, los revisores deben filtrar el peor comportamiento y luego, después de la publicación, otros investigadores pueden intentar obtener acceso a los datos y replicar los resultados. Si no pueden (o encuentran anomalías) intentan comunicarse con los autores. Si eso no funciona, entonces pueden publicar la correspondencia/informe a los órganos de supervisión. La irreproducibilidad es una cosa, la falsificación otra.
Explicación negativa: lo que hago sigue siendo ciencia, pero no, no pondré los registros médicos de las personas en GitHub.

Usted afirma que no tiene una razón matemática para creer que sus números están alterados, pero en la mayoría de los casos, eso no debería impedirle considerar una aplicación de la Ley de Benford para evaluar los dígitos de los resultados (tenga en cuenta que hay una pocos casos en los que no encaja).

Editar: hay un verificador rápido y gratuito en http://benford.jplusplus.org/ simplemente escriba sus números

No creo que manipulen los resultados manualmente. Parece que ejecutaron el algoritmo con una resolución alta y obtuvieron los mejores resultados, mientras que otros métodos se ejecutaron con una resolución más baja. Este estudio depende de la resolución seleccionada. Pero vale la pena comprobarlo. Como solo hay 21 números, ¿se aplica Benford aquí? ¿Cómo puedo aplicarlos? hay algun software para eso? @robbat2
Agregué un enlace a un sitio donde puede consultarlo fácilmente. Por resolución, si se refiere a la resolución de pantalla, tenga en cuenta que la distribución de dispositivos fue una de las cosas que NO siguieron la ley de Benford, porque pocos dispositivos tienen resoluciones tan grandes y resoluciones muy pequeñas causaron texto/diseño ilegible.
Me refiero a la resolución de búsqueda en el algoritmo de optimización. @robbat2

El objetivo de la publicación es proporcionar información para reproducir el trabajo de investigación. Por lo tanto, el informe debe redactarse para que el trabajo sea lo suficientemente claro como para justificar las mejoras. (Desearía que fuera exactamente para compartirlo con el público) Puede referirse a eso y solicitar más información para ayudar a que su proceso de revisión sea más rápido, puede ser una forma de hacer el código o generar/recopilar datos. Cualquier cosa que sea necesaria para reproducirlo. obviamente, compartirlo es mucho más fácil, pero también debe adjuntarse al periódico o publicarse para los lectores. revisor y lectores deben estar en el mismo terreno.

¿Qué hacer cuando sospecha de los resultados numéricos en un manuscrito enviado que está revisando?
RespuestasAquíPolítica de privacidad1y, 0v