¿Qué debe hacer si no puede reproducir los resultados publicados?

Solo publica. Publique sus intentos de replicar los hallazgos, documentando las discrepancias, junto con los buenos resultados que ha obtenido al ampliar su trabajo. Considere enviar un borrador a los autores originales para sus comentarios.

Publicar resultados que contradicen publicaciones anteriores puede ser incómodo, pero si puede demostrar que su método es correcto más allá de toda duda razonable, entonces no debería ser un problema. No se garantiza que ningún código esté completamente libre de errores y que ningún resultado sea correcto solo porque se publica.

No dice mucho sobre la naturaleza de sus cálculos/métodos, pero ¿tiene algún caso de prueba para el cual se conocen o se pueden derivar soluciones analíticas? Si puede demostrar que su código reproduce estos resultados, entonces puede argumentar que los resultados de su código para el problema específico en cuestión deberían ser confiables.

Idealmente, si tiene un caso de prueba de este tipo, puede pedir a los otros autores que lo ejecuten con su propio código y ver si también producen resultados correctos. Puede que no quieran, pero ese es su problema, no el tuyo.

En resumen, si hace todo lo posible en su trabajo para demostrar la precisión de su código/método frente a soluciones analíticas conocidas, no debería preocuparse demasiado por no coincidir con los resultados de otras personas. Al menos esa sería mi opinión como árbitro.

(Descargo de responsabilidad: no tengo experiencia personal con una situación así, así que me estoy saliendo del sentido común. Dicho esto...)

Parece que ya ha dado todos los pasos razonables para descubrir el origen de la discrepancia, y ahora solo le queda una "desviación inexplicable" entre sus resultados y los de ellos. También dice que la discrepancia en realidad no afecta de ninguna manera las conclusiones cualitativas extraídas de los resultados.

En este punto, si yo fuera usted, simplemente seguiría adelante y publicaría sus resultados extendidos, y solo señalaría brevemente la discrepancia cuando compare sus resultados con el trabajo anterior. Siempre que esté razonablemente seguro de que sus resultados son correctos (hasta los límites esperados de precisión numérica), no se puede esperar que pueda explicar las imprecisiones en los resultados de otras personas. Por supuesto, definitivamente debe asegurarse de que otros puedan reproducir fácilmente sus resultados y verificar la corrección de los métodos que usó para obtenerlos, por ejemplo, haciendo que su software esté disponible gratuitamente.

Si realmente cree que simplemente documentar la discrepancia entre los dos conjuntos de resultados sería publicable por sí solo, hacerlo y luego citar esa publicación en su artículo principal también podría ser una opción. En general, sin embargo, espero que sea práctico solo si los valores cuantitativos precisos en disputa son realmente importantes para otros que trabajan en su campo.

Sería muy cauteloso a la hora de publicar y, como revisor, sería cauteloso a la hora de recomendar la publicación. La diferencia inexplicable en los resultados insinúa un error. Ese error es tuyo o de ellos. Me gustaría saber con certeza que es su error antes de publicar. Aunque no puede comparar los dos métodos directamente, aún podría publicar su método de forma independiente mostrando que da la respuesta "correcta" en una batería de casos de prueba y luego notando que da una respuesta diferente en el caso no comprobable.

Luego, puede consultar este documento cuando publique el trabajo real. La ventaja es que elimina la necesidad de diluir el mensaje del artículo real con los detalles del método. Una segunda ventaja es que puede resultar en que los autores originales ejecuten la prueba con su método. Esto es especialmente cierto si los menciona en un borrador anterior y les envía una copia antes de enviarlos. También puede solicitarlos como revisores.

Una estrategia diferente podría ser una visita al laboratorio (físico o virtual) para usar su software en su batería de prueba.

¿Puedes/estás dispuesto a tirar un hueso?

Podría valer la pena discutir tenerlos como autor en el artículo. Tal vez pueda llegar a un acuerdo para obtener lo que desea (obtener acceso a su software, resultados, etc.) a cambio de incluirlos en sus publicaciones y tener cierto nivel de colaboración. ¡Te sorprenderá ser honesto sobre esto y hablar de ello abiertamente podría funcionar! Mis dos mejores trabajos hasta la fecha provienen de hacer exactamente eso y luego desarrollar una relación de trabajo con las personas que no eran tan comunicativas. Después de eso, hemos publicado dos artículos adicionales juntos. Quién sabe, es posible que terminen colaborando y haciendo cosas mejores y más grandes juntos si funciona. Lo probaría antes de decidir simplemente publicar los resultados de la manera que describiste.

Me gustaría agregar un punto que aún no se ha mencionado. Puede o no ser aplicable a su situación, pero podría serlo en el caso general. Usted menciona que el resultado de las simulaciones numéricas no concuerda. Por lo tanto, sugiero:

Si no se puede hacer que dos modelos coincidan, es hora de hacer mediciones .

En realidad, esta es una buena idea incluso si están de acuerdo, pero si puede hacer mediciones, podrá confirmar que al menos uno de los modelos es incorrecto al menos para la situación específica de la medición.

Por supuesto, esto no siempre es posible.

Todas las publicaciones en las revistas científicas deben ser reproducibles y precisas. Es una tarea muy importante examinar los resultados de otros. Los autores originales obtienen mucho crédito si un investigador independiente verifica su teoría o modelo.

Casi todas las revistas tienen una sección denominada Comentario, * Cartas * o Carta al editor. A continuación se muestran algunos enlaces a estas columnas:

• Comente en IEEE Trans. Antenas. Prop. A Comentario sobre “Direccionamiento de elevación conjunta y acimut usando una matriz en forma de L”

• Letras en PNAS Composición del genoma, casta y evolución molecular en insectos eusociales

• Correspondencia en Nature Responder a 'Medición de la movilidad en transistores MoS2 de doble compuerta'

  Puede enviar sus hallazgos a la misma revista y explicar todos sus hallazgos. Luego, los editores envían sus comentarios a los autores y ellos deben proporcionar la respuesta adecuada a la revista.

Por supuesto, esto es complicado y debes tener cuidado. Si cree que todo es preciso en su código, comentar en el documento es una opción.

Estoy de acuerdo con otros que han sugerido que publicar los nuevos resultados está bien. Mencione que hay una diferencia con el método antiguo pero que no es cualitativamente diferente.

Muchas revistas tienen la política de solicitar un comentario/dúplica del autor de cualquier estudio cuyo trabajo contradiga directamente. Si los editores creen que su comentario dentro del periódico califica, es posible que finalmente obtenga la respuesta que está buscando.

Pero también le insto a que piense detenidamente cuánto quiere arriesgar por esta discrepancia y cuánto tiempo quiere dedicarle. Parece que los resultados son cualitativamente iguales. Si termina siendo 100% correcto en todo, la contribución de un artículo que solo habla de la diferencia será una estimación ligeramente mejor. En algunas situaciones, eso puede valer mucho. En muchos otros, no cuenta mucho. Sabrá lo importante que es esto para su campo.

Una vez encontré un pequeño problema metodológico en un trabajo en mi segundo año de posgrado. Le hice una pregunta similar a la suya a un profesor que me preguntó si era probable que el error metodológico cambiara el resultado o invalidara los hallazgos principales. Cuando le dije que era muy poco probable, me dijo que probablemente no era el mejor uso de mi tiempo trabajar mucho en una réplica.

Está duro. Creo que deberías decir algo. Una nota en el periódico probablemente sea suficiente. Para este tipo de cosas, creo que una nota de investigación sobre Arxiv que puede citar podría ser una alternativa.