¿Es razonable citar resultados computacionales publicados en lugar de reproducirlos usted mismo?

• Trato los resultados computacionales como experimentos in silico . Han sido publicados en una revista revisada por pares, por lo que confío en ellos por defecto, a menos que tenga una razón para no hacerlo. Los cito sin necesidad de volver a calcularlos.
• A veces, tengo una razón para dudar de ellos: no coinciden con mi intuición, o no coinciden con mis propios resultados en un caso relacionado; parecen incoherentes; no coinciden con los datos experimentales; etc. Luego, los rehago, posiblemente en más de una forma (software diferente, intente verificar el efecto de algunas de las suposiciones, etc.). Si aprendo algo de ello, considero publicar este estudio.

Mi trabajo más citado surgió porque no pudimos reproducir un artículo publicado anteriormente en el campo. Hicimos un estudio mucho más extenso y demostramos de manera concluyente por qué los resultados anteriores no eran confiables.

Por lo tanto, si bien no es necesario que reproduzca todos los resultados que se han publicado anteriormente, puede tener un propósito útil tratar de reproducir al menos algunos de esos resultados, porque entonces puede estar seguro de que su modelo está funcionando de la forma en que lo desea. esperaría que lo hiciera (siempre que se pueda confiar en los datos anteriores; como mostró mi caso, ¡este no siempre es el caso!).

¿Es razonable simplemente citar los resultados de otro artículo al pie de la letra?

En mi opinión, solo hay unos pocos casos limitados en los que esto sería aceptable. Por ejemplo, al comparar sistemas a escala industrial, o comparación de características cualitativas de las obras. Además, en el caso de que exista un conjunto establecido de puntos de referencia y su algoritmo pueda resolver algunos de los que el otro no puede, realmente no necesita volver a implementarlo. Posiblemente también cuando la prueba del algoritmo no se puede hacer de manera reproducible (pruebas de campo a escala industrial). Sin embargo, cuando se trata de eficiencia experimental, creo que generalmente no tiene muchas opciones y debería reproducir los demás resultados, si es posible.

¿Qué sugerencias le daría a este enigma?

Depende de para qué necesite el trabajo citado. En el caso de que haya desarrollado un algoritmo que se supone que es más eficiente que el citado, para probar su punto necesita un experimento controlado cuando ambos métodos se ejecutan en las mismas condiciones (por ejemplo, implementados en el mismo lenguaje de programación y ejecutados en el mismo sistema, etc.) y con el mismo conjunto de puntos de referencia. En tal caso, si desea demostrar su punto correctamente, lo mejor es volver a implementar (o solicitar a los autores su implementación y adaptarla a sus condiciones) y ejecutar de forma directa. De lo contrario, sus curvas de rendimiento serán incomparables. Para obtener buenos ejemplos de cómo hacer esto, consulte, por ejemplo, comparaciones/evaluaciones del rendimiento experimental de algoritmos de planificación o solucionadores de SAT.