Al realizar una comparación, ¿cómo puedo lograr que los autores respondan realmente a una solicitud de código fuente?

Estoy haciendo mi doctorado en ciencias de la computación. Esto definitivamente tomará demasiado tiempo y, en mi opinión, perderá mucho tiempo.

Bueno, de eso se trata un PHD en CS en áreas y algoritmos experimentales. Debe preparar su algoritmo, implementarlo, implementar trabajos anteriores y comparar su trabajo con ellos. Por lo tanto, cuánto tiempo le tomará no le interesa a nadie más que a usted y a su supervisor. Entonces, esta línea de argumentación es ingenua.

Una solución sería enviar un correo electrónico a los autores y pedirles cortésmente su código fuente.

Sí, pero no es el único. Puede solicitar sus conjuntos de datos y ejecutar su algoritmo en sus conjuntos de datos, en lugar de crear otro conjunto de datos. Además, las comunidades de algoritmos experimentales tienen instancias de referencia conocidas y todos los documentos relacionados trabajan en ellas para facilitar la comparación de los resultados. ¿Por qué necesita construir otro conjunto de datos? Está bien usar este conjunto de datos adicional DESPUÉS de probar su algoritmo en esas instancias de referencia de la comunidad. También puede enviar sus conjuntos de datos a sus "competidores" y pedirles que realicen sus experimentos en sus conjuntos de datos y simplemente le den sus resultados. Prepare sus experimentos en relación con los documentos más antiguos,

Si le gusta tanto compartir código, también puede enviarles su código fuente, brindarles una explicación sobre cómo compilarlo y usarlo, y luego permitirles realizar experimentos en sus PC y brindarle los resultados relativos a su trabajo. Sé que este pensamiento probablemente nunca pasó por tu mente. ¿Por qué? " Pueden robar mi trabajo, ¿cómo sé que me darán los resultados correctos? Es demasiado trabajo hacerlo, no les confío mi código src ". Y ahora sabes por qué la gente no quiere compartir su código.

Pero probablemente también olvidó la forma más fácil de resolver su problema. Deje que su supervisor se comunique con el primer autor Y con el resto de los autores. A menos que sea un estudiante de doctorado excepcional con muchos documentos increíbles, usted es prácticamente el Sr. Nadie y la gente ignorará fácilmente sus solicitudes. Es más difícil hacérselo a su supervisor (a menos que también sea el Sr. Nadie). Por lo general, la gente no quiere decir NO a futuros revisores, colaboradores y miembros respetados de la comunidad. También es importante enviar CC a todos los autores de artículos. El primer autor (estudiante de doctorado) podría proteger su código y ocultar su solicitud a su supervisor. Si envía CC al supervisor, es posible que se vea obligado a compartir su código o al menos responder.

Por último, pero no menos importante: sé amable al preguntar.

La reproducibilidad en informática es un área importante de mejora. Es razonable esperar que los autores pongan a disposición el código fuente de los algoritmos que presenten. Escuché que algunas revistas y conferencias están presionando a los autores para que hagan que el código fuente esté disponible públicamente (aunque personalmente no me he encontrado con eso).

En mi experiencia, la mayoría de los científicos ponen a disposición su código fuente. No hacerlo arroja serias dudas sobre la legitimidad de su resultado y es contrario a la premisa normal de la ciencia de la esfera pública. También es bastante difícil de justificar, ya que compartir el código fuente no tiene ningún costo asociado.

Ser un doctorado en ciencias de la computación seguramente no se trata de volver a implementar algoritmos existentes, excepto tal vez por razones pedagógicas. Tienes razón en que es una pérdida de tiempo. ¡Simplemente no hay una buena razón para hacerlo cuando el código podría alojarse en github de forma gratuita!

Una buena estrategia es la siguiente.

• Comience con el autor de correspondencia, o primer autor. Dígales lo que está haciendo, que tiene la intención de citar su trabajo y que le gustaría comparar su método con el de ellos. Sea cordial y siéntase libre de decirles lo que le gusta de su trabajo. Lo más probable es que sea una persona genial.
• Si no responden después de un retraso razonable, digamos una semana, envíe esencialmente el mismo correo electrónico a toda la lista de autores, explique que tiene problemas para ponerse en contacto con el autor correspondiente y pregunte quién está en el puesto. para hablar en nombre del grupo. Esto todavía tiene que fallar para mí.
• Deben proporcionar su código fuente en este punto. Si no lo hacen, es un juego justo preguntar por qué no. Dado que es un trabajo publicado, existe una especie de premisa de que deberían ponerlo a disposición, excepto si hay algo que realmente lo convierta en un problema. Es bastante sospechoso si no lo hacen. También puede recordarles que no querrá cometer ningún error al implementar su trabajo, para que la comparación sea legítima.

No te preocupes por ser un "don nadie". La idea de que un investigador solo debe responder a personas de alto estatus es simplemente ridícula. Sin embargo, lo que debe tener en cuenta es que un investigador destacado puede recibir una gran cantidad de comunicaciones entrantes. Si son profesionales, habrán establecido un triaje para eso. Lo mejor que puede hacer es facilitarles la respuesta, y probablemente estarán encantados de ayudarlo a usted, un estudiante, que alguna vez fueron.