Incentivos para que los investigadores independientes trabajen en investigaciones reproducibles

Por el bien de la difusión científica de alta calidad, no hay duda de que la investigación reproducible es una buena práctica, ya que ayuda a demostrar la solidez de los métodos propuestos y aumenta las posibilidades de obtener más citas para un artículo publicado. No hace falta decir que también permite que los nuevos investigadores continúen el trabajo de un mentor anterior. Para los estudiantes que se preguntan si deberían o no publicar su código en un repositorio público, este fue un tema que ya se discutió aquí: ¿ Es beneficioso para un estudiante publicar su código y datos de investigación? .

Sin embargo, a mi entender, a partir de este material , es que la investigación reproducible es una práctica que siguen las instituciones en las que el gobierno se hace cargo del salario que ganan los investigadores, su equipo y los gastos de viaje. Dado que se utilizan fondos públicos en este contexto, no tiene sentido publicar los resultados en lugares que mantendrían el conocimiento inaccesible para las personas que lo necesitan (y lo pagan con sus impuestos). De hecho, muchas revistas ofrecen ahora la posibilidad de publicar artículos en Acceso Abierto . Obviamente, esto exime el caso de asuntos de seguridad nacional que deben mantenerse en secreto.

Para los investigadores independientes o estudiantes no becados, las cosas cambian un poco, ya que no tienen que seguir las prácticas de investigación reproducibles porque pagan la mayoría (si no todos) de los gastos durante sus estudios. Mi pregunta es, ¿cuáles son los incentivos (si los hay) para que este grupo de personas publique su código en Internet si no buscan explotarlo comercialmente? ¿Es la investigación reproducible algo que pueden usar para mejorar sus posibilidades de conseguir un trabajo en la academia o en un departamento de I+D en la industria?

Nota: por investigación reproducible, estoy tomando la definición establecida aquí : todos los resultados de un documento se pueden reproducir con el código y los datos disponibles en línea .

No estoy seguro de lo que quiere decir con investigación reproducible. Se lee como si quisieras poder ejecutar de forma independiente un programa determinado en un conjunto de datos determinado para verificar los resultados. Creo que una mejor definición requiere mucho más. ¿Se pueden aceptar las hipótesis de un estudio a través de métodos, datos y modelos completamente independientes? No se trata de la honestidad del primer reportero, se trata de la veracidad probable de las declaraciones. Ejecutar el mismo código en los mismos datos no es independiente en ese sentido. Explique un poco más cuál es su entendimiento.
Desafortunadamente, aunque hace una pregunta válida, creo que la definición es demasiado limitada y defectuosa. Existe un problema en el mundo científico que muchos resultados informados no pueden validarse en base a estudios adicionales. Si bien hace que el proceso sea transparente (que es lo que permite su definición), no es exactamente lo mismo. Incluso los estudios científicos realizados con un 95 % de confianza, si se hacen bien, reportarán un resultado incorrecto el 5 % de las veces, por definición. Uno aprende más, por ejemplo, ejecutando un código dado en un conjunto de datos diferente , o un código diferente en un conjunto similar, no idéntico . En mi opinión, el término utilizado es engañoso.
Oh, veo a @Buffy. La definición de reproducibilidad que brindó la LCAV no considera el grado de confianza que mencionaste. Tal vez, ¿podemos hablar de investigación suave reproducible ? De todos modos, ¿representa un incentivo para los investigadores independientes?
Consulte el meta: academia.meta.stackexchange.com/q/4366/75368 para una discusión. Solo experimento mental.
Gracias @Buffy, aquí hay un ejemplo de RS en el sentido de LCAV: github.com/hanjiepan/FRI_pkg
"No tiene sentido publicar resultados en lugares que mantendrían el conocimiento inaccesible para las personas que lo necesitan (y lo pagan con sus impuestos)" - oh sí, hay un punto muy fuerte, a saber, la posibilidad de obtener aún más dinero. Si las personas que realizan investigaciones, o quienes están a cargo de esas personas, buscan o no obtener la máxima cantidad de dinero de ellas es una cuestión diferente, pero no creo que tenga sentido afirmar que "no hay punto". Además, la idea de que el material con impuestos pagados debe estar disponible de forma gratuita no es universalmente aceptada, como se evidencia...
... por la existencia de muchos países donde se realizan muchas investigaciones financiadas por el gobierno, pero no existe una obligación general de proporcionar los resultados a los contribuyentes de forma gratuita.
En general, siento que esta pregunta combina varias cosas diferentes. Por ejemplo, en algún momento, habla de publicar suficientes datos para que los resultados sean reproducibles (por ejemplo, datos + código de ejemplo de software de prueba), mientras que en otras partes de su pregunta, habla sobre si seguir o no la ruta de la publicación científica en todo. Del mismo modo, si bien ciertas instituciones pueden seguir y promover la práctica de producir investigación de manera reproducible, eso no significa que ese sea realmente el incentivo para que los empleados de dichas instituciones sigan la práctica, en lugar de, digamos, convertirse en ...
... investigador exitoso/de buena reputación/muy citado/aclamado haciendo contribuciones "buenas" (por ejemplo, bien reproducibles) al cuerpo de conocimiento científico. Al mismo tiempo, los investigadores autofinanciados probablemente no pasarían por la molestia del proceso de publicación científica si en realidad esperan mantener sus hallazgos en secreto y usarlos para su propio producto de código cerrado.
Oh, vaya. Gracias por sus ideas @ORMapper, no sabía cuán grotesca era mi pregunta y cuán extraño es pedir incentivos cuando se realiza una investigación reproducible. Si un investigador quiere hacer ciencia, debería publicar su código por el bien de la humanidad. Los investigadores autofinanciados que no saben cómo comercializar un producto o que no saben cómo alinear su interés con la academia deberían estar avergonzados.
@JFonseca: Lo siento, mis comentarios parecen haber sido poco claros. "Qué extraño es pedir incentivos cuando se hace una investigación reproducible", eso no es extraño en absoluto. Como dije, los incentivos probablemente no sean ni la práctica de la institución ni la expectativa de mantener en secreto un concepto comercializable. "Debería publicar su código por el bien de la humanidad"; no, como escribí, puede suceder para aumentar la reputación o volverse más conocido en el campo de uno. En cuanto a su última oración, me temo que no entiendo lo que está tratando de decir.
Sí, por favor ignora la última parte. Gracias por la aclaración @ORMaper :)
No deberías necesitar incentivos para hacer “investigación reproducible”, deberías hacerlo porque es buena ciencia y hacer buena ciencia (y demostrar que puedes) es bueno para tu carrera. El acceso abierto para la investigación financiada con impuestos también es importante, pero en realidad es una discusión aparte. Debe asegurarse de que sus resultados se puedan reproducir incluso si está en una empresa privada o publica artículos de alto impacto.

Respuestas (2)

Espero entender la intención aquí lo suficientemente bien como para ofrecer orientación. No creo que exista ningún incentivo inherente para que la mayoría de los investigadores publiquen más de lo que publican. El sistema actual funciona lo suficientemente bien para ellos, por lo que el esfuerzo adicional tiene poco sentido.

La razón por la que muchas agencias del gobierno de EE. UU. publican más que el mínimo es que gran parte (¿la mayoría?) de la investigación financiada por el gobierno ha sido considerada tradicionalmente como propiedad del público estadounidense. Dominio público, si lo desea. En una dimensión ortogonal, el hecho de que mucha ciencia se haya politizado implica que muchos quieren ser lo más transparentes posible para que los inevitables conflictos y cargos puedan ser refutados abiertamente. Pero una razón adicional es que los investigadores "servidores públicos" también están generalmente interesados ​​en que otros puedan aprovechar y ampliar el trabajo que realizan, por el bien común. No trabajan con ánimo de lucro y, por lo tanto, tienen pocos incentivos para mantener las cosas cerradas.

Si las personas quieren publicar código y datos, en su mayor parte está permitido, siempre que las revistas no impongan restricciones por motivos de derechos de autor, etc.

Sin embargo, un investigador principiante debe considerar cuidadosamente lo que implica la apertura. En particular, mientras conserva los derechos de autor (que puede licenciar), complica la posibilidad de obtener patentes sobre sus ideas. Incluso puede ser que otros, con cuyas políticas no está de acuerdo, puedan usar y monetizar sus ideas en contra de sus deseos. La apertura en general es buena, y estar dispuesto a "revelar todo" es encomiable, pero tenga en cuenta las implicaciones cuando lo haga.

"No creo que haya ningún incentivo inherente para que la mayoría de los investigadores publiquen más de lo que publican". .. o le gustaría. Creo que a muchos investigadores les gustaría publicar un poco más, si tuvieran el tiempo y otros recursos disponibles.
Gracias, @Buffy y ORMapper, ¿hay alguna forma estándar de determinar de antemano si un diario está bien para usted si decide publicar su código en Internet? Lo pregunto porque puede existir algún conflicto de interés si su código también se usa para generar las cifras incluidas en el documento.

Mi pregunta es, ¿cuáles son los incentivos (si los hay) para que este grupo de personas publique su código en Internet si no buscan explotarlo comercialmente? ¿Es la investigación reproducible algo que pueden usar para mejorar sus posibilidades de conseguir un trabajo en la academia o en un departamento de I+D en la industria?

Ya sea independiente o no, los incentivos para publicar su código de software y/o recursos de datos son:

  • Algunas conferencias/talleres fomentan la presentación de documentos dedicados a nuevos códigos/recursos (es decir, una publicación bastante fácil).
  • Suponiendo que su código/recursos se puedan encontrar, ganen popularidad y sean útiles para la comunidad, puede obtener muchas citas: cada vez que alguien los use, se referirán a cualquier documento que les pida que citen (esto debe indicarse claramente en el información de la licencia).
  • Las menciones de su software de código abierto / conjuntos de datos de acceso abierto en su CV se ven positivamente en la comunidad académica (por las razones que menciona), por lo que aumenta sus posibilidades de obtener un trabajo académico. También se puede ver como un escaparate de sus habilidades al aplicar en la industria.

Entonces, en general, sí, fortalece su perfil de investigación.

Sin embargo, puede llevar mucho tiempo: pulir el código, escribir documentación clara, mantener el software, etc. Por lo tanto, hay un compromiso entre dedicar tiempo a esta u otras actividades de investigación. Supongo que esta pregunta es especialmente importante si eres un investigador independiente.

Edite el siguiente comentario de OP: para investigadores independientes puede ser una buena manera de mantenerse en contacto con la comunidad de investigación, especialmente si no tiene el tiempo o los recursos financieros para asistir a conferencias.

Descargo de responsabilidad: mi campo es el procesamiento del lenguaje natural, que implica el aprendizaje automático con datos no estructurados. Los resultados a menudo varían según el conjunto de datos y la configuración experimental exacta, y reproducir un experimento puede llevar mucho tiempo. Por lo tanto, la reproducibilidad es un problema importante en el campo y se recomiendan encarecidamente los recursos de acceso abierto.

¡Gracias @Erwan! También es una forma de mantenerse en contacto con la comunidad investigadora (cuando su trabajo y carrera no coinciden) y recibir comentarios valiosos para mejorar sus contribuciones.
Buen punto, lo agregaré a mi respuesta.
Incentivos para que los investigadores independientes trabajen en investigaciones reproducibles
RespuestasAquíPolítica de privacidad1y, 0v