¿Exigir código y/o datos como condición para la revisión por pares?

Todavía es relativamente poco común que los científicos sociales compartan datos o códigos como parte del proceso de revisión por pares. Siento que esta práctica va en contra de las nociones de replicabilidad y reproducibilidad y tengo el deseo de expresar mi oposición a los casos en los que los manuscritos se envían sin datos ni código.

Sin embargo, ¿dónde se expresa apropiadamente tal oposición?

Tengo curiosidad específica sobre si es apropiado o no negarse a revisar un artículo en ausencia de código o datos.

ACTUALIZAR

Voy a ver esto durante un par de días para ver qué sale. Para tu información, publiqué esto de forma cruzada a Andrew Gelman ( http://andrewgelman.com/2015/09/14/its-not-so-easy-to-share-data-and-code-and-there-are-lots- de-burócratas-que-pasan-su-tiempo-haciéndolo-aún-más-difícil/ ) para aquellos que estén interesados ​​en ver su respuesta y la respuesta de sus seguidores...

¿Cuál es la política editorial de la publicación al respecto? ¿Qué dice el editor? Si no está en el consejo editorial, no tiene voto excepto para dejar de comprar/leer esa publicación. Podrías intentar con una carta al editor, pero...
@keshlam: Si es un revisor, ciertamente tiene el poder de negarse a revisar un artículo si cree que no tiene suficiente información para evaluarlo adecuadamente. No importa cuál sea la política de la revista.
Siempre puede negarse a revisar o rechazar... pero eso puede significar que busquen otro revisor, si no está de acuerdo con usted.
La política editorial de @NateEldredge generalmente establece lo que considera una buena manera de presentar los datos, qué detalles deben incluirse, etc. Si el revisor ignora por completo esta política, es bastante poco ético y poco profesional. El trabajo de los revisores es juzgar los méritos del manuscrito BASÁNDOSE EN LAS NORMAS EDITORIALES. Si no le gustan esas pautas, debe sentirse libre de rechazar la invitación para revisar una revista que obviamente considera deficiente.
@keshlam puede recomendar el rechazo basado en la falta de evidencia o apoyo (por supuesto, el editor puede ignorarlo).

Respuestas (3)

Sugeriría que primero dedique un poco de tiempo a reflexionar sobre por qué desea ver el intercambio de código y datos, y qué código y datos le gustaría compartir. ¿Es de naturaleza más ideológica ("la información quiere ser libre"), o en su raíz es una creencia más sobre la ética y la eficacia científicas?

Estoy casi seguro de que en realidad no desea que se compartan todos los datos y el código. Por ejemplo, es probable que no desee compartir información de identificación sobre temas. Del mismo modo, probablemente no le importen demasiado los pequeños fragmentos de código de utilidad que no tienen mucho que ver con la ciencia. ¿Dónde trazas tus límites y por qué?

La razón por la que sugeriría hacer eso es que entonces estará en una buena posición, como revisor, para argumentar de manera persuasiva a favor de la inclusión de código y/o datos por razones objetivas con las que es más probable que el editor y el autor estén de acuerdo. incluso si sus preferencias personales son diferentes. No creo que tenga mucho efecto si se niega a revisar (a menos que pueda conseguir que muchos colegas ejerzan presión junto con usted), pero creo que puede marcar una diferencia mucho mayor si se niega a aceptar conclusiones mal justificadas en el ausencia de información de resultados y métodos para respaldarlos.

También sugeriría que requerir cualquier soporte para dicho código descifraría inmediatamente el proceso de revisión por pares en el peor de los casos y, en el mejor de los casos, convertiría a la revista en un sistema de enrutamiento de soporte técnico y ralentizaría considerablemente las cosas.
@Fomite Quizás mi redacción no fue clara: quise decir "soporte" no como "soporte técnico" sino como "evidencia que respalda la conclusión"
Parece que no estaba claro, estaba agregando una razón. Por ejemplo, ¿dónde dibujar los límites también incluye "¿Esto tiene que funcionar sin ningún intercambio con los autores del código?" etc.

Estratégicamente, podría considerar que probablemente tendrá mucho más impacto si se convierte en el editor de una revista. De esa forma, participará en el establecimiento de la política editorial y, lo que es más importante, en la aplicación de esa política. Negarse a revisar artículos no lo ayudará a convertirse en editor.

Esto supone que le importa lo suficiente este tema como para dedicar el tiempo y el esfuerzo que conlleva ser editor de una revista. Pero hay más razones para convertirse en editor que solo este tema, así que al menos lo consideraría.

Esta es una respuesta muy específica del Reino Unido.

Los Consejos de Investigación del Reino Unido tienen principios sobre datos abiertos y políticas sobre acceso abierto . En la aclaración más reciente, esto también cubre el software . En esencia, la investigación financiada por RCUK debe tener los datos y el software esenciales para la reproducibilidad publicados antes de la publicación.

Mi enfoque para esto es que

  • cuando evalúo las propuestas de subvenciones del Reino Unido, siempre verifico que la subvención mencione explícitamente que están siguiendo estas políticas, y si no dicen explícitamente cómo , planteo eso como una pregunta;
  • cuando evalúo documentos que citan el apoyo de las subvenciones de RCUK, siempre pregunto si no puedo encontrar el software o los datos que les permitan seguir estas políticas.

En ambos casos, espero que el impacto dependa en gran medida de las preferencias del panel/editor (no creo que haya visto mucho todavía).

¿Exigir código y/o datos como condición para la revisión por pares?
RespuestasAquíPolítica de privacidad1y, 0v