¿Por qué los investigadores no publican experimentos fallidos?

Lo siguiente podría ser una ligera generalización para todos los campos, pero algo que he notado especialmente en el campo de la computación científica:

  1. ¿Por qué la gente no publica los fracasos? Es decir, si intentaran algún experimento y al final se dieran cuenta de que intentaron de todo y nada funcionó. ¿Por qué no publican esto? ¿Es porque ese contenido no se publicará o porque es vergonzoso tener un experimento fallido en una revista junto con artículos ganadores de premios?

  2. Pasé la mayor parte de un año trabajando en lo que ahora parece ser un problema muerto. Sin embargo, la mayoría de los artículos que leí inicialmente lo llevaron al punto de sentirse optimista. Ahora que releo los artículos, me doy cuenta de que puedo decir (con mucha confianza) que el autor esconde algo. Por ejemplo, uno de los autores que estaba comparando dos sistemas, dio una base teórica excelente, pero cuando trató de validar la teoría con experimentos, hubo discrepancias horribles en los experimentos (que ahora me doy cuenta). Si la teoría no quedó satisfecha con los experimentos, ¿por qué no publicar eso (señalando claramente las partes de la teoría que funcionaron y las que no) y ahorrar algo de tiempo a los futuros investigadores? Si no en una revista, ¿por qué no en ArXiv o en sus propios sitios web?

ese es uno de los puntos de la ciencia abierta. Publica enfoques fallidos en su blog o wiki. Recuerdo haber leído hace algún tiempo que los estudios fallidos (es decir, el fármaco que no hace nada) no publicados se estaba convirtiendo en un problema en ciertas partes de la investigación médica y ahora los grandes estudios de los NIH (creo) deben registrarse en una base de datos antes de que se lleven a cabo e incluyan sus resultados independientemente de si son positivos o no. Desafortunadamente, no recuerdo una fuente para esto :(.
Buena lista Joel Reyes Noche. Sin embargo, entre las 6 revistas que ha mencionado, las cinco primeras se centran en trabajos con resultados negativos. El último, el Journal of Errology , se enfoca en proporcionar un medio para esos intentos fútiles inéditos detrás de cada artículo publicado que generalmente se descartan. Estos son mucho más comunes que los otros artículos, para los cuales la mayoría de los investigadores no tienen tiempo de publicar, ya que no generan ningún beneficio para sus carreras.
Estoy publicando el resto del comentario de Selvin aquí (anteriormente enviado como respuesta, pero convertido porque no responde la pregunta): "Esto me recuerda las prácticas de Edison, donde mantuvo una lista de todas las cosas que no funcionaron , que luego lo ayudó de manera importante. Imagínese hacer 10,000 experimentos diferentes, sin realizar un seguimiento adecuado de cada experimento. Va a ser una pesadilla".
Mi investigación de tesis fue un resultado nulo. El artículo al respecto tiene más de 80 citas. Pero eso es en física de partículas donde establecer límites en el inicio de un fenómeno esperado es algo muy común.
(Publiqué esto como respuesta, pero me lo quitaron porque no es realmente una respuesta. Así que lo publiqué como comentario) En parte inspirado por esta discusión y en parte por mi propia experiencia, nosotros, un grupo de investigadores en ciencias computacionales, estamos organizando un taller titulado "Investigación en ciencia electrónica que conduce a resultados negativos (ERROR)". El taller se llevará a cabo junto con la conferencia eScience 2015 en Munich, Alemania. Para obtener más información sobre el taller, consulte press3.mcs.anl.gov/errorworkshop .
Por lo general, es posible convertir una falla en algo positivo. Por ejemplo, estoy al tanto de dos casos en los que alguien no pudo hacer xyz (como prometieron en la propuesta de subvención), pero una gran cantidad de pensamiento + trabajo duro y lograron sacar un artículo de Nature, sin mención por supuesto. que no dieron en el blanco y accidentalmente hicieron algo muy diferente.
Siempre pensé que es porque los académicos nunca cometen errores.
Espero que esta pregunta no esté fuera de tema, pero: ¿Cómo es posible que estos artículos de investigación no desaparezcan en el vacío? Si todos publican aproximadamente 4 artículos al año, ¿no significa esto que ya existen cantidades increíbles de artículos en los que podría basar/referenciar su propio artículo? ¿Hay como 10000 personas académicas en la tierra, por lo que el círculo es bastante pequeño? ¿O hay en algún lugar una base de datos centrada que realiza un seguimiento de toda la información científica disponible en la tierra? Me gustaría saber cómo obtener una descripción general de los documentos existentes, para que no "pierda" su tiempo rehaciendo lo mismo.
(Sí, sé que este "rehacer" se llama "Prueba", pero esa no es la pregunta)

Respuestas (8)

"¿Por qué la gente no publica los fracasos?"

En realidad, lo hacen.

  1. Journal of Negative Results (ecología y biología evolutiva)
  2. Revista de resultados negativos en biomedicina
  3. Revista de resultados negativos farmacéuticos
  4. Journal of Interesting Negative Results (procesamiento del lenguaje natural y aprendizaje automático)
  5. Journal of Negative Results in Environmental Science (¿todavía no hay ediciones?)
  6. Journal of Errology (¿todavía no hay ediciones?)

etcétera...

(Es posible que también desee ver la sección de Resultados negativos del Journal of Cerebral Blood Flow & Metabolism).

lo hacen, pero no a menudo, y no en 'revistas estándar'
Pocas o ninguna de estas revistas han recibido muchas presentaciones. Esto es trágico porque la falta de intentos de replicación publicados es uno de los mayores problemas de la ciencia (consulte el artículo clásico de Ioannidis, "Por qué la mayoría de los hallazgos de investigación publicados son falsos"). Se necesitan reformas para crear mayores incentivos para que los científicos realicen y publiquen tales estudios. Nos estamos acercando a los editores sobre un nuevo concepto de revista en el que solo se revisaría el plan de estudio (métodos y plan de análisis) para un intento de replicación ( plus.google.com/113040210411045341720/posts/BB2BnpHi8Tw ), luego se garantizaría la publicación.
En la licenciatura, fantaseábamos con crear el "Diario estadounidense de fallas y pasos en falso".
También me gustaría agregar que desacreditar una idea teórica establecida es muy digno de publicación, incluso en una revista que publica resultados positivos. Y sucede (desafortunadamente, no con la suficiente frecuencia).
También hay una razón práctica: escribir un buen artículo (incluso si tiene resultados negativos) requiere tiempo y esfuerzo, algo que la mayoría de los investigadores prefieren gastar de otra manera, por ejemplo, en lograr resultados positivos (quizás con la esperanza de publicarlos en lugares más prestigiosos). ).
Miré jinr.site.uottawa.ca – ¡es Jim muerto!
@imallet: avísame si creas este diario, tengo muchas presentaciones potenciales.

Los resultados nulos son difíciles de publicar. simplemente son Sin embargo, curiosamente, en mi campo no son lo más difícil de publicar. El orden general va:

Estudios bien potenciados (grandes) que encuentran lo que la gente espera
Estudios mal potenciados (pequeños) que encuentran lo que la gente espera
Estudios poco potenciados que encuentran lo contrario de lo que la gente espera o hallazgos nulos
Estudios bien potenciados que encuentran lo contrario de lo que la gente espera

Esas dos categorías intermedias son donde encontrará la mayoría de los "fracasos", al menos en términos de encontrar un efecto estadísticamente significativo. Dicho esto, hay un impulso cada vez mayor para ver este tipo de estudios publicados, porque son una parte importante de la literatura, y varias revistas médicas han dado pasos bastante notables en esa dirección, por ejemplo, si aceptan un artículo sobre el protocolo para un próximo ensayo clínico, también se comprometen a publicar los resultados del ensayo (si pasan la revisión por pares) independientemente del hallazgo.

Cuando se trata de eso, creo que hay tres razones por las que los resultados negativos no se publican más allá de "es difícil":

  1. Falta de pago. Se necesita tiempo y pensamiento para obtener un artículo en la literatura, y esfuerzo. Y dinero, a modo de tiempo y esfuerzo. La mayoría de los hallazgos/fracasos nulos son callejones sin salida: no se utilizarán para nuevas propuestas de subvención, no serán donde se haga un nombre. Lo mejor que puede esperar es que se citen algunas veces en comentarios o artículos de metanálisis. Entonces, en un universo de tiempo finito, ¿por qué perseguirías más esos resultados?
  2. Falta de pulido. Solo encontrar el resultado es un paso intermedio en la publicación de resultados, no el paso "y por lo tanto aparece en una revista". A menudo, es fácil darse cuenta cuando algo no se perfila para tener éxito mucho antes de que esté listo para su publicación; esos proyectos tienden a ser abandonados. Entonces, si bien hay resultados "erróneos", no son resultados listos para publicar, incluso si nos preocupamos por las fallas.
  3. Muchos fracasos son metodológicos. Este diseño de estudio realmente no puede llegar a la pregunta que desea hacer. Sus datos no son lo suficientemente buenos. Toda esta línea de razonamiento es defectuosa. Es realmente difícil convertir eso en un papel.

Los artículos exitosos pueden publicarse por su propio éxito, eso es interesante. Los artículos fallidos tienen la doble carga de ser difíciles de publicar y de haber tenido que fallar de manera interesante.

No me queda claro cuál es el orden de más difícil a menos difícil de publicar en su lista.
@Stephanie Todos son "No puedo molestarme en convertir esto en un documento", en lugar de tener dificultades para enviarlo y, por lo tanto, es probable que varíen según su motivación.
Esta parte "Estudios (grandes) con buena potencia que encuentran lo que la gente espera Estudios (pequeños) con poca potencia que encuentran lo que la gente espera Estudios con poca potencia que encuentran lo contrario de lo que la gente espera o hallazgos nulos Estudios con buena potencia que encuentran lo contrario de lo que la gente espera " bit no numerado
@Stephanie Ah, eso tiene más sentido. Están en orden aproximado de dificultad, de menos a más difícil de publicar, aunque eso puede ser específico del campo y se basa en una diapositiva que vi una vez en una presentación.
Me gusta más esta respuesta, ya que en realidad responde la pregunta. No hay nada que te impida publicar un fallo, pero cuesta tiempo, esfuerzo y dinero; exige su atención, y debe convertirse en algo con un punto. También agregaría una más: no desea revelar demasiado sobre su investigación, si aún muestra la promesa de algún tipo de éxito. Triste pero necesario.

No es del todo cierto que los fallos no se publican. Se publican la falta de señales o la falta de correlación. El punto es que todo lo que impulsa el conocimiento es digno de publicación. Dicho esto, hay otros factores que debes tener en cuenta

  1. algunos fallos son metodológicos, es decir, algo estás haciendo mal. Esa no es una señal científica. es algo que tienes que resolver.
  2. saber lo que no funciona te da una ventaja competitiva frente a otros grupos de investigación.
  3. las señales negativas casi nunca abren nuevos campos. Si lo hacen, es porque dirigieron la atención para encontrar una señal positiva en otro lugar. No abre un nuevo desarrollo de medicamentos contra el cáncer si se descubre que una sustancia no tiene efecto. Cierras uno. Por esta razón, los artículos negativos generalmente no reciben mucha atención, y la atención de los compañeros es mucha en la academia.
Interesante. Pero, ¿no es el objetivo de publicar la difusión de información? Si cierra un campo, ¡bien bien! No más pérdida de tiempo. También he visto muchas publicaciones de guerra, como entre String Theorists y el resto. O fanáticos de GPU vs Multicore. Pero nadie va contra los suyos.
@Nunoxic: ese es el punto: dejar que otros pierdan su tiempo para que, mientras están ocupados descubriendo lo que ya aprendiste, puedas vencerlos publicando antes que ellos. ¿Crees que la academia es un montón de hippies?
El mejor ejemplo de un resultado negativo que fue muy importante que se me ocurre es el experimento de Michaelson-Morley que desbarató por completo la vieja teoría del éter. La mayoría de los resultados negativos no son tan llamativos. :)
@StefanoBorini Creo que eso es bastante pesimista. Regularmente veo literatura médica publicada que no muestra ninguna ventaja/efecto de los medicamentos y eso es importante. En términos generales, creo que muchos callejones sin salida no se publican porque a menudo se asumen los callejones sin salida; los resultados prometedores (ya sean positivos o negativos) aún toman mucho tiempo para finalizar, tiempo que tal vez podría ser mejor empleado buscando algo más prometedor.
@Nunoxic: no, el objetivo de la publicación es que estimula las donaciones y el interés en su investigación. Si publica un montón de documentos sobre cómo cometió un error y desperdició millones o incluso miles en subvenciones y fondos privados porque cometió un error, es menos probable que la gente financie su próximo proyecto de investigación y puede obtener fondos para lo que está haciendo.
@george - Eso es investigación del sector privado. Las compañías de seguros comparten con gusto información que les puede ahorrar dinero. Lo que no los ve publicar son estudios que mostrarían que los tratamientos que cuestan más dinero también brindan más beneficios. Esos vienen de los médicos.
@StefanoBorini: Sí, en realidad somos un montón de hippies. Algunos de nosotros, de todos modos.

Una de las consecuencias de no informar de los fallos es el sesgo de publicación. Es un fenómeno ampliamente descrito que suele tratarse mediante metanálisis. Es decir, si la investigación se refiere a algunos resultados cuantificables, digamos alguna regresión (lineal), por lo general es deseable la significación estadística. Si no se obtienen tales resultados, los investigadores a veces intentan ajustar su metodología, modelos, datos o cualquier otra cosa para tener resultados más "publicables".

El problema del ajuste de los modelos o la extracción completa del papel (el llamado problema del archivador) era (y hasta cierto punto sigue siendo) un problema en la medicina, como señala @Artem Kaznatcheev en el comentario y resultó, como él agrega, en el registro de ensayos antes de la publicación. Sus fuentes pueden diferir, pero un artículo que lo describe es, por ejemplo, Krakovsky (2004) .

En términos más generales, consulte Stanley (2005) o Stanley (2008) para obtener más información sobre el sesgo de publicación y el metanálisis.

A veces, algunos fracasos dan lugar a nuevas teorías. Por ejemplo, existen teoremas de imposibilidad en el diseño de mecanismos (Arrow o Gibbard-Satterthwaite) que establecen las limitaciones de los mecanismos implementables.

En ese sentido, las fallas por sí solas pueden no ser útiles en una publicación. La gente está interesada en saber por qué fallaron las cosas o, más bien, qué categoría de experimentos/teorías fallarían. Pero avanzar en esta dirección a menudo está plagado de riesgos: es más fácil plantear un problema y resolverlo que derivar condiciones sobre cuándo el problema no se puede resolver. El primero es interesante para una clase de audiencia más amplia que el segundo.

Entonces, el resultado final: intente formalizar o teorizar sus fallas y vea si se avecina un resultado; de lo contrario, siga adelante para tratar de resolver un problema más digno.

Creo que esto se debe al tiempo que lleva. Personalmente, no podría molestarme en pasar 2 días escribiendo y formateando un documento para datos negativos. Tiene que ser realmente simple de hacer y necesito obtener algo de crédito por ello, o necesito que me encarguen hacerlo.

Existe un requisito cada vez mayor por parte de los financiadores y los mandatos que obligan a los investigadores a poner a disposición todos los resultados de sus investigaciones son solo cuestión de tiempo. Mientras tanto, las altmetrics pueden actuar como zanahorias para alentar a los investigadores a compartir sus datos, incluso las cosas negativas.

Si ha leído mucha literatura y luego se dio cuenta de que está en un callejón sin salida, al menos puede publicar una reseña sobre todos los métodos y técnicas que ha aprendido.

Existe el Diario de Preguntas sin resolver JunQ . Recopilan investigaciones de resultados 'nulos' y problemas abiertos.

¿Por qué los investigadores no publican experimentos fallidos?
RespuestasAquíPolítica de privacidad1y, 0v