¿Se puede no reproducir hasta el 70% de los estudios científicos?

Leí y escuché mucho sobre la Iniciativa de Reproducibilidad recientemente, afirmando que los datos de muchos estudios científicos no se pueden/no se/no se pueden reproducir .

“En el último año, los problemas para reproducir la investigación académica han llamado mucho la atención del público, particularmente en el contexto de traducir la investigación en avances médicos. Estudios recientes indican que hasta el 70 % de la investigación de los laboratorios académicos no se puede reproducir, lo que representa una enorme pérdida de dinero y esfuerzo ”, dijo la Dra. Elizabeth Iorns, cofundadora y directora ejecutiva de Science Exchange. “En mi experiencia como investigador, descubrí que el problema radica principalmente en la falta de incentivos y oportunidades para la validación: la Iniciativa de Reproducibilidad aborda directamente estas piezas faltantes”.

Desafortunadamente, no pude encontrar esos estudios (¿¡dónde se reprodujeron!?) Que prueben esta afirmación. Quiero saber donde se realizaron estos estudios, medicina, biologia, psicologia, pero no encontre nada. También soy un poco escéptico de que la ciencia esté en tan mal estado, considerando que los estudios a menudo se usan / son obligatorios aquí en skeptics.se para obtener buenas respuestas y obtener licencias para productos farmacéuticos. 70% me parece demasiado alto.

Realmente no encuentro esto tan impactante, nadie paga dinero para que la gente vaya a averiguar cosas que ya se saben. No hay fama en ser el verificador de hechos, nadie recibe un Premio Nobel por "la mejor recreación de una investigación previa".
Ryathal, si bien simpatizo con su punto de vista, no es completamente cierto. Cuando los italianos afirmaron que los neutrinos viajaban más rápido que la luz, se realizaron una serie de experimentos para reproducir los resultados. Vea aquí los detalles: news.sciencemag.org/scienceinsider/2012/02/…
Normalmente se convierte en el verificador de hechos si tiene afirmaciones sólidas de que los resultados de un estudio dado son erróneos o incompletos. No es de extrañar que todos intentaran reproducir el experimento de los italianos, ya que se cree que velocidades más rápidas que la luz son imposibles (pruebas posteriores revelaron que tampoco hay diferencias significativas entre la velocidad de la luz y la de los neutrinos). Algunos descubrimientos son tan potencialmente innovadores que se verificarán de inmediato. Otros, no tan extravagantes, pueden ser esperados por los científicos y, a menudo, se tomarán al pie de la letra.
@thisfeller Los muchachos de OPERA nunca creyeron ese número y redactaron el documento con mucho cuidado (vale la pena leerlo para ver exactamente cuál es el reclamo). Habían estado sentados en él mientras trataban de resolverlo, pero se filtró y luego tuvieron que decir algo. En cualquier caso, en la física de partículas tendemos a reproducir los resultados de la máquina de la generación n como parte de la puesta en marcha de la generación n+1, por lo que existe una gran expectativa de que su trabajo se ponga a prueba. Por otro lado, también tenemos algunos resultados anómalos en nuestra historia.
Hacemos investigación de iones pesados, Nivel 2 para lo último del LHC.
Hay una pregunta relacionada, skeptics.stackexchange.com/questions/1973/… , y las respuestas aquí tienen una gran influencia en las respuestas a la otra pregunta.
@Dungarth Interesante historia en este contexto: en.wikipedia.org/wiki/Sch%C3%B6n_scandal salon.com/2002/09/16/physics
El título de esta pregunta es engañoso/espeluznante. Es especulativo basar la afirmación de que hasta el 70 % de todos los estudios científicos no serían reproducibles en la afirmación de que el 70 % de los estudios médicos eran irreproducibles.
Algunas de las referencias a continuación y más se enumeran en Wikipedia . Ver en particular Por qué la mayoría de los hallazgos de investigación publicados son falsos
"Hasta" es una redacción de comadreja. Dicen que entre el 0 % y el 70 % de los resultados no se pueden reproducir. Eso es trivialmente cierto, y absolutamente sin sentido. Si está buscando el número real, haga esa pregunta.
Un estudio científico encontró que los resultados de alrededor del 70% de todos los estudios científicos no se podían reproducir. Estudios posteriores no pudieron reproducir este porcentaje.
¿La "falta de incentivos u oportunidades" como razón no significaría que el 70% NO LO ES, en lugar de "no puede"?

Respuestas (3)

ALS Therapy Development Institute volvió a probar más de 70 medicamentos de 221 estudios independientes:

  • 0 reproducido (1)
  • Minociclina: eficaz en cuatro estudios separados de ratones con ELA empeoró los síntomas en un ensayo clínico de más de 400 pacientes (2)

El Instituto Nacional de Trastornos Neurológicos y Accidentes Cerebrovasculares (NINDS) llevó a cabo una réplica patrocinada de 12 estudios sobre lesiones de la médula espinal:

  • 2/12 reproducido con éxito (3)

Bayer realizó estudios internos de validación de objetivos

  • 14/67 reproducido (4)

Amgen intentó reproducir 53 publicaciones de oncología "históricas":

  • 6/53 reproducido (5)

Referencias

  1. Scott et al. Esclerótica lateral amiotrófica. 9, 4-15 (2008).
  2. Gordon et al. Lancet Neurol. 6, 1045–1053 (2007).
  3. Estuardo et al. Neurología Experimental 233, 597–605 (2012).
  4. Prinz et al. Nat Rev Descubrimiento de drogas. 10, 712 (2011).
  5. Begley y Ellis. Naturaleza. 483, 531-3 (2012).
Gracias Dr. Iorns por la respuesta rápida y detallada, esas son las referencias que me faltaban en muchos blogs y sitios de noticias que explican su iniciativa recientemente. Pondría esas referencias en su sitio web, para que quede claro que es especialmente. un problema importante en las ciencias médicas.
Esto también sería una buena respuesta a skeptics.stackexchange.com/questions/1973/…
También plantea preguntas sobre la medicina basada en la evidencia, si la evidencia ha sido manipulada: skeptics.stackexchange.com/questions/3111/…
@mmr: No creo que nadie esté alegando una falsificación generalizada o una distorsión deliberada de la evidencia (que parece implicar el término "cocinar"). Más bien, el problema es una combinación de sesgos sistémicos en la ciencia en su conjunto; la presión para producir resultados positivos, el análisis post-hoc y la mala comprensión de las estadísticas a menudo parecen combinarse para producir resultados "estadísticamente significativos" fuera del ruido, mientras que, al mismo tiempo, los resultados negativos tienden a permanecer inéditos.

Existen varios estudios que documentan los problemas de reproducibilidad, y revisan a fondo el tema en indicaciones de medicina, oncología y neurociencia.

Las dos publicaciones separadas a continuación detallan cómo se descubrió que más de 2/3 de los estudios oncológicos de referencia no eran reproducibles.

Asadullah: http://www.nature.com/nrd/journal/v10/n9/full/nrd3439-c1.html

Glenn Begley/Lee Ellis: http://www.nature.com/nature/journal/v483/n7391/full/483531a.html

Gracias a ti también, alguien les informó a ambos muy rápido;)
Para que esta sea una mejor respuesta, ¿podría resumir el contenido de los documentos vinculados?

Sí, y el problema existe en muchas áreas de la ciencia.

El problema de la reproducibilidad está atrayendo mucha más atención. Una característica reciente de Nature News analiza las posibles causas de los malos resultados en la literatura y muchos ejemplos en los que se han expuesto. Su titular resume el problema:

Los humanos son notablemente buenos para el autoengaño. Pero la creciente preocupación por la reproducibilidad está impulsando a muchos investigadores a buscar formas de combatir sus peores instintos.

Un gran problema es que los resultados que suenan plausibles reciben mucho menos escrutinio que los resultados inusuales, por lo que los resultados erróneos pero plausibles obtienen un pase gratuito en la verificación de errores con demasiada frecuencia.

El artículo resume una variedad de diferentes experimentos de reproducibilidad y los resultados sugieren que la mayoría de los resultados en muchos campos no son reproducibles (vale la pena leer el artículo para conocer todos los enlaces a estos estudios).

La falta de comprensión de nuestros propios sesgos ha ayudado a crear una crisis de confianza sobre la reproducibilidad de los resultados publicados, dice el estadístico John Ioannidis, codirector del Meta-Research Innovation Center de la Universidad de Stanford en Palo Alto, California. El tema va mucho más allá de los casos de fraude. A principios de este año, un gran proyecto que intentó replicar 100 estudios de psicología logró reproducir solo un poco más de un tercio. En 2012, los investigadores de la firma de biotecnología Amgen en Thousand Oaks, California, informaron que podían replicar solo 6 de los 53 estudios destacados en oncología y hematología. Y en 2009, Ioannidis y sus colegas describieron cómo habían podido reproducir completamente solo 2 de 18 estudios de expresión génica basados ​​en micromatrices.

En una nota más positiva, el artículo recomienda varias formas de eliminar el sesgo de las respuestas científicas. Algunas de ellas se resumen en la siguiente imagen:

Imagen (c) Naturaleza

Así que hay muchas razones conocidas por las que se publican malos resultados y hay muchas de ellas. Pero es algo que los buenos científicos pueden combatir.

Esto en realidad no responde la pregunta. El verdadero problema por el que se publican malos resultados es que hay demasiadas revistas para el grupo disponible de revisores competentes y demasiada presión de "publicar o perecer" sobre los investigadores. El sesgo cognitivo no es un problema tan grande como se presenta y está distrayendo la atención de donde radica realmente el problema. Los científicos ya están capacitados para lidiar con estos sesgos, los científicos más exitosos son generalmente aquellos que son buenos para hacerlo.
@DikranMarsupial Tiene razón en que la proliferación de revistas es parte del problema, pero está equivocado en que los científicos son buenos para evitar estos sesgos. Incluso los buenos científicos se equivocan por culpa de ellos (ver la historia de Andrew Gelman en el artículo de Nature). Y la evidencia dice que se publica mucha basura. Además, los científicos tienen incentivos para avanzar en sus carreras mediante la publicación y esto es sinérgico con la revisión por pares de baja calidad para generar malos resultados publicados.
"Incluso los buenos científicos se equivocan por culpa de ellos" te estás perdiendo el punto, sí, todos tenemos estos sesgos y ninguno de nosotros es perfecto. Sin embargo , los científicos ya están capacitados para evitarlos y son mucho mejores para evitarlos que el público en general (por ejemplo, compare las reacciones públicas y científicas con los argumentos del ciclo del carbono del Prof. Salby). Seguro que los mejores científicos todavía cometen errores, pero parte de la razón por la que son los mejores científicos es que son mejores para lidiar con sus sesgos que el resto.
@DikranMarsupial Sobre ese mismo tema, una defensa del estudio original y algunas críticas más generales del estado de la evidencia científica en psicología.
Gelman siempre es un escritor interesante, y aquí destaca por qué los valores p no son necesariamente informativos. Irónicamente, la forma de evitar que esto permita que las malas ideas entren en las revistas es considerar la plausibilidad a priori de la hipótesis, que es esencialmente el tipo de sesgo cognitivo que criticas en tu respuesta. En otras palabras, los revisores deben aplicar una atención asimétrica para eliminar las afirmaciones falsas y extravagantes. Por supuesto, los científicos generalmente saben cómo equilibrar estas cosas, aunque es un problema menor en algunas ciencias que en la psicología.
"1. Muchas cosas malas se publican en las principales revistas y se promocionan en los medios". es una parte importante de ella. La publicación es solo el primer paso en la aceptación de una idea, pero esa suele ser la única vez que los medios están interesados, lo que explica por qué hay muchas historias sobre este tipo de cosas en los medios. Gran parte del problema es causado por el interés de los medios que no investigan el nivel de apoyo de la comunidad científica, por ejemplo, el Ártico libre de hielo para 201X, etc., que aparece en los medios, pero los climatólogos lo rechazan casi uniformemente.
¿Se puede no reproducir hasta el 70% de los estudios científicos?
RespuestasAquíPolítica de privacidad1y, 0v