Extraoficialmente, los investigadores de biología siempre se quejan de la frecuencia con la que no logran replicar los resultados que otros han logrado. Pero, por supuesto, tales experimentos fallidos no se denuncian.
¿Hay datos, o al menos conjeturas bien razonadas, sobre cuál es la tasa de éxito de la replicación de experimentos en modelos preclínicos? No me refiero a la investigación traslacional y la imposibilidad de replicar un resultado de ratón en un ser humano. Mi pregunta es acerca de no poder reproducir los resultados dentro del mismo sistema modelo, replicado al nivel de detalle disponible en la publicación original (p. ej., la misma cepa animal, las mismas dosis de fármaco, etc.)
La Colaboración Cochrane tiene mucho de este tipo de análisis. Una de mis características favoritas de una revisión Cochrane es el uso rutinario de Funnel Plots , donde hay suficientes datos para producirlos. La interpretación sensata de los gráficos en embudo puede dar algunas pistas bastante sólidas sobre la reproducibilidad de la literatura publicada.
Los gráficos en embudo muestran puntos de datos de estudios individuales publicados que investigaron la efectividad de una técnica cuando se usa para un propósito específico. Los puntos de datos se trazan según el tamaño del efecto estimado (en el eje x) y una evaluación de la calidad del ensayo, incorporando elementos como el tamaño de la muestra y el diseño experimental (en el eje y). Se esperaría que un estudio con un tamaño de muestra pequeño y/o un diseño deficiente (bajo en el eje y) proporcione una estimación relativamente imprecisa del verdadero tamaño del efecto del método. A medida que aumentan los tamaños de muestra y mejora la metodología experimental (recorriendo el eje y), espera que los estudios se concentren en el verdadero tamaño del efecto, dando una forma de pirámide o "embudo" a la gráfica general.
La reproducibilidad de las pruebas afecta la ubicación de los puntos en la pirámide de varias maneras.
Si hubiera un montón de estudios que buscaran un efecto del método y no lo encontraran, es posible que no se publiquen porque los editores de revistas consideran aburridos los resultados nulos, el llamado "efecto del cajón de archivos". Esto aparecería en un gráfico de embudo como una pirámide que tiene un número sospechosamente bajo de puntos de datos en el lado de la pirámide que está cerca del tamaño del efecto cero. Los puntos de datos 'faltantes' son un indicador de que esta técnica probablemente no siempre reprodujo un tamaño del efecto tan fuerte como los tamaños del efecto publicados.
La otra forma en que los gráficos en embudo pueden informar sobre la reproducibilidad de los estudios publicados es simplemente observando el ancho de la base de la pirámide. Si es amplio, entonces con los métodos de diseño experimental de los estudios en la parte inferior, los resultados no son altamente reproducibles: diferentes estudios arrojan resultados muy diferentes cuando analizan la misma pregunta.
Es un gran trabajo sintetizar esto en una evaluación global de "la reproducibilidad de los ensayos preclínicos", pero si está interesado, le recomiendo que dedique un tiempo a rastrear la Biblioteca Cochrane para familiarizarse con los tipos de variación. estás tratando
Ben Sheller
Rumi P.