¿La mayoría de los estudios médicos están demasiado mal diseñados para mejorar la atención al paciente?

En los últimos años ha habido un número cada vez mayor de quejas de que muchas publicaciones científicas revisadas por pares son de mala calidad (por ejemplo, consulte estas preguntas: ¿Pueden no reproducirse hasta el 70 % de los estudios científicos? , ¿La mayoría de los resultados publicados se basan en medidas de la significación estadística probablemente sea falsa? ).

Un artículo reciente en Vox Es por eso que no debe creer que un nuevo y emocionante estudio médico hace varias afirmaciones más específicas sobre artículos relevantes para la medicina.

Por ejemplo:

La mayoría de los estudios médicos están equivocados.

...solo 3000 de los 50 000 nuevos artículos de revistas que se publican cada año están bien diseñados y son lo suficientemente relevantes como para informar la atención al paciente. Eso es 6 por ciento.

Eso parece una afirmación muy específica y alarmante. Tenga en cuenta que la afirmación no es que los resultados sean incorrectos. La afirmación es que incluso sin mirar los resultados, el diseño mismo del estudio es demasiado defectuoso para que cualquier resultado sea útil para la atención del paciente.

¿Qué tan bien fundada está esta afirmación?

Veritasium (canal de Youtube) tiene un excelente video sobre el proceso de revisión por pares.
La pregunta asume una relación entre publicaciones científicas revisadas por pares (texto) de baja calidad y estudios médicos demasiado mal diseñados para mejorar la atención al paciente. (título). Esa relación no es automática. Por favor, cambie uno u otro.
@JanDoggen Mi pregunta no asume ninguna relación sólida. Simplemente informo el problema de la revisión por pares de mala calidad como antecedentes. El punto de la pregunta y la afirmación específica es sobre estudios médicos mal diseñados. Se ha hecho una afirmación específica, informo el problema más general simplemente como trasfondo. Esto no debería afectar la pregunta a responder de ninguna manera.
Pura conjetura de mi parte: Los estudios médicos probablemente sean caros. Si tiene una idea que desea estudiar, tiene sentido probarla primero con una pequeña muestra. Si su prueba pequeña da un resultado positivo, puede intentar encontrar fondos para probarla con una muestra de tamaño mediano. Si esta prueba mediana da un resultado positivo, puede intentar encontrar fondos para una prueba de tamaño completo que sea lo suficientemente grande como para informar la atención del paciente. Sospecho que es bastante fácil encontrar financiación para una prueba pequeña, difícil para una prueba mediana y muy difícil para una prueba grande.
Por lo tanto, aunque no tengo evidencia o investigación para respaldar esto, encuentro que el número "3000 de 50000" es completamente plausible y no sorprendente.

Respuestas (1)

El reclamo se basa en esto: http://ebn.bmj.com/content/8/2/39.full

bmjupdates+ utiliza los mismos filtros de calidad explícitos y reproducibles que la medicina basada en la evidencia ( http://hiru.mcmaster.ca/ebmj/Ebmp_p.htm ) y la enfermería basada en la evidencia. Al aplicar estos criterios a cada artículo en más de 110 revistas clínicas de primer nivel (alrededor de 50 000 artículos por año), aproximadamente 3000 artículos (6 %) pasan el examen, es decir, tienen métodos adecuados para respaldar sus conclusiones sobre aspectos clave de la atención clínica.

Tenga en cuenta que se trata de bmjupdates promocionando su propio servicio y parte del objetivo de ese servicio es filtrar algunos de los mejores en lugar de incluir todo lo que podría ser útil. Esto es sensato y sensato ya que los médicos no pueden leer 50.000 artículos al año.

Voy a retener el juicio sobre el término "la mayoría", que significa más del 50%, pero me referiré a la cifra del 6%.

No es cierto que el 94% estén demasiado mal diseñados para mejorar la atención al paciente.

Para ser más específicos, solo 3000 pasan estos filtros, no proporcionan un desglose de por qué falló un documento en particular:

Criterios de revisión y selección para resúmenes:

General

Todos los artículos originales y de revisión en idioma inglés en un número de una revista candidata se consideran para resúmenes si se refieren a temas importantes para la práctica clínica de medicina interna, medicina general y familiar, cirugía, psiquiatría, pediatría u obstetricia y ginecología. El acceso a revistas en idiomas extranjeros se proporciona a través de las revisiones sistemáticas que resumimos, especialmente las de la Biblioteca Cochrane, que resumen artículos tomados de más de 800 revistas en varios idiomas.

Prevención o tratamiento; mejora de calidad

• Asignación aleatoria de participantes a las intervenciones

• Medidas de resultado de importancia clínica conocida o probable para ³ 80% de los participantes que ingresaron a la investigación.

Diagnóstico

• Inclusión de un espectro de participantes, algunos (pero no todos) de los cuales tienen el trastorno de trastorno de interés

• Cada participante debe recibir la nueva prueba y la prueba estándar de diagnóstico

• Ya sea un estándar de diagnóstico objetivo o un estándar de diagnóstico clínico contemporáneo con criterios demostrablemente reproducibles para cualquier componente interpretado subjetivamente

• Interpretación de la prueba sin conocimiento del resultado estándar de diagnóstico

• Interpretación del estándar de diagnóstico sin conocimiento del resultado de la prueba.

Pronóstico

• Una cohorte inicial de personas, todas inicialmente libres del resultado de interés

• Seguimiento de ³ 80% de los pacientes hasta la ocurrencia de un punto final importante del estudio o el final del estudio.

Causalidad

• Observaciones relativas a la relación entre las exposiciones y el supuesto resultado clínico

• Recopilación prospectiva de datos con grupos de comparación claramente identificados para aquellos en riesgo del resultado de interés (en orden descendente de preferencia de ensayos controlados aleatorios, ensayos controlados cuasialeatorios, ensayos controlados no aleatorios, estudios de cohortes con emparejamiento caso por caso o ajuste estadístico para crear grupos comparables, a estudios de control de casos anidados)

• Enmascaramiento de los observadores de los resultados de las exposiciones (se supone que se cumple este criterio si el resultado es objetivo).

Economía de los programas o intervenciones de atención de la salud

• La cuestión económica debe comparar cursos de acción alternativos en pacientes reales o hipotéticos

• Los servicios diagnósticos o terapéuticos alternativos o las estrategias de mejora de la calidad deben compararse sobre la base tanto de los resultados que producen (efectividad) como de los recursos que consumen (costos).

• La evidencia de efectividad debe provenir de un estudio (o estudios) que cumpla con los criterios de diagnóstico, tratamiento, control de calidad o artículos de revisión.

• Los resultados deben presentarse en términos de los costos incrementales o adicionales y los resultados incurridos y debe realizarse un análisis de sensibilidad.

Guías de predicción clínica

• La guía debe generarse en 1 conjunto de pacientes (conjunto de entrenamiento) y validarse en un conjunto independiente de pacientes reales no hipotéticos (conjunto de prueba), y debe pertenecer al tratamiento, diagnóstico, pronóstico o causalidad.

Diagnóstico diferencial

• Una cohorte de pacientes que presentan un problema clínico similar, inicialmente no diagnosticado pero reproduciblemente definido

• El entorno clínico se describe explícitamente

• Determinación del diagnóstico para el 80 % de los pacientes utilizando una estrategia de evaluación diagnóstica reproducible y seguimiento hasta que los pacientes sean diagnosticados o seguimiento de 1 mes para trastornos agudos o

• ³1 año para trastornos crónicos o recidivantes.

Revisiones sistemáticas

• El tema clínico que se está revisando debe estar claramente establecido; debe haber una descripción de cómo se rastreó la evidencia sobre este tema, de qué fuentes y con qué criterios de inclusión y exclusión

• ³1 artículo incluido en la revisión debe cumplir con los criterios mencionados anteriormente para el tratamiento, diagnóstico, pronóstico, causalidad, mejora de la calidad o la economía de los programas de atención médica.

Fuente: Objeto y procedimiento

Eso no quiere decir que todo papel que no pase estos filtros sea pésimo o inútil.

Un documento puede seguir siendo informativo o útil, pero puede ser más difícil de analizar, más difícil de comparar entre sí o el tema que se está estudiando puede hacer que sea imposible cumplir con los criterios anteriores.

Por ejemplo, un documento que es simplemente un estudio de caso de un paciente individual con una forma rara de daño cerebral puede ser bastante informativo para los neurólogos, pero no hay forma de que éticamente se pueda dañar el cerebro aleatoriamente a una cohorte de personas.

Estos filtros simplemente nos permiten encontrar los que son más informativos y más fáciles de usar en combinación con otros datos. Podrían describirse como los más sistemáticamente útiles, pero no son los únicos útiles.

No ha proporcionado un enlace que demuestre que 3000 o más pasan los criterios establecidos. Esto solo proporciona estándares que un grupo dice usar, no cuántos pasan este criterio o, más bien, debemos considerar que el grupo los clasifica como confiables. Además, al mencionar otros tipos de artículos que podrían ser útiles sin pasar los criterios, es útil sin indicar cuántos, o si, este tipo de artículos se publican, no sabemos los tipos de artículos que menciona son no despreciables. número de artículos totales publicados.