Metanálisis reproducible en psicología.

Soy un gran defensor del análisis de datos reproducibles . En particular, me gusta cuando los investigadores comparten documentos en formatos como Sweave y knitr que entretejen resultados estadísticos (p. ej., texto, tablas y gráficos) en un informe estadístico.

Previamente pedí ejemplos de investigaciones reproducibles de cualquier tipo en Stats.SE y artículos de apoyo en psicología . Sin embargo, en la actualidad estoy particularmente interesado en ejemplos completos de metanálisis reproducibles.

Los metanálisis implican una serie de pasos. Las estadísticas resumidas y la información del estudio se extrae de los estudios fuente. Se aplican varias transformaciones y pasos a los datos (p. ej., correcciones por confiabilidad, conversión de una estadística a otra, etc.). Se prueban varios modelos; se elaboran tablas y gráficos. Algunas revistas exigen que los investigadores suministren tablas de los datos utilizados (p. ej., referencias utilizadas, estadísticas resumidas). Sin embargo, puedo ver el metanálisis como un área que podría beneficiarse de un enfoque reproducible más integral: (1) permitiría una mayor inspección de los métodos específicos utilizados; (2) los investigadores podrían construir más fácilmente sobre los análisis utilizados.

Por lo tanto, mis preguntas:

  • ¿Existen ejemplos completos de metanálisis reproducibles preferiblemente en psicología o una disciplina relacionada?
  • ¿Hay alguna defensa publicada para el metanálisis reproducible?

Respuestas (2)

Empecé a ver un poco de discusión sobre el metanálisis reproducible.

Tim Churches parece tener un repositorio de github con algunos ejemplos de metanálisis en R .

Ver en particular el ejemplo de salud pública:

En referencia a su primera pregunta, no hay muchos estándares publicados, sugiero algunas pautas estándar en mi sitio , pero eso es solo eso, sugerencias. Es posible que desee consultar la Colaboración Cochrane , aunque han producido un conjunto de estándares para su uso en metanálisis relacionados con la atención médica.

También puede consultar un estudio inicial de Shadish et al (1997) como ejemplo:

Shadish, William, R., Matt, George, E., Navarro, Ana, M., Single, Gregory, Crits-Christoph, Paul, Hazelrigg, Anthony, J., Lyons, Larry C., et al., (1997 ). Evidencia de que la terapia funciona en condiciones clínicamente representativas. Revista de Consultoría y Psicología Clínica, 65, 355-65.

Gracias. Su respuesta habla del método real de hacer un metanálisis, en lugar de compartir datos subyacentes o secuencias de comandos que realizan varios pasos (por ejemplo, transformaciones de tamaños de efectos originales; combinación de tamaños de efectos dentro de estudios, fórmulas de corrección, etc.) . ¿Alguna idea sobre el aspecto de la reproducibilidad?
Dado el mismo conjunto de datos y utilizando las mismas rutinas de conversión, etc., debería obtener los mismos resultados. Un problema potencial es la confiabilidad del calificador: la variación debido a que quienes califican los estudios tienen interpretaciones ligeramente diferentes de los factores del estudio. Siempre debe informar la confiabilidad entre evaluadores. Alternativamente, cuando se descubre una discrepancia, el líder del proyecto debe revisar las discrepancias con ambos evaluadores y resolverlas caso por caso, y anotarlo en el informe del estudio.
En cuanto a compartir los datos del estudio, eso es un hecho. Hay una serie de sitios en la web que puede usar, como mi Github favorito personal. También debe publicar como apéndices la lista de estudios que utilizaron el metanálisis y el cuestionario de calificación de su estudio. En cuanto a las transformaciones, son bastante estándar. Cualquier buen libro de texto de estadísticas te los mostrará. Para la aplicación web que escribí, los javaScripts de conversión están disponibles gratuitamente.
Estos guiones se basan en las fórmulas que se encuentran en los siguientes Abramowitz, M. y Stegun, I. (1964). Manual de funciones matemáticas con fórmulas, gráficos y tablas matemáticas. Washington, DC: Imprenta del Gobierno de los Estados Unidos. Cohen, J. (1988). El análisis del poder estadístico para las ciencias de la conducta. (2ª edición). Hillsdale, Nueva Jersey: Lawrence Erlbaum Associates. Hunter, J. y Schmidt, F. (2015). Métodos de metanálisis: corrección de errores y sesgos en los resultados de la investigación. 3fd Ed. Beverly Hills CA: Sabio.
La Colaboración Cochrane también detalla sus métodos y procedimientos y nuevamente sus métodos de conversión y acumulación están disponibles públicamente. Aquí hay un par de otros enlaces a algunos de mis trabajos, primero un documento basado en la web que explica la metodología y las técnicas de conversión utilizadas, lyonsmorris.com/MetaA/index.htm y la aplicación basada en el documento. lyonsmorris.com/ma1/index.cfm y el javascript utilizado para hacer las conversiones de las estadísticas del estudio a una métrica común lyonsmorris.com/ma1/js/ESConversions.js hth larry
Metanálisis reproducible en psicología.
RespuestasAquíPolítica de privacidad1y, 0v