¿Cómo hace un estudiante de doctorado para hacer un metaanálisis de una pregunta de investigación?

Simplemente pensé que pondría esta pregunta aquí porque actualmente estoy trabajando en un metaanálisis de una pregunta de investigación particular en mi campo (HCI/ciencias de la información). Además, esta pregunta es nueva y no ha sido respondida con mucho detalle hasta ahora.

He hecho la mayoría de las formas habituales descritas en otros recursos de la siguiente manera:

  1. He hecho una revisión exhaustiva de la literatura relevante relacionada con esta pregunta de investigación en particular. Esta es un área nueva y el número de artículos directamente relevantes es ~<50. También he compilado una bibliografía exhaustiva de los artículos indirectamente relevantes en esta área. Ese número es ~<150.

  2. De este conjunto de literatura directamente relevante , he identificado 23 estudios empíricos cuantitativos, 14 estudios empíricos cualitativos y el resto son piezas teóricas/piezas de posición/documentos marco.

El desafío al que me enfrento actualmente es cómo metaanalizar los datos. En HCI, no es común distribuir libremente conjuntos de datos empíricos (aunque los signos de cambio son inminentes en la atmósfera :)) y he enviado correos electrónicos educados a los investigadores relevantes preguntando si podría tener alguna forma de acceso a estos conjuntos de datos. La tasa de respuesta es ~ 50% hasta ahora en responder a mi correo electrónico, pero solo alrededor de ~ 5% quiere compartir activamente sus conjuntos de datos.

Por lo tanto, la única otra opción (que puedo ver en este momento) es compilar, resumir y dar sentido a los datos y resultados ya informados en los documentos cualitativos y cuantitativos.

Me preguntaba si alguno de ustedes académicos/investigadores experimentados ( y también no tan experimentados :)) tenía alguna idea sobre cómo hacer un metanálisis de abajo hacia arriba.

Los principales recursos en línea que he estado usando hasta ahora para abordar este problema se dan

Tenga en cuenta que no espero ninguna respuesta detallada paso a paso de " alimentación con cuchara ". Indicarme algunos recursos útiles está bien. Además, se agradecerán mucho las anécdotas personales o experiencias valiosas.

Gracias por tomarse el tiempo de leer esta pregunta.

Para el metanálisis, normalmente no necesita el conjunto de datos original, solo estadísticas resumidas relacionadas con el estudio y la intervención (que, con suerte, están disponibles en las publicaciones). También es posible que desee agregar la Colaboración Cochrane a su lista de sitios web.
¡Gracias! El sitio web de la Colaboración Cochrane es realmente genial y parece muy útil. Sin embargo, parece específico de las ciencias biológicas o la medicina, pero estoy seguro de que muchos de los conceptos principales se trasladan a HCI.
También tenga en cuenta que Cross Validated siempre puede ayudar con cualquier pregunta sobre estadísticas.
@ThomasH gracias por el consejo! Visito allí de vez en cuando también.
El Handbook of Research Synthesis es muy útil en estos detalles.
@Thomas gracias por el enlace. ¡Lo pedí en la biblioteca!

Respuestas (4)

Buena suerte para ti. Estoy tratando de hacer algo similar y descubrí que pocos artículos de HCI publican suficientes estadísticas resumidas para realizar un metanálisis adecuado. De hecho, muchas veces, sus estadísticas parecen bastante descuidadas.

He diseñado mi análisis de forma similar a dos artículos de revisión que encontré. Uno también del área de HCI (Dehn & Van Mulken, 2000) y otro de un poco más de campo (Jones & Gosling, 2005).

Ninguno de los dos es un verdadero metanálisis, pero se acercan a lo formal que creo que es razonable cuando un metanálisis real simplemente no es una opción.

Agregué los documentos a mi lista de lectura actual y voté su respuesta por uno. si no consigo más en un plazo razonable, aceptaré el tuyo.
aceptado y también te otorgó una recompensa.
¿Las estadísticas descuidadas no son casi la regla en informática? Las medidas de rendimiento a menudo ni siquiera informan sobre las desviaciones estándar.
@Blaisorblade Lamentablemente, sí, pero HCI abarca más de un campo. En la mayoría de las conferencias a las que asisto, la división entre informáticos y sociólogos/psicólogos es casi 50/50. Estos últimos deberían saber mucho mejor y los primeros deberían dejar de poner excusas o quitar la ciencia de su nombre (NB: yo soy el primero).
@Shion Gracias por la generosidad, me lo perdí por completo :)
@ThomasH: las cosas están tan mal que tenemos documentos que llaman a la acción: consulte dl.acm.org/citation.cfm?id=1297033 o dl.acm.org/citation.cfm?id=2442781 (aunque este último tiene un enfoque diferente). Y la gente se está arreglando lentamente, finalmente (al menos en las evaluaciones reproducibles). ¿Tal vez la gente como usted debería hacer lo mismo en su comunidad? Aunque hacerlo es, por supuesto, mucho más difícil que escribir comentarios :-)
@Blaisorblade También hay algunos documentos en la comunidad de HCI específicamente, pero es un problema múltiple. En su mayor parte, ni los autores, ni los revisores ni los editores tienen la formación estadística necesaria para distinguir las buenas de las malas prácticas estadísticas. Entonces, nadie a lo largo de la cadena de publicación impide que se publiquen los artículos, por lo que la práctica continúa. Las reseñas son una forma de llamar la atención sobre el problema, así que planeo tener una sección para "dar a conocer" las estadísticas de otras personas.

Una forma de abordar esto, independientemente del campo, es crear un marco para ubicar la investigación existente. Tal vez tenga dos dimensiones, color (rojo, verde, amarillo) y olor (dulce, ácido), y revise toda la literatura anterior. y colóquelo en los 'cubos' de su marco.

Lo que esto realmente está haciendo, y por qué quiere esto en su disertación, es configurar su contribución. Al clasificar toda la investigación previa, habrá identificado (¡con suerte!) un vacío que su trabajo va a llenar. Así que... ¡elige tus cubos con cuidado!

ps, me doy cuenta de que esta no es una respuesta estadística, pero espero que sea útil, o tal vez arroje algo de luz que lo ayude a ver un camino útil a seguir.

Realmente secundo el uso del sitio web de la Colaboración Cochrane para el metanálisis y la revisión sistemática.

Otro buen recurso es la lista de verificación PRISMA , que a menudo se usa para revistas y revisores en los campos de la salud al evaluar artículos. PRISMA también tiene buenas pautas sobre cómo formatear/presentar sus artículos incluidos y crear un diagrama de flujo de su proceso de revisión (nuevamente, a menudo requerido en revistas relacionadas con la salud). ¡Buena suerte!

+1; Vine aquí para mencionar PRISMA, que desglosa todo el proceso en pasos muy claros y directos y es un estándar de oro para revisiones sistemáticas y metanálisis. Sin embargo, parece que el OP está buscando específicamente consejos sobre qué hacer en un campo donde a los investigadores no les gusta compartir datos; es posible que desee agregar algo que aborde eso específicamente.

Una nota, además de las muy útiles que ya ha recibido. Si bien se ha embarcado en un "metaanálisis", que a menudo tiene el objetivo muy específico de producir una sola (o pequeña cantidad) de estimaciones resumidas para un campo completo, no debería verse obligado a escribir "solo" una revisión sistemática como un fracaso.

En cambio, "la literatura en este campo es incapaz de resumirse estadísticamente en su estado actual" debe verse como un hallazgo en sí mismo.

¿Cómo hace un estudiante de doctorado para hacer un metaanálisis de una pregunta de investigación?
RespuestasAquíPolítica de privacidad1y, 0v