¿Los estudios incluidos en la mayoría de los metanálisis se basan en una gama limitada de participantes?

Esta pregunta se cita principalmente de A New Psychology of Women (2017) de Lips, página 63:

Finalmente, y quizás lo más importante, los estudios incluidos en la mayoría de los metanálisis se basan en una gama limitada de participantes (por lo general, jóvenes estudiantes norteamericanos) y no reflejan las poblaciones en general, aunque esta limitación tiende a quedar oscurecida por la combinación de muchos estudios en un solo análisis (Halpern, 1995).

Quiero decir, este reclamo tiene más de 20 años. ¿Es verdad hoy? ¿Hay algún estudio que examine la demografía de los metaestudios en general o algo relacionado? Si es cierto, ¿es este el caso para la mayoría de las investigaciones en psicología, las diferencias entre hombres y mujeres o todos los estudios en las ciencias sociales?

Gran parte (¿la mayoría?) de la investigación en psicología es realizada por profesores de psicología (probablemente en América del Norte o Europa, donde hay más fondos disponibles), quienes naturalmente reclutan a estudiantes de psicología como sujetos (para crédito adicional, o incluso obligatorio en algunos casos). Esta práctica está respaldada por muchos años de evidencia de que los estudiantes son representativos de la población general, además de ser convenientes para reclutar. Con respecto a las diferencias de género específicamente, consulte, por ejemplo: cogsci.stackexchange.com/questions/8583/…

Respuestas (2)

El metanálisis es una herramienta que se aplica en una amplia gama de disciplinas, especialmente aquellas que involucran sujetos humanos. En general, los metanálisis tienen como objetivo muestrear todos los estudios relevantes que se han realizado.

En algunos campos, la norma es utilizar estudiantes de pregrado (especialmente estudiantes de psicología). Muchos programas de psicología tienen un grupo de participación en la investigación; así que para muchas investigaciones básicas de laboratorio (p. ej., psicología cognitiva, psicología social), esto representa una muestra conveniente. Tenga en cuenta, por supuesto, que otras disciplinas utilizarán otras muestras. Los investigadores de psicología organizacional a menudo usan muestras de empleados de organizaciones. Los psicólogos del desarrollo estudian a los niños. Los investigadores de ciencias sociales a menudo se basan en encuestas de panel a gran escala.

Más recientemente, las muestras en línea se están volviendo particularmente populares. Esto incluye muestras de conveniencia en línea, así como muestras pagas. En particular, Mechanical Turk es particularmente popular en los Estados Unidos, pero existen otras plataformas como Prolific.

En general, las elecciones que hacen los investigadores sobre la muestra están impulsadas por muchos factores:

  • conveniencia/recursos
  • expectativas de disciplina
  • intereses en la generalización (algunos investigadores están interesados ​​principalmente en generalizar a su propia cultura)
  • de dónde provienen tradicionalmente los investigadores (p. ej., la mayoría de los investigadores en psicología provienen de los EE. UU., seguidos del Reino Unido/Europa/Australasia)
  • relevancia de la muestra para la pregunta de investigación (p. ej., a veces una muestra de conveniencia está bien; otras veces realmente necesita una muestra representativa); en ciencia básica, a menudo está bien, pero si está realizando una investigación organizacional o clínica, generalmente querrá una organización relevante o una muestra clínica.

En resumen, este fenómeno va a variar mucho entre las preguntas de investigación. Y en algunos casos probablemente no importe mucho; en otros casos lo hará.

En términos más generales, a menudo existe un equilibrio entre conveniencia y rigor. Por ejemplo, a la mayoría de los investigadores que miden el desempeño laboral les encantaría tener una medida objetiva rigurosa del desempeño objetivo, pero es mucho más fácil obtener un autoinforme. Por lo tanto, a menudo encontrará que los metanálisis resumirán los estudios que han optado por un punto en la compensación de conveniencia/rigor.

Los metaanalistas pueden realizar y realizan análisis moderadores si creen que un factor en particular podría ser relevante para el hallazgo del metaanálisis (p. ej., si la muestra son estudiantes universitarios o no).