Me gustaría abordar cuestiones importantes que Jeromy Anglim planteó en la sección "Pensamientos personales" de su respuesta, a saber, que los parámetros de correlación (es decir, correlaciones verdaderas, de población o de muestra infinita) a menudo varían y covarían entre estudios, y esto entre -la heterogeneidad entre estudios/entre estudios implica heterogeneidad en los parámetros de los estudios para un modelo de ecuación estructural (SEM). Describiré un método que propuse para dar cuenta de esta heterogeneidad al estimar y hacer inferencias estadísticas sobre un SEM, como un modelo de regresión univariante o multivariante, un modelo factorial, un modelo de ruta o un modelo para relaciones estructurales entre variables latentes, o cantidades específicas basadas en dicho modelo (p. ej.,$R^2$, indirecto\efecto de mediación, índice de ajuste). La idea central de este enfoque es simple:

1. Utilice el metanálisis de efectos aleatorios (RE) para estimar los atributos de la distribución entre estudios de los parámetros de la matriz de correlación (p. ej., su media y matriz de covarianza).

2. Transforme esos resultados para estimar los atributos de la distribución entre estudios de los parámetros SEM.

Muchos métodos MASEM de uso común se basan en modelos de efectos fijos (FE), y aunque el metanálisis de matrices de correlación heterogéneas usando ciertos métodos FE funciona razonablemente bien en algunas situaciones, probablemente no sea recomendable para hacer inferencias incondicionales sobre un universo más grande de estudios ( Hafdahl, 2008a).

Aquí solo daré una descripción general del problema y una versión de tres pasos de mi método metaanalítico SEM (MASEM) propuesto, en realidad una colección de métodos basados ​​en diferentes opciones para tareas críticas en cada paso. Para mantener la exposición relativamente accesible, pasaré por alto varios detalles técnicos importantes. Aunque esta es un área activa de mi investigación metodológica, los métodos que esbozaré aquí se basan en gran medida en trabajos no publicados (citaré referencias). Debido a que algunos aspectos de este enfoque serían prohibitivamente difíciles de implementar para muchos investigadores aplicados, uno de los objetivos de mi trabajo en esta área es desarrollar software fácil de usar. Hasta que esté disponible, no dude en ponerse en contacto conmigo para obtener ayuda con estas técnicas; tales solicitudes pueden motivarme a dedicar más tiempo y otros recursos a este trabajo.

Descripción general del problema

En esta sección, describiré mi punto de vista sobre los problemas para los que normalmente se usa MASEM. Supongamos que tenemos de cada uno de$k$estudios independientes una muestra matriz de correlación de Pearson- r o Fisher- z entre$p$variables de interés (p. ej.,$X_1, X_2, \ldots, X_p$), y supongamos que estamos interesados ​​en un SEM particular para esas variables o una cantidad relacionada que se puede expresar como una función de la matriz de correlación (p. ej., 1 o más coeficientes de ruta [estandarizados], efecto indirecto o total, correlación múltiple al cuadrado , índice de ajuste). Es útil distinguir entre el parámetro de matriz de correlación de cada estudio y la estimación de matriz de correlación de ese estudio de una muestra particular de sujetos. Los metaanalistas suelen estar interesados ​​en utilizar las estimaciones de varios estudios para comprender sus parámetros correspondientes o sus distribuciones.

En esta descripción general, ignoraré varias complicaciones interesantes pero desconcertantes que surgen en la práctica. Por ejemplo, los estudios pueden usar diferentes versiones de una o más variables (p. ej., diferentes medidas similares a$X_1$), es posible que algunos estudios no aporten todos$d = p( p - 1) / 2$distintos elementos de matriz de correlación (p. ej., debido a variables faltantes o elementos no informados), algunas de las correlaciones de un estudio pueden basarse en diferentes subconjuntos de su muestra (p. ej., si a algunos sujetos les faltan algunas variables), un estudio puede contribuir con dos o más matrices de correlación independientes o dependientes (p. ej., de diferentes grupos o del mismo grupo en diferentes condiciones o en diferentes momentos), las correlaciones de los estudios pueden estar influenciadas por los llamados artefactos (p. ej., [no] confiabilidad, restricción de rango, dicotomización), y las covariables\moderadores a nivel de estudio podrían explicar parcialmente la heterogeneidad entre estudios.

Ahora bien, si adoptamos el punto de vista de RE de que los parámetros de la matriz de correlación varían entre los estudios, es decir, nuestros estudios son de un universo de estudios cuyos parámetros de la matriz de correlación siguen alguna distribución multivariada, entonces la mayoría de las funciones de ese parámetro de la matriz de correlación serán también varían entre los estudios . En particular, los parámetros del coeficiente de trayectoria de un SEM y otras cantidades (p. ej., efectos indirectos) tendrán una distribución en los estudios. Para ser claros, la (co)variación entre estudios de estas distribuciones no esdebido a la (co)variación del muestreo dentro del estudio causada por muestras finitas de sujetos; en cambio, puede verse como debido a las diferentes constelaciones de características de los estudios que producen diferentes valores para sus parámetros de matriz de correlación y, en consecuencia, la mayoría de las funciones de esos parámetros. (Como un ejemplo más simple, considere 1 parámetro de correlación de Pearson- r de cada uno de varios estudios: si varía entre estudios, también lo harán varias funciones del mismo: su cuadrado, coeficiente de alienación, transformada z de Fisher , tamaño del efecto del lenguaje común , etc.)

Por analogía con las tareas típicas en los metanálisis de RE convencionales, podríamos estar interesados ​​en lo siguiente para nuestro SEM: estimaciones de la media entre estudios y la varianza de cada coeficiente de ruta SEM u otra cantidad relacionada (p. ej., efecto indirecto) e inferencias sobre cada una de esas cantidades (p. ej., intervalo de confianza [CI], intervalo de predicción [PrI], prueba de hipótesis). Cuando estamos interesados ​​en dos o más cantidades del SEM, es posible que deseemos obtener generalizaciones bivariadas o multivariadas de estas estimaciones o inferencias (p. ej., confianza o conjunto de regiones de predicción); estos pueden incluir cantidades basadas en dos o más SEM distintos que nos gustaría comparar, como índices de ajuste de dos o más SEM. También podríamos estar interesados ​​en la distribución completa entre estudios de una o más cantidades SEM (es decir, no solo su media y [co] varianza [matriz]),

Los enfoques MASEM más utilizados descuidan la heterogeneidad entre estudios en los parámetros SEM, lo que parece especialmente difícil de justificar en presencia de parámetros heterogéneos de correlación (matriz). Ciertos aspectos de la (co)varianza entre estudios de los parámetros SEM pueden ser sustancialmente importantes, como si estamos interesados ​​en cuántos coeficientes de ruta particulares, efectos indirectos o totales, correlaciones múltiples al cuadrado o índices de ajuste (co)varían entre estudios. Por ejemplo, si usamos RMSEA como un índice de ajuste, podríamos desear saber cuánto varía RMSEA entre estudios, un rango plausible de valores RMSEA (por ejemplo, intervalo de predicción) o qué proporción de estudios tienen valores RMSEA dentro de algunos "aceptables". intervalo (p. ej., por debajo de 0,05).

Además, hay una razón para tratar la heterogeneidad con cautela, incluso si solo estamos interesados ​​en la media de los parámetros SEM: dado que los parámetros SEM suelen ser funciones no lineales de la matriz de correlación, no está claro qué se estima aplicando el SEM directamente a una matriz de correlación media, como en la mayoría de los enfoques MASEM; que podría estimar mal el parámetro SEM medio. Como un ejemplo más simple, suponga que para un parámetro de tamaño del efecto heterogéneo$Y$conocemos su media y varianza sobre estudios,$\mathrm{E}(Y)$y$\mathrm{Var}(Y)$, pero quiero saber la media de$Y$Cuadrado: Porque para la mayoría de las distribuciones de$Y$es un hecho que$\mathrm{E}(Y^2) = [\mathrm{E}(Y)]^2 + \mathrm{Var}(Y)$, simplemente elevando al cuadrado$\mathrm{E}(Y)$da un valor inferior al deseado$\mathrm{E}(Y^2)$, especialmente si$\mathrm{Var}(Y)$es largo. Hafdahl (2009) y Hafdahl y Williams (2009) abordaron este problema básico con la aplicación de una transformación no lineal a una media de tamaños de efectos heterogéneos para el caso de una correlación univariante, centrándose en la transformación z -to- r . Hafdahl (2008b, 2009b) abordó una situación análoga para matrices de correlación, Hafdahl (2011) para tamaños de efectos genéricos univariados y Hafdahl (2009c) para tamaños de efectos genéricos multivariados.

Descripción general del método propuesto

En el primer párrafo anterior mencioné la esencia de mi método MASEM de dos etapas propuesto. Para facilitar la explicación, es útil dividir la segunda etapa, la transformación de los resultados, en pasos separados para la estimación y la inferencia. Por ejemplo, si comenzamos con$k$estimaciones de los estudios de una matriz de correlación de Fisher- z , el primer paso podría implicar la estimación de la media y la matriz de covarianza entre los parámetros de la matriz de correlación, y el segundo y tercer paso podrían implicar la transformación de esos resultados para obtener estimaciones e inferencias sobre la media entre estudios y matriz de covarianza de los coeficientes de trayectoria del SEM. A continuación expongo un poco estos tres pasos.

Por conveniencia, usemos la siguiente notación para las matrices de correlación de Study$i, i = 1, 2, \ldots, k$:

• $\theta_i$: vector de la$d$distintos parámetros en una matriz de correlación para$p$variables, ya sea en la métrica Pearson- r o Fisher- z

• $y_i$: vector de la$d$estimaciones distintas en la matriz de correlación de la muestra (es decir,$y_i$es una estimación de$\theta_i$)

Por ejemplo, si estamos interesados ​​en la matriz de correlación para$p = 5$variables, entonces ambos$\theta_i$y$y_i$Contiene$d = 5(5 - 1) / 2 = 10$correlaciones. En el metanálisis de RE, generalmente asumimos que$y_i$tiene una distribución dentro del estudio (muestreo\condicional) cuya media es aproximadamente$\theta_i$, y eso$\theta_i$(o solo$\theta$) tiene la misma distribución entre estudios para todos los estudios, con media$\mu_\theta = \mathrm{E}(\theta)$y matriz de covarianza$\Sigma_\theta = \mathrm{Cov}(\theta)$. (Para simplificar, abusaré ligeramente de la notación para estimaciones y parámetros de correlación aleatorios, en lugar de usar$\Theta_i$y$Y_i$-- e ignoraré otras cantidades utilizadas en ciertos procedimientos metaanalíticos, como el tamaño de la muestra de cada estudio y la matriz de covarianza condicional, cuya inversa [es decir, matriz de precisión] se utiliza esencialmente como una matriz de ponderación).

En términos de notación SEM, denotemos de manera similar los parámetros SEM de interés en Estudio$i$por$\gamma_i = g(\theta_i)$, donde la función$g$transforma un parámetro de matriz de correlación en parámetros SEM. Este$g$podría ser una función bastante complicada, como para los parámetros de un SEM con respecto a un criterio de pérdida/objetivo en particular (p. ej., ML, WLS, ADF) o un índice de ajuste para ese SEM. También,$\gamma_i$puede ser solo un número (p. ej., 1 coeficiente de ruta, efecto indirecto, índice de ajuste) o un vector (p. ej., 2 o más coeficientes de ruta). En cualquier caso, nuestro objetivo MASEM podría ser estimar$\gamma$media entre estudios o (co)varianza (matriz),$\mu_\gamma = \mathrm{E}(\gamma)$y$\Sigma_\gamma = \mathrm{Cov}(\gamma)$, y hacer inferencias sobre cualquiera de los atributos de distribución; también podríamos querer estimar$\gamma$Toda la distribución.

A continuación se muestran los tres pasos de mi método propuesto; Los pasos 2 y 3 suponen que tenemos en mente un SEM específico o una cantidad relacionada que se puede expresar como$\gamma_i = g(\theta_i)$. Esto es similar a los métodos univariados de Hafdahl (2009a, 2011) y los métodos multivariados de Hafdahl (2008b, 2009b, 2009c), pero específicos de MASEM.

1. Metanálisis para$\theta$: Aplicar el metanálisis RE multivariado a$y_i$para obtener estimaciones de al menos$\mu_\theta$y$\Sigma_\theta$, que denotaré$\hat\mu_\theta$y$\hat\Sigma_\theta$, y quizá$\theta$distribución completa entre estudios; tal vez también obtenga una matriz de covarianza solo para$\hat\mu_\theta$o ambos$\hat\mu_\theta$y$\hat\Sigma_\theta$, dependiendo de cómo se maneje la inferencia en el Paso 3. Entre varios métodos propuestos para estimar$\mu_\theta$y$\Sigma_\theta$, solo unos pocos manejan matrices de correlación incompletas (casi inevitables en los conjuntos de datos MASEM) de manera basada en principios (p. ej., Hafdahl y Wu, 2011; Kalaian y Raudenbush, 1996; White, 2011). En particular, la extensión de Hafdahl y Wu del algoritmo EM de Becker y Schram (1994) permite uno o más de$y_i$faltan las correlaciones de , no requiere imputar valores para las correlaciones faltantes y produce una distribución posterior para la totalidad de cada estudio$\theta_i$(dado su posiblemente incompleto$y_i$); también arroja una estimación de$\theta$La distribución completa entre estudios como una mezcla de las distribuciones posteriores de los estudios. Dependiendo del método de estimación, una matriz de covarianza para$\hat\mu_\theta$puede obtenerse mediante mínimos cuadrados generalizados (GLS) u otros métodos (p. ej., basados ​​en la matriz hessiana para estimadores de máxima verosimilitud), algunos de los cuales también proporcionan una matriz de covarianza para$\hat\Sigma_\theta$. Hafdahl (2004) demostró diferencias sustanciales en el rendimiento entre diferentes técnicas para el metanálisis multivariado de RE aplicado a matrices de correlación.

2. Estimación para$\gamma$: Use un método de transformación apropiado -- basado en la función$g$-- para obtener estimaciones de al menos$\mu_\gamma$y$\Sigma_\gamma$, que denotaré$\hat\mu_\gamma$y$\hat\Sigma_\gamma$, y quizá$\gamma$Distribución completa entre estudios. Una estrategia es usar una aproximación de la serie de Taylor de primer o segundo orden , que esencialmente implica aproximar$\gamma = g(\theta)$por una función lineal o cuadrática más simple de$\theta$; Las estimaciones de la media y la covarianza de esta función de aproximación se pueden calcular a partir del Paso 1$\hat\mu_\theta$y$\hat\Sigma_\theta$. Otra estrategia implica la simulación : valores de muestra de$\theta$de su distribución estimada en el Paso 1, transforme estos a valores de$\gamma$y estimar$\mu_\gamma$y$\Sigma_\gamma$de esta distribución simulada; podríamos tratar$\theta$distribución de como normal multivariada, como$\theta \sim \mathcal{N}_d(\hat\mu_\theta, \hat\Sigma_\theta)$-- o permitir que tome alguna otra forma estimada a partir de los datos (p. ej., mezcla de posteriores del algoritmo EM). Cualquier estrategia también podría usarse para estimar otros atributos de$\gamma$la distribución de , como la cola o las áreas centrales (p. ej., la probabilidad de que uno o más coeficientes de trayectoria u otras cantidades estén cerca de 0, sean positivas, grandes, etc.) o$\gamma$valores que limitan las regiones de interés (p. ej., cuartiles, 95% medio). (Podríamos en principio transformar$\hat\mu_\theta$y$\hat\Sigma_\theta$a$\hat\mu_\gamma$y$\hat\Sigma_\gamma$a través de la integración, usando las definiciones de$\mu_\gamma$y$\Sigma_\gamma$, pero eso a menudo será intratable analíticamente e inviable computacionalmente).

3. Inferencia para$\gamma$: Hacer inferencias sobre$\mu_\gamma$y$\Sigma_\gamma$, como CI, PrI o pruebas de hipótesis para parámetros de valor único o sus generalizaciones multivariadas para parámetros de valor vectorial (p. ej., regiones de confianza o de predicción). Una estrategia es utilizar el método delta (multivariado) , que esencialmente implica el uso de derivadas para transformar la matriz de covarianza para$\hat\mu_\theta$solo o ambos$\hat\mu_\theta$y$\hat\Sigma_\theta$a una matriz de covarianza para$\hat\mu_\gamma$o$\hat\Sigma_\gamma$; la última matriz de covarianza se puede utilizar para construir IC o PrI o probar hipótesis. Otra estrategia, al menos para IC o regiones de confianza, es utilizar una técnica de arranque para construir esencialmente una distribución de muestreo empírico de$\hat\mu_\gamma$o$\hat\Sigma_\gamma$; Numerosas opciones de arranque están disponibles, dependiendo en gran medida de cómo se replica la muestra de arranque:$\hat\mu_\gamma$o$\hat\Sigma_\gamma$para cada remuestreo de los datos -- se construye (p. ej., paramétrico frente a no paramétrico) y cómo se utiliza para construir intervalos de confianza o regiones (p. ej., desviación estándar\error frente a percentil, corrección de sesgo o no).

Debido a que esto ya es una descripción general bastante larga, cerraré con algunos comentarios. Primero, a pesar de sus ventajas sobre algunos otros métodos MASEM, mi método propuesto también tiene inconvenientes y limitaciones; No daré más detalles aquí sobre estos pros y contras, excepto para advertir que mi método propuesto podría funcionar de manera inaceptable en ciertas circunstancias. En segundo lugar, mi método propuesto se beneficiaría de mucho más trabajo, como refinar aspectos de cada paso y estudiar su desempeño en situaciones realistas definidas por las características de los estudios MASEM (por ejemplo, número de estudios primarios, distribución de tamaños de muestra, distribución de matriz de correlación). parámetros, patrón y mecanismo de datos faltantes, elección de la función g). Hasta la fecha, ha habido poca evaluación analítica o por simulación del metanálisis multivariable de RE. ya sea para matrices de correlación (cf. Hafdahl, 2004, 2008b) u otros tamaños de efectos multivariados (cf. Riley, 2009; Riley, Abrams, Sutton, Lambert y Thompson, 2007), y los estudios Monte Carlo de Hafdahl (2009c) de meta- el análisis de funciones de tamaños de efectos multivariados no incluyó matrices de correlación. En tercer lugar, los enfoques bayesianos para el metanálisis, como el método propuesto por Prevost, Mason, Griffin, Kinmonth, Sutton y Spiegelhalter (2007) para las matrices de correlación, podrían ser especialmente adecuados para MASEM debido a su natural, aunque computacionalmente desafiante: - estrategias para construir distribuciones posteriores para funciones de los parámetros de un estudio. s (2009c) Los estudios de metanálisis de Monte Carlo para funciones de tamaños de efectos multivariados no incluyeron matrices de correlación. En tercer lugar, los enfoques bayesianos para el metanálisis, como el método propuesto por Prevost, Mason, Griffin, Kinmonth, Sutton y Spiegelhalter (2007) para las matrices de correlación, podrían ser especialmente adecuados para MASEM debido a su natural, aunque computacionalmente desafiante: - estrategias para construir distribuciones posteriores para funciones de los parámetros de un estudio. s (2009c) Los estudios de metanálisis de Monte Carlo para funciones de tamaños de efectos multivariados no incluyeron matrices de correlación. En tercer lugar, los enfoques bayesianos para el metanálisis, como el método propuesto por Prevost, Mason, Griffin, Kinmonth, Sutton y Spiegelhalter (2007) para las matrices de correlación, podrían ser especialmente adecuados para MASEM debido a su natural, aunque computacionalmente desafiante: - estrategias para construir distribuciones posteriores para funciones de los parámetros de un estudio.

Referencias

Becker, BJ y Schram, CM (1994). Examinar modelos explicativos a través de la síntesis de la investigación. En H. Cooper & LV Hedges (Eds.), El manual de síntesis de investigación (págs. 357-381). Nueva York: Fundación Russell Sage.

Hafdahl, AR (2004, junio). Refinamientos para metanálisis de efectos aleatorios de matrices de correlación. Trabajo presentado en la reunión de la Psychometric Society, Monterey, CA.

Hafdahl, AR (2008a). Combinación de matrices de correlación heterogéneas: análisis de simulación de métodos de efectos fijos. Revista de estadísticas educativas y de comportamiento, 33, 507-533. doi:10.3102/1076998607309472

Hafdahl, AR (2008b, julio). Metanálisis para funciones de matrices de correlación heterogéneas. Documento presentado en la reunión de la Psychometric Society, Durham, NH.

Hafdahl, AR (2009a). Estimadores z de Fisher mejorados para metanálisis de correlaciones de efectos aleatorios univariados. Revista británica de psicología matemática y estadística, 62, 233-261. doi:10.1348/000711008X281633

Hafdahl, AR (2009b, mayo). Metanálisis para funciones de correlaciones dependientes. En AR Hafdahl (Presidente), Avances en metanálisis para modelos lineales multivariables. Simposio invitado presentado en la reunión de la Association for Psychological Science, San Francisco, CA.

Hafdahl, AR (2009c). Metanálisis para funciones de tamaños de efectos multivariados heterogéneos. Tesis de maestría inédita, Universidad de Washington en St. Louis, St. Louis, Missouri. http://openscholarship.wustl.edu/etd/439/

Hafdahl, AR (2011). Traducción de resultados metaanalíticos: técnicas para expresar estimaciones de efectos aleatorios en otras métricas. Manuscrito en preparación, Washington University en St. Louis.

Hafdahl, AR y Williams, MA (2009). Metanálisis de correlaciones revisado: Intento de replicación y extensión de los estudios de simulación de Field (2001). Métodos Psicológicos, 14, 24-42. doi:10.1037/a0014697

Hafdahl, AR y Wu, W. (2012, febrero). Un algoritmo EM para metanálisis multivariado de efectos aleatorios con estimaciones de efectos incompletas. Manuscrito en preparación, ARCH Statistical Consulting, LLC.

Kalaian, HA y Raudenbush, SW (1996). Un modelo lineal mixto multivariado para metanálisis. Métodos Psicológicos, 1, 227-235. doi:10.1037/1082-989X.1.3.227

Prevost, AT, Mason, D., Griffin, S., Kinmonth, A.-L., Sutton, S. y Spiegelhalter, D. (2007). Permitir correlaciones entre correlaciones en metanálisis de efectos aleatorios de matrices de correlación. Métodos Psicológicos, 12, 434-450. doi:10.1037/1082-989X.12.4.434

Riley, RD (2009). Metanálisis multivariante: el efecto de ignorar la correlación dentro del estudio. Revista de la Royal Statistical Society—Serie A, 172, 789–811. doi:10.1111/j.1467-985X.2008.00593.x

Riley, RD, Abrams, KR, Sutton, AJ, Lambert, PC y Thompson, JR (2007). Metanálisis bivariado de efectos aleatorios y estimación de la correlación entre estudios. Metodología de investigación médica de BMC, 7, 3. doi:10.1186/1471-2288-7-3

Blanco, IR (2011). Metarregresión multivariada de efectos aleatorios: actualizaciones de mvmeta. Diario de Stata, 11, 255-270.

A continuación se revisan algunos de los artículos que encontré discutiendo e implementando el metanálisis SEM para examinar la mediación.

Cheung y Chan (2005)

Los autores distinguen tres enfoques de modelos metaanalíticos de ecuaciones estructurales (MASEM).

• MASEM univariado de dos etapas: incluye una colección de enfoques de dos pasos (tenga en cuenta que Cheung y Chan lo llaman simplemente univariado , pero otros autores lo describen como un enfoque de dos etapas). La etapa 1 implica primero generar una matriz de correlación agrupada y un tamaño de muestra. La etapa 2 consiste en analizar esta matriz de correlación y el tamaño de la muestra en el software SEM estándar.
• GLS (Mínimos Cuadrados Generalizados para MASEM)
• MASEM de dos etapas de Cheung y Chan: este enfoque utiliza SEM para sintetizar matrices de correlación y ajustar los modelos propuestos.

Los autores afirman que si los estudios tienen matrices de correlación heterogéneas "no se pueden agregar legítimamente" (p. 46).

Sombra (1996)

Shadish (1996) proporciona una revisión inicial de la combinación de enfoques de metanálisis y SEM. Discute algunos temas y alienta más trabajo estadístico sobre el tema. También resume cuatro estudios anteriores que habían aplicado metanálisis para dilucidar las relaciones causales.

1. Harris y Rosenthal (1985): este estudio inicial informó que utilizó un metanálisis para obtener ocho correlaciones promediadas en un conjunto de estudios. Cuatro de las correlaciones fueron entre una variable independiente y mediadores teorizados, y cuatro entre los mediadores y la variable dependiente. La presencia de correlaciones entre todas las variables se utilizó como apoyo para la mediación.
2. Premack y Hunter (1988): este estudio promedió las correlaciones de un conjunto de estudios y realizó un análisis de ruta en la matriz de correlación resultante.
3. Shadish & Sweeney (1991): Este estudio examinó las correlaciones entre estudios.
4. Becker (1992): este estudio utilizó mínimos cuadrados generalizados para modelar la variación de las correlaciones entre y dentro del estudio.

Otros estudios

Stajkovic et al (2009) informan un metanálisis SEM que parecía utilizar el enfoque univariado. Se calcularon las correlaciones agrupadas y luego se ingresaron en el software SEM para su análisis. Los autores también examinaron la invariancia de los parámetros en el modelo de mediación SEM a través de valores específicos de moderadores específicos.

Colquitt et al (2007) realizaron un meta-análisis SEM observando tres predictores y cuatro consecuencias de la confianza (es decir, el "mediador"). Los autores parecen haber utilizado el enfoque univariado. Los autores informan que examinaron si las correlaciones variaron según los moderadores:

Debido a que los dos moderadores que examinamos, el tipo de medida y el referente de confianza, no afectaron significativamente las correlaciones de confianza, usamos la correlación general.

Sin embargo, también muestran que las correlaciones varían entre los estudios, lo que sugiere que incluso si los moderadores no explican la variación en las correlaciones, la variación en las correlaciones presumiblemente existió por otras razones.

Fried et al (2008) utilizaron el enfoque univariado para examinar los efectos de mediación entre el estrés laboral, los mediadores psicológicos y el desempeño laboral. Los autores utilizaron un modelo de efectos aleatorios para calcular los coeficientes de correlación agrupados e informaron el uso de la media armónica de los tamaños de muestra de celda para el tamaño de muestra en el SEM.

Dunst y Trivette (2009) utilizaron el enfoque univariado en estudios relacionados con la atención centrada en la familia. Los autores informan de la combinación de correlaciones basadas en un promedio ponderado "que otorga más peso a los estudios con tamaños de muestra más grandes y al tener en cuenta otros artefactos estadísticos". No está claro qué tamaño de muestra se utilizó en el SEM posterior.

Abordaron el problema de la homogeneidad de las matrices de correlación escribiendo:

3.1. Homogeneidad de las Matrices de Correlación. Esta es una prueba de si se puede suponer que las matrices de correlación en los 15 estudios diferentes se derivan de la misma población. CFI fue 0,91 y RMSEA fue 0,09. Los resultados indican que las diferentes matrices de correlación fueron razonablemente similares para producir una matriz de correlación agrupada.

Sin embargo, un RMSEA de .09 en realidad suena bastante grande. He visto recomendaciones para un RMSEA de menos de 0,05 para un muy buen ajuste. No cuestiono que las matrices de correlación no fueran similares. Pero, en general, esperaríamos alguna variación real en la puntuación y, en mi opinión, tales resultados parecen consistentes con alguna variación. La falta de opciones de análisis sencillas para manejar la heterogeneidad desalienta la exploración de cómo los resultados serían diferentes si se supusiera que los datos son heterogéneos.

Bamberg y Moser (2007) utilizaron el enfoque univariante para probar un modelo de la teoría del comportamiento planificado aplicado al comportamiento ambiental. Debido a que las correlaciones variaron significativamente entre los estudios según la prueba Q, los autores utilizaron la estimación de efectos aleatorios de la correlación verdadera agrupada (pero también informan estimaciones agrupadas basadas en el modelo de efectos fijos) e informan la media y los intervalos de confianza del 95 %. para las verdaderas correlaciones. La media armónica de los tamaños de las muestras de células supuestamente se usó para calcular los tamaños de las muestras de células.

Bauer et al (2007) utilizaron el enfoque univariado para probar un modelo de ajuste de recién llegados. No me quedó claro si las correlaciones agrupadas se basaron en supuestos de efectos fijos o aleatorios. La justificación para el tamaño de la muestra no se establece explícitamente, pero parece consistente en términos generales con algo así como una media armónica de los tamaños de muestra de las celdas.

Joseph et al (2007) utilizaron el enfoque univariante para probar un modelo de rotación laboral. Las correlaciones agrupadas se formaron ponderando las correlaciones de muestra por tamaño de muestra y corrigiendo el error de medición. Se utilizó la media armónica de los tamaños de muestra de las células.

Chang et al (2009) utilizaron el enfoque univariante para analizar la política organizacional.

Haeussler-Keyton (2012) es una tesis doctoral que utiliza el enfoque univariado que realizó un análisis metaanalítico de estudios relacionados con el éxito de la lactancia materna. El tamaño utilizado se calculó así: se calculó el tamaño de muestra promedio N en los estudios para cada celda, y se utilizó el más pequeño de estos para los análisis. Tenga en cuenta que esto da como resultado un tamaño de muestra mucho más pequeño que simplemente tomar el tamaño de muestra de celda total promedio. El autor ajusta los modelos utilizando correlaciones agrupadas basadas en cálculos de efectos fijos y aleatorios.

Zhang (2011) escribió una tesis doctoral revisando el enfoque GLS y el enfoque multivariado de dos etapas de Cheung y Chan (2005).

Viswesvaran y unos (1995)

Viswesvaran y Ones (1995) proporcionan una guía de estilo tutorial para MASEM univariado. Citan varios estudios que han utilizado el enfoque, incluidos Hunter (1983), Hom, Caranikas-Walker, Prussia y Griffeth (1992), Peters, Hartke y Pohlmann (1985), Brown y Peterson (1993), Ones (1993) y Viswesvaran (1993). El enfoque general es calcular las correlaciones de puntuación real utilizando varias técnicas metaanalíticas estándar y utilizar esa matriz de correlación como entrada para SEM.

Viswesvaran y Ones (1995) discuten el problema de tratar con las celdas que faltan en la matriz de correlación . Mencionan varias opciones para lidiar con esto:

(a) diseñar un estudio primario para recopilar datos con un tamaño de muestra suficientemente grande, de modo que se reduzcan los efectos del error de muestreo, para obtener estimaciones estables de las correlaciones no reportadas en la literatura; (b) usar la correlación promedio (en todas las correlaciones) en las celdas vacías; (c) buscar patrones de correlaciones e imputar valores en las celdas faltantes de la matriz; y (d) modificar la prueba de la teoría para incluir solo los constructos para los cuales se encuentra disponible en la literatura una matriz completa de correlaciones estimadas de puntaje verdadero. Una última opción, sugerida por un revisor anónimo, es usar expertos en la materia para estimar la correlación faltante (p. ej., Schmidt et al., 1983).

Viswesvaran y Ones (1995) también analizan la cuestión de variar el tamaño de la muestra por celda en la matriz de correlación. Mencionan varias opciones: (a) usar la media armónica de los tamaños de muestra en las celdas; (b) solo incluir estudios que incluyan todas las variables; (c) suponga que la muestra es población e ignore el error estándar y los intervalos de confianza.

Viswesvaran y Ones (1995) también reconocen el problema de que las verdaderas correlaciones pueden variar sistemáticamente entre estudios . Sugieren varios enfoques: (a) incluir moderadores hasta que la varianza de la puntuación real se reduzca a cero e incluir estos moderadores en el análisis de ruta; (b) calcule los tres SEM, uno utilizando los intervalos de confianza del 90 % inferiores de las correlaciones metaanalizadas, otro utilizando los intervalos de confianza superiores del 90 % de las correlaciones metaanalizadas y un tercero utilizando la media.

El tema anterior de la variación en las correlaciones verdaderas es uno de los mayores problemas que me preocupan. La mayoría de los metanálisis que he leído muestran variaciones en las correlaciones verdaderas (de ahí varias recomendaciones para preferir el metanálisis de efectos aleatorios). Además, es poco probable que los moderadores disponibles den cuenta de todas las variaciones verdaderas. En muchos contextos, dudo que los moderadores disponibles puedan explicar la mayor parte de la verdadera variación. Por lo tanto, aunque puedo ver que incluir moderadores significativos sería útil, predigo que en la mayoría de las aplicaciones esto no resolvería el problema de la variación en las correlaciones verdaderas.

La segunda opción de calcular las correlaciones de límite inferior, medio y superior tampoco me parece que proporcione una solución al problema. En primer lugar, incluso si las correlaciones varían entre los estudios, es poco probable que dicha variación conduzca a aumentos y disminuciones uniformes en todas las correlaciones. Por ejemplo, en algunos estudios la verdadera correlación puede ser mayor que la media para un par de variables y menor para otro. Dicho esto, la idea de muestrear el rango de distribuciones parece prometedora.

Cheung y Chan (2009)

Cheung y Chan (2009) brindan una descripción técnica con fórmulas apropiadas, una simulación y un ejemplo sobre cómo realizar el enfoque de dos etapas para el metanálisis SEM. Reconocen que las matrices de correlación heterogéneas son problemáticas. Sugieren las siguientes opciones: (a) agrupamiento de matrices de correlación; (b) liberar algunas restricciones entre grupos (p. ej., basadas en moderadores) en el SEM.

Becker (2009)

Becker (2009) establece cómo realizar pruebas de modelos basadas en el enfoque GLS.

pensamientos personales

Combinación y efectos aleatorios

En general, el modelo de efectos aleatorios parece más razonable. A menos que el metanálisis se componga de réplicas exactas, los estudios suelen variar en una amplia gama de formas. Y esto se manifiesta en diversas correlaciones. El uso de un modelo de efectos aleatorios implica ponderar las correlaciones de la muestra de manera diferente al incorporar la varianza entre los estudios. La consecuencia es que los estudios con tamaños de muestra más pequeños se ponderan más de lo que tendrían si se utilizara un modelo de efectos fijos.

La variación en las correlaciones puede no ser necesariamente normal. Puede haber correlaciones atípicas en los estudios. Los moderadores observados pueden explicar algunas de las varianzas entre estudios en las correlaciones. De manera similar, artefactos como la confiabilidad, las restricciones de rango, etc. pueden explicar la variación adicional en los tamaños del efecto.

Si no hay variación en la puntuación real, entonces el enfoque de dos pasos parece razonable. Además, si después de incluir a los moderadores se tiene en cuenta la variación de la puntuación real, el enfoque de dos pasos parece razonable. Del mismo modo, la idea de agrupar matrices de correlación para eliminar la varianza de la puntuación real podría ser prometedora.

El uso de un modelo de efectos aleatorios para ponderar las correlaciones es una forma razonable de obtener una estimación de la correlación verdadera media. Sin embargo, el uso de dichas estimaciones agrupadas en SEM plantea varios problemas. Primero, dicho procedimiento no captura la verdadera variación en los tamaños del efecto. Las estimaciones de los parámetros y el ajuste SEM variarán entre los estudios de manera sistemática; solo analizar las correlaciones medias verdaderas ignora esta variación sistemática entre estudios. En segundo lugar, el uso de estimaciones del tamaño de la muestra basadas en el promedio, el mínimo o la media armónica de los tamaños de las muestras de las celdas parece suponer un modelo de precisión de efectos fijos al estimar los verdaderos coeficientes de correlación.

Otros enfoques

Otra estrategia sería realizar SEM en cada muestra y tratar los parámetros y las estadísticas de ajuste como valores que varían entre muestras. La distribución (p. ej., media y DE) de estos parámetros SEM y las estadísticas de ajuste podrían resumirse. Esto sería similar a cómo las correlaciones y otros tamaños de efectos se modelan típicamente como efectos aleatorios. Entonces, por ejemplo, podría examinarse la variación en el efecto indirecto entre muestras. El desafío sería separar qué es la verdadera variación de la puntuación y qué se debe al muestreo aleatorio.

Esto parece una buena idea, aunque a menudo se mantendrá una variación significativa en los efectos incluso después de controlar el moderador y, a menudo, la cantidad de estudios para un valor de moderador determinado puede ser mínima.

Referencias

• Bamberg, S. y Moser, G. (2007). Veinte años después de Hines, Hungerford y Tomera: un nuevo metanálisis de los determinantes psicosociales del comportamiento proambiental. Revista de psicología ambiental, 27, 14-25.
• Bauer, TN, Bodner, T., Erdogan, B., Truxillo, DM y Tucker, JS (2007). Ajuste de recién llegados durante la socialización organizacional: una revisión metaanalítica de antecedentes, resultados y métodos. Revista de psicología aplicada, 92, 707. PDF
• Becker, BJ (1992). Modelos de rendimiento en ciencias: fuerzas que afectan el rendimiento masculino y femenino en ciencias escolares. En TD Cook, HM Cooper, DS Cordray, H. Hartmann, LV Hedges, RJ Light, TA Louis y F. Mosteller (Eds.), Metanálisis para explicación: un libro de casos (págs. 209-281). Nueva York: Fundación Russell Sage.

• Becker, BJ (2009) Metanálisis basado en modelos, capítulo 20, en El manual de síntesis y metanálisis de investigación, editores: Cooper, HM and Hedges, LV and Valentine, JC, Russell Sage Foundation Publications.

• Marrón SP, Peterson RA. (1993). Antecedentes y consecuencias de la satisfacción laboral del vendedor: Metanálisis y evaluación de los efectos causales. Revista de Investigación de Mercados, 30,63-77.

• Cheung, MWL y Chan, W. (2005). Modelado metaanalítico de ecuaciones estructurales: un enfoque en dos etapas. Métodos psicológicos, 10, 40. PDF
• Cheung, MWL y Chan, W. (2009). Un enfoque de dos etapas para sintetizar matrices de covarianza en el modelado de ecuaciones estructurales metaanalíticas. Modelado de ecuaciones estructurales, 16, 28-53.
• Colquitt, JA, Scott, BA y LePine, JA (2007). Confianza, confiabilidad y propensión a la confianza: una prueba metaanalítica de sus relaciones únicas con la asunción de riesgos y el desempeño laboral. Revista de psicología aplicada, 92, 909.
• Dunst, CJ y Trivette, CM (2009). Modelado metaanalítico de ecuaciones estructurales de las influencias del cuidado centrado en la familia en la salud psicológica de padres e hijos. Revista internacional de pediatría, 2009. PDF
• Fried, Y., Shirom, A., Gilboa, S. & Cooper, CL (2008). Los efectos mediadores de la satisfacción laboral y la propensión a irse en las relaciones entre el estrés y el desempeño laboral: combinación de metanálisis y modelos de ecuaciones estructurales. International Journal of Stress Management, 15, 305.
• Joseph, D., Ng, KY, Koh, C. y Ang, S. (2007). Rotación de profesionales de tecnología de la información: una revisión narrativa, modelado de ecuaciones estructurales metaanalíticas y desarrollo de modelos. MIS Quarterly, 31, 547-577.
• Harris, MJ y Rosenthal, R. (1985). Mediación de los efectos de las expectativas interpersonales: 31 Metanálisis. Boletín Psicológico, 97, 363-386. Haeussler-Keyton, K. (2012). Factores psicológicos y sociales asociados con el éxito de la lactancia materna: un análisis de la ruta metaanalítica. Tesis doctoral en Texas Tech University. PDF
• Cazador JE. (1983). Un análisis causal de la capacidad cognitiva, el conocimiento del trabajo, el desempeño laboral y las calificaciones de los supervisores. En Landy FJ, Zedeck S, Cleveland J (Eds.), Medición y teoría del desempeño (págs. 257-266). Nueva Jersey: Eribaum.
• Unos DS. (1993). La validez de constructo de las pruebas de integridad. Tesis doctoral inédita. Universidad de Iowa, ciudad de Iowa.
• Peters LH, Hartke DD, Pohlmann JT. (1985). La teoría de la contingencia del liderazgo de Fiedler: una aplicación de los procedimientos de análisis mieta de Schmidt y Hunter. Boletín Psicológico, 97,274-285.
• Premack, SL y Hunter, JE (1988). Decisiones individuales de sindicalización. Boletín Psicológico, 103, 223-234.
• Shadish, WR (1996). Metanálisis y la exploración de los procesos de mediación causal: una introducción a ejemplos, métodos y problemas. Métodos psicológicos, 1, 47.
• Shadish, WR y Sweeney, R. (1991). Mediadores y moderadores en metanálisis: hay una razón por la que no dejamos que los pájaros dodo nos digan qué psicoterapias deberían tener premios. Journal of Consulting and Clinical Psychology, 59, 883-893.
• Stajkovic, AD, Lee, D. y Nyberg, AJ (2009). Eficacia colectiva, potencia grupal y desempeño grupal: metanálisis de sus relaciones y prueba de un modelo de mediación. Journal of Applied Psychology, 94, 814.
• Viswesvaran, C. & Ones, DS (1995). PRUEBA DE TEORÍA: COMBINACIÓN DE META-ANÁLISIS PSICOMÉTRICO Y MODELADO DE ECUACIONES ESTRUCTURALES. Psicología del Personal, 48, 865-885.
• Viswesvaran C. (1993). Modelado del desempeño laboral: ¿Existe un factor general? Tesis doctoral inédita, LIniversity of Iowa, Iowa City.
• Zhang, Y. (2011). Modelado metaanalítico de ecuaciones estructurales (MASEM): Comparación de los métodos multivariados. Tesis Doctoral en Florida State University. PDF