Atribución del cambio en DV a la manipulación IV: entre grupos (grupo de control) frente a modelo mixto (medida previa y posterior)

A menudo se ve a los investigadores atribuyendo un cambio en la variable dependiente a su manipulación experimental, aparentemente sin considerar si este cambio en DV ocurre entre grupos o dentro de ellos.

Por ejemplo, en el clásico Bargh et al. (1996) sobre preparación conductual, a los sujetos de un grupo experimental se les mostraron palabras primarias que recordaban estereotipos de la vejez (p. ej., "olvidadizo"), mientras que a los sujetos de un grupo de control se les mostraron palabras neutras. Se midió la velocidad de marcha de cada uno al salir del experimento, y dado que el primer grupo era más lento, se concluyó que cebar a las personas con palabras relacionadas con un determinado concepto (en este caso: vejez) hace que inconscientemente adquieran características de ese concepto ( en este caso: caminar más despacio).

Sin embargo, la pregunta que me viene a la mente es: ¿cómo sabemos que la diferencia media en la velocidad al caminar no se debe solo a diferencias preexistentes (línea de base) entre los grupos? ¿Cómo podemos estar seguros de que se debe a la manipulación IV (diferentes palabras primas)?

Para mí, la evidencia creíble para esta afirmación sería si hubieran medido la velocidad de todos antes y después del experimento, y luego encontraran una interacción que mostrara que, mientras que la velocidad de los controles permaneció igual antes y después, la del grupo preparado para la vejez había disminuido. Sin tal interacción (lo que implica el uso de un modelo mixto entre grupos), ¿es estadísticamente correcta la inferencia de solo entre grupos de los autores?

Respuestas (2)

Hay una respuesta corta y directa, y una respuesta más matizada.

La respuesta corta es que las personas fueron asignadas aleatoriamente a los dos grupos. Cualquier diferencia de referencia entre las personas tendrá la misma probabilidad de afectar a ambos grupos. ¿Seguirá habiendo diferencias? Absolutamente. Esta es la razón por la que los investigadores utilizan la inferencia estadística para descartar la posibilidad de que las diferencias de referencia sean responsables de la diferencia observada.

La respuesta más matizadaes que no podemos estar seguros de que las diferencias observadas no se deban a estas diferencias de referencia aleatorias. En cualquier experimento, siempre habrá ruido que provoque diferencias en los grupos. Cuando los investigadores usan la inferencia estadística, no pueden decir con certeza que el efecto se debió a la manipulación. Simplemente están evaluando la probabilidad de que el ruido aleatorio pueda explicar los datos. Si la probabilidad de que el ruido aleatorio pueda explicar los datos es muy baja, entonces los investigadores afirman que la manipulación tuvo un efecto. Sin embargo, esta es una inferencia probabilística y, a veces, los investigadores se equivocarán y la diferencia realmente se debe al ruido. Los diseños intrasujetos ayudan a eliminar parte de este ruido, pero no todo, porque las personas cambian con el tiempo, incluso en el corto período de tiempo de un experimento de preparación social.

Entiendo tu respuesta, pero no estoy seguro de estar de acuerdo con ella. La asignación aleatoria de sujetos a grupos no garantiza la falta de una diferencia de línea de base, que debería verificarse de antemano como una medida 'pre', transformando efectivamente el diseño en un modelo mixto que puede probar una interacción de cebado x punto de tiempo, como yo estaba sugiriendo en mi mensaje inicial.
Hubiera esperado que la defensa de su ANOVA entre sujetos radica en el término SS entre sujetos que toma el "golpe" para tener en cuenta el ruido y, por lo tanto, el valor p del efecto principal de la condición de cebado se convierte, en efecto , corregido por la incertidumbre debida a este ruido. Aun así, sin embargo, me parece que el efecto se percibe mucho mejor a través de una interacción con el factor pre-post-experimento.
Tiene razón en que la asignación aleatoria no garantiza la falta de una diferencia de referencia. De hecho, casi siempre habrá alguna diferencia de referencia con la asignación aleatoria. Pero la estadística inferencial se usa para ver si las diferencias entre los grupos pueden explicarse por la variación aleatoria debida a las diferencias de la línea de base, o si el efecto de la manipulación es lo suficientemente fuerte como para que sea poco probable que las diferencias de la línea de base puedan explicar el resultado.
Otro punto, más específico de este experimento, es que existen inconvenientes en los diseños de los sujetos. Una es que puede dar a los sujetos más información de la que le gustaría. Podría haber sido difícil medir la velocidad al caminar de una manera controlada pero discreta antes y después de la prueba sin levantar sospechas.

Disculpe mi inglés, haré mi mejor esfuerzo para explicar. El concepto clave aquí es la "aleatorización", que implica la asignación aleatoria de los sujetos entre los diferentes grupos. Si la aleatorización está bien hecha, esto garantiza que sus grupos sean "equivalentes" en todos los demás factores que no se han tenido en cuenta explícitamente en el diseño experimental. Por lo tanto, en teoría, no debería haber ninguna diferencia en la prueba previa entre los grupos, y la diferencia entre los grupos en la prueba posterior solo debe ser explicada por la manipulación de su VI.

pero seguramente la única forma de verificar que la aleatorización - es decir, el equilibrio de grupos en este caso - se ha realizado correctamente es comprobar también el DV de antemano; que terminaría siendo equivalente al modelo mixto que estaba describiendo, ¿verdad?
En teoría, si la aleatorización se hace correctamente y las condiciones son exactamente las mismas (o muy similares al menos) para ambos grupos, excepto, por supuesto, por la manipulación del VI, entonces ambos grupos deberían ser iguales en cada prueba previa. en cada variable. Ahora, si no está seguro de que las condiciones sean las mismas o que su aleatorización no se haya llevado a cabo correctamente, puede verificar si ambos grupos son iguales. El principal problema es que no solo debe verificar si son iguales en su DV, sino en todas las variables encontradas... Esto requiere tiempo y esfuerzo. Por eso hay que tener mucho cuidado