¿Cuál es la mejora test-retest en la prueba de diseño de bloques?

Antecedentes:

Mi laboratorio está realizando una investigación sobre el entrenamiento perceptivo. Capacitamos a los participantes en diferentes tareas y los evaluamos antes y después del entrenamiento en una gran batería de pruebas. Obviamente, las personas mejoran en tareas muy similares a las que entrenaron, pero a nosotros nos interesa la generalización del entrenamiento. Una de las pruebas en la batería pre/post es Diseño de bloques. Actualmente no tenemos un grupo de control que no haya entrenado en absoluto. Notamos que todos los grupos mejoraron significativamente en el diseño de bloques, y ahora nos preguntamos si eso es solo una mejora de prueba y repetición de prueba, pero no pudimos encontrar datos sobre la mejora esperada en la literatura.

Pregunta:

Al evaluar a los sujetos en la prueba de diseño de bloques dos veces, con las 2 sesiones separadas por aproximadamente 4 meses, ¿cuál es la mejora esperada?

Respuestas (1)

Ronnlund y Nilsson (2006) estudiaron el rendimiento en la prueba de diseño de bloques WAIS en una gran muestra de adultos, tanto longitudinal como transversalmente. La diferencia de tiempo era de unos 5 años. Querían desentrañar los cambios relacionados con la edad a partir de los efectos de la práctica. Creo que estimaron la mejora relacionada con la práctica de 5 años en alrededor de 0,6 de una puntuación T (es decir, alrededor de 0,06 de una desviación estándar).

Los beneficios de la práctica presumiblemente decaen como una función monótonamente decreciente del tiempo entre la práctica y la repetición de la prueba. Por lo tanto, presumiblemente, cualquier efecto de la práctica sería un poco mayor a los dos meses de lo que sería a los cinco años.

Dikmen et al (1999) realizaron un estudio con 384 participantes adultos que completaron varias pruebas, incluido el diseño de bloques WAIS, en dos ocasiones separadas por entre dos y doce meses. Vea específicamente la Tabla 2 que informa los resultados de los tiempos 1 y 2:

Time 1 M (SD): 11.3 (3.0)
Time 2 M (SD): 12.0 (3.2)

Por lo tanto, el aumento estandarizado fue d = 0.7 / 3.0 = 0.23 .

El estudio también informa en la Tabla 5 los efectos de la práctica para varios intervalos test-retest (menos de 3 meses, 4 a 9 meses y > 10 meses). Consulte la Tabla 5 para obtener más información, pero, en general, se observaron mayores efectos de la práctica para el rendimiento IQ de WAIS durante períodos de tiempo más cortos. Por lo tanto, podría esperar, dado su período de dos meses, un efecto ligeramente mayor que el efecto general (quizás d = .30 o algo así).

Referencias

  • Dikmen, SS, Heaton, RK, Grant, I., Temkin, NR y otros (1999). Test--retest fiabilidad y efectos prácticos de Halstead--Reitan Neuropsychological Test Battery ampliado. Revista de la Sociedad Internacional de Neuropsicología, 5, 346-356.
  • Ronnlund, M. y Nilsson, LG (2006). Patrones de vida adulta en el rendimiento del diseño de bloques WAIS-R: gradientes de edad transversales versus longitudinales y relaciones con factores demográficos. Inteligencia, 34, 63-78.