¿Un mejor aprendizaje afecta las evaluaciones de la enseñanza? ¿Si es así, cómo?

La respuesta, a partir de nuevos enfoques de investigación que datan de 2010, parece ser que un mayor aprendizaje tiende a causar puntajes más bajos en las evaluaciones de enseñanza de los estudiantes (SET), pero este es un tema complicado que históricamente ha sido motivo de controversia.

Hay una literatura enorme sobre este tema. Las personas que estudian este tipo de cosas con más intensidad son los psicometristas. Hay muchas cosas en las que parecen estar universalmente de acuerdo, y muchas de estas áreas simplemente representan la visión de consenso de los psicometristas profesionales en su campo en general:

• Las encuestas utilizadas para las evaluaciones de la enseñanza de los estudiantes (SET) deben ser diseñadas por profesionales, y son básicamente inútiles si son creadas por personas que carecen de experiencia profesional en psicometría. Ciertas prácticas comunes, como tratar los puntajes de evaluación como si fueran lineales (y, por lo tanto, se pueden promediar significativamente), muestran una falta de competencia en la medición.

• Es una idea terrible usar SET como la única medida de la efectividad de un maestro. Múltiples medidas siempre son mejores que una sola medida. Pero, como suele ser el caso, los administradores tienden a preferir una sola medida que sea económica de administrar y que superficialmente parezca imparcial y científica.

• Los SET se administran cada vez más en línea en lugar de administrarse en clase en papel. Esto es un desastre, porque las tasas de respuesta para las evaluaciones en línea son extremadamente bajas (generalmente 20-40%), por lo que los datos resultantes son básicamente inútiles.

• La dificultad de un curso o la carga de trabajo, medida por los puntajes SET, tiene una correlación casi nula con el logro.

• Los puntajes SET son medidas multidimensionales de rasgos multidimensionales, pero parecen dividirse en dos dimensiones principales, profesional y personal, que tienen el mismo peso. La dimensión personal está sujeta a sesgos basados ​​en el sexo, la raza, la etnia y la orientación sexual (Calkins).

Llegando a la pregunta principal: ¿un mejor aprendizaje afecta las evaluaciones de la enseñanza?

Antes de 2010, los mejores estudios sobre este tema fueron aquellos en los que los estudiantes fueron asignados aleatoriamente a diferentes secciones del mismo curso y luego se les administró una prueba idéntica al final para medir el rendimiento. Estos estudios tendían a mostrar que las calificaciones SET tenían correlaciones con el rendimiento de alrededor de +0,30 a +0,44. Pero Cohen dice: "Hay un hallazgo de estudio de una fuerte relación negativa entre las calificaciones y los instructores mejor calificados tenían los estudiantes con el desempeño más bajo. También hay un hallazgo de estudio que muestra lo contrario, una relación positiva casi perfecta entre calificaciones y logros". Esta falta de consistencia no es sorprendente, porque estamos hablando de diferentes campos de la educación y diferentes formas de SET. Una correlación positiva típica de +0,4 indicaría que el 16 % de la varianza en las calificaciones de los estudiantes el rendimiento podría atribuirse a las diferencias entre los docentes que podrían medirse mediante SET. Aunque el 16% no es muy alto, el signo de la correlación en la mayoría de los estudios es positivo y estadísticamente significativo.

Pero a partir de 2010, llegaron nuevas evidencias que dieron vuelta todo este panorama (Carrell, Braga). En estos estudios más nuevos, los estudiantes fueron asignados aleatoriamente a diferentes secciones de una clase, como cálculo, pero luego fueron seguidos más adelante en su carrera cuando tomaron clases de seguimiento requeridas, como ingeniería aeronáutica. El estudio de Carrell se realizó en la Academia de la Fuerza Aérea de EE. UU. y, debido a la estructura de la academia, hubo poca deserción y los estudiantes podrían verse obligados a tomar los cursos de seguimiento.

Carrell construyó una medida de valor agregado para cada maestro basada en el desempeño de sus alumnos en una prueba dada al final de la clase (valor agregado contemporáneo), y una medida diferente (valor agregado de seguimiento del curso) basada en el desempeño en los últimos, requieren cursos de seguimiento.

El rango académico, la experiencia docente y el estado final de grado de los profesores se correlacionan negativamente con el valor agregado contemporáneo, pero se correlacionan positivamente con el valor agregado del curso de seguimiento.

Encontramos que los profesores menos experimentados y menos calificados producen estudiantes que se desempeñan significativamente mejor en el curso contemporáneo que se imparte, mientras que los profesores más experimentados y altamente calificados producen estudiantes que se desempeñan mejor en el plan de estudios relacionado de seguimiento.

El estudio de Braga en la Universidad Bocconi en Italia produce hallazgos similares:

[Nosotros] encontramos que nuestra medida de la efectividad del maestro está negativamente correlacionada con las evaluaciones de los estudiantes: en otras palabras, los maestros que están asociados con un mejor desempeño posterior reciben las peores evaluaciones de sus estudiantes. Racionalizamos estos resultados con un modelo simple en el que los profesores pueden participar en la enseñanza real o en la enseñanza para el examen, lo primero que requiere un mayor esfuerzo de los estudiantes que lo segundo.

Referencias

Abrami, d'Apollonia y Rosenfield, "La dimensionalidad de las calificaciones de instrucción de los estudiantes: lo que sabemos y lo que no", en The Scholarship of Teaching and Learning in Higher Education: An Evidence-Based Perspective, eds. Perry y Smart, Springer 2007 - enlace

Braga, Paccagnella y Pellizzari, "Evaluación de las evaluaciones de los profesores por parte de los estudiantes", Documento de discusión de IZA No. 5620, abril de 2011 - enlace

Calkins y Micari, "Less-Than-Perfect Judges: Evaluating Student Evaluations", Thought & Action, otoño de 2010, pág. 7 - enlace

Carrell y West, "¿Importa la calidad del profesor? Evidencia de la asignación aleatoria de estudiantes a profesores", J Political Economy 118 (2010) 409 - enlace

Marsh y Roche, "Cómo hacer que las evaluaciones de los estudiantes sobre la eficacia de la enseñanza sean efectivas: los problemas críticos de la validez, el sesgo y la utilidad", American Psychologist, noviembre de 1997, p. 1187 - enlace

Stark y Freishtat, "An Evaluation of Course Evaluations", ScienceOpen https://www.scienceopen.com/document/vid/42e6aae5-‐246b-‐4900-‐8015-‐dc99b467b6e4?0 - enlace

Solo comentando tu propia experiencia, puedo decir que la mía se corresponde (a grandes rasgos, muy a grandes rasgos) con tu segunda mitad. Esto es así a pesar de que los estudiantes eran (literalmente) material de la Ivy League. Sí noté un poco más de interés y compromiso que en una universidad estatal, pero solo para unos pocos. El grupo estaba más preocupado por marcar casillas para la clase, y si me ponía demasiado crítico, salían los malos comentarios.

Dicho esto, un mejor aprendizaje conduce (posiblemente) a mejores calificaciones, por lo que esto puede ayudar a las evaluaciones. Pero aquí quizás tengamos que distinguir entre el aprendizaje inmediato que conduce a calificaciones y el de largo plazo que produce un mejor pensamiento.

No se suicide, simplemente mezcle preocupaciones a corto y largo plazo en su enseñanza. Pero esto último puede costarte algunos puntos, aunque es lo correcto.