¿Las evaluaciones de la enseñanza conducen a estándares más bajos en la clase?

Jacob y Levitt tienen un artículo en la revista trimestral de economía que analiza a los maestros que hacen trampa en las escuelas públicas debido a una compensación basada en su desempeño en clase. Encuentran que los maestros harán cosas para ayudar a sus estudiantes a obtener calificaciones más altas si eso afecta su compensación.

Manzanas podridas: una investigación de la prevalencia y los predictores del engaño de los maestros. Revista trimestral de economía. 2003

Un artículo de Nelson y Lynch analiza la relación entre la inflación de calificaciones y las evaluaciones docentes, lo que sugiere que los profesores compran mejores evaluaciones docentes con las calificaciones.

Inflación de Notas, Renta Real, Simultaneidad y Evaluaciones Docentes. El Diario de Educación Económica. 1984.

Depende de lo que estén evaluando y cómo.

Estudié en una universidad en un lío de un país que se estaba recuperando de un período de guerra. El sistema educativo no solo estaba deprimentemente anticuado, sino que también se estaba desmoronando. Los entusiastas estaban tratando de reformar el sistema, y ​​uno de los mayores impulsos en la dirección correcta se logró a través de las evaluaciones de los cursos. Esta evaluación tenía preguntas como estas:

• ¿Con qué frecuencia se presenta el profesor a clase?
• ¿Cada lección tiene un tema claro?
• ¿Está claro qué partes de los materiales impresos del curso se tratan en qué clase?
• ¿Estaban todas las preguntas del examen vinculadas a algún material impreso del curso?
• ¿El profesor responde a las preguntas de los estudiantes?
• ¿El profesor está disponible para los estudiantes en algún momento fuera de las conferencias?
• ¿El profesor utiliza el correo electrónico para comunicarse con los estudiantes?
• ¿Sientes que el profesor te trató injustamente en algún momento? ¿Cómo es eso?
• ¿Sientes que el profesor se involucra en algún comportamiento problemático durante la clase? Por favor describa.
• ¿El profesor le pidió algún favor a cambio de una nota más alta?
• ¿Cuáles son, en su opinión, los aspectos buenos de este curso?
• ¿Cuáles son los aspectos negativos?

...etc.

Hubo más preguntas, muchas sobre el estilo de lectura, por ejemplo; estos son sólo de la parte superior de mi cabeza. Ahora bien, esta evaluación hizo que los profesores comenzaran a venir a clase, les hizo elegir finalmente los libros de texto, les obligó a elegir un tema para cada lección (en lugar de simplemente divagar), les obligó a decirles a los estudiantes qué parte del libro corresponde a qué clase para que que los estudiantes pudieran leer los materiales en paralelo. También redujo rápidamente los comportamientos verdaderamente problemáticos, como fumar en clase. Además, ayudó a los profesores a mejorar su desempeño al brindar retroalimentación sobre los puntos fuertes y débiles del curso, al menos tal como los veían los estudiantes. Aquí, creo que las evaluaciones claramente ayudaron a mejorar los estándares en clase, especialmente en departamentos verdaderamente problemáticos. La razón por la que ayudaron fue doble:

También estudié en una universidad maravillosa y bien organizada donde la mayoría de estas preguntas serían completamente ridículas. Allí, las evaluaciones tenían preguntas como:

• ¿Cuántas horas a la semana estudiaste para este curso?
• ¿Qué tan importante diría que es este curso para su desarrollo académico general?
• ¿Diría que este curso fue fácil, correcto o difícil en términos de contenido?
• ¿Crees que los profesores evalúan los conocimientos de los estudiantes de manera justa?

...etc.

Sinceramente, no tengo idea de lo que se gana con tal evaluación, y espero que el salario de nadie dependa de ello. Con las preguntas correctas (es decir, incorrectas), estoy seguro de que podría reducir los estándares de enseñanza al brindar un incentivo financiero para obtener una buena calificación. La pregunta, entonces, se reduce a cómo se ven las hojas de evaluación. Que yo sepa, estos no están estandarizados en todas las universidades, por lo que los resultados pueden variar mucho.

La inflación de calificaciones ha sido un problema en los EE. UU. desde mediados de la década de 1970, así que bienvenido al club. Ver endgradeinflation.org . Ninguno de los intentos por frenarlo ha tenido éxito hasta el momento; la práctica de evaluar a los estudiantes está muy arraigada en las universidades estadounidenses y no se puede modificar fácilmente.

La ardua batalla contra la inflación de calificaciones ha sido encabezada por la Universidad de Carolina del Norte, Chapel Hill, una de las 5 principales universidades públicas de EE. UU. Pusieron un esfuerzo de investigación bastante extenso para descubrir los patrones de inflación de calificaciones. La causa, como usted observó, es lo que los economistas llaman falla del mercado, cuando las acciones automotivadas de los jugadores conducen a resultados que son peores para todos. Los empleadores de los graduados y los programas de posgrado que solicitan son los que más sufren, ya que no pueden distinguir a los buenos estudiantes de los malos estudiantes. Las organizaciones y sociedades estudiantiles que se basan únicamente en el GPA (promedio de calificaciones) descubren grandes diferencias entre disciplinas: el extremo del espectro de humanidades ha sido el más afectado por la inflación de calificaciones, mientras que las ingenierías y las ciencias que tienen criterios de valoración y evaluación más específicos tienden a producir calificaciones más bajas. La página inicial deeste informe de 2000 proporciona una cifra específica para responder a su pregunta: un aumento de alrededor del 15% en las evaluaciones de los estudiantes asociado con un aumento de 1 desviación estándar en la calificación promedio del curso . Esta desviación estándar fue de 0,4 en la escala americana que va de 0 a 4; al momento de escribir el informe, el GPA promedio en UNC era 3.18.

A mediados de la década de 2000, a la UNC se le ocurrió la idea de una calificación efectiva, llamada índice de logros . En términos muy simples, esencialmente normaliza cada clase para que tenga el mismo GPA. Cada estudiante se asigna a un percentil implícito en su calificación en una clase determinada, en relación con la distribución de calificaciones en esta clase; se agregarían los percentiles de todas las clases que tomó un estudiante; y el GPA de rendimiento final del estudiante se informaría sobre la base del juicio normativo de lo que la universidad quiere ver como el GPA promedio y el rango de calificaciones. Esta idea se basa en la teoría de la respuesta al ítem., o alternativamente puede explicarse utilizando métodos bayesianos (una estimación máxima a posteriori de la capacidad del estudiante). Como se puede imaginar, esto literalmente provocó un malestar estudiantil que la UNC no había visto desde el movimiento de derechos civiles de la década de 1960 (o tempora o mores... qué mezquinos son los motivos en estos días), por lo que la facultad se acobardó y falló en contra .

Aun así, la UNC ha encontrado una manera de poner las calificaciones en contexto al aumentar el expediente académico con el GPA promedio de otros estudiantes que tomaron esta clase en particular, el percentil del estudiante en una clase determinada y el "promedio de puntos del horario" = GPA promedio de todos los estudiantes en las clases que tomó un estudiante. El enlace de arriba muestra una imagen clara de alguien que tenía un GPA nominal de 3.6, muy por encima del GPA promedio de sus compañeros de clase de 3.0, con un desempeño constante por encima de la mediana (7 calificaciones por encima de la mediana, 5 en la mediana, 0 por debajo), vs. alguien que solo ha podido lograr un GPA de 2.5 en clases más fáciles con un GPA promedio de 3.2 (1 grado por encima de la mediana, 3 en la mediana, 9 por debajo).

La línea de tiempo dramática (si sabe leer entre líneas... Crecí en la Unión Soviética y tengo esta desafortunada habilidad) de los intentos de la UNC para lidiar con la inflación de calificaciones está disponible aquí . Es probable que algunas otras instituciones utilicen estas ideas u otras similares, incluida otra escuela pública de alto perfil, Berkeley . (La afirmación del administrador de que el sistema informático de la universidad no puede manejar el método de evaluación adicional es ridícula; podría hacer estos números en mi computadora portátil).

Sólo puedo ofrecer mi experiencia personal sobre este tema. Sin embargo, puedo decir que leí la literatura sobre evaluaciones de cursos bastante extensamente en preparación para una solicitud anterior de promoción. Lo que encontré fue que hay personas apasionadas en ambos lados de este debate. Algunos piensan que las evaluaciones de los cursos son lo mejor desde el helado, mientras que otros creen que son responsables de la inflación de calificaciones y la reducción general de los estándares. Según mi propia experiencia, tiendo a ponerme del lado de este último grupo. He estado en la misma institución durante casi treinta años y, al principio de mi carrera, disfruté de muy buenas evaluaciones de los cursos. Después de unos diez o quince años, noté que mis puntajes de evaluación comenzaron a erosionarse. Entonces, comencé a hacer las cosas un poco más fáciles para que los estudiantes obtuvieran buenas calificaciones, pero nada con lo que me sintiera incómodo.

En los últimos años, la calidad de nuestros nuevos estudiantes ha disminuido, al igual que mis puntajes de evaluación una vez más. Pero esta vez, no siento que pueda hacer más concesiones a los estudiantes, al menos si quiero conservar la integridad de mi curso (y de mí mismo). Al menos en este momento tengo bastante seguridad laboral, así que puedo mantenerme firme, aunque los estudiantes y los administradores probablemente deseen que no lo haga. Alguien en una posición menos segura podría enfrentar un serio dilema moral o ético en esta situación. Es fácil ver cómo puede ocurrir la inflación de calificaciones.

En los EE. UU., enfrentamos el mismo problema con las pruebas estandarizadas. Hay tanto en juego con estas pruebas para estudiantes y profesores de secundaria, que todo el proceso se ha convertido en enseñar para la prueba en lugar de enseñar para comprender. En mi opinión, será necesario un esfuerzo vocal por parte de las principales instituciones públicas, e incluso de las privadas, para avanzar en contra de las evaluaciones docentes a nivel universitario. Eso no quiere decir que los profesores y profesores no sean responsables de la realización de sus cursos. La evaluación es necesaria. El diablo está en los detalles de encontrar la mejor manera de hacer la evaluación. No creo que la forma actual sea la correcta.

Según algunos escritores, las evaluaciones entre pares son una herramienta aún peor que las evaluaciones de los estudiantes. StasK ha escrito una gran respuesta. Preste especial atención a la observación de que los administradores no creen que el sistema informático de la universidad pueda manejar la carga. Los administradores se apresuran a citar alguna limitación técnica sobre por qué no pueden hacer algo. Parecen olvidar que están hablando a una audiencia que contiene expertos que saben que sus argumentos no se sostienen.