Medición de la eficacia de la enseñanza

Soy profesor titular en ciencias de la computación en una universidad orientada a la enseñanza. Todavía me quedan varios años antes de presentarme como titular, pero quiero comenzar a prepararme cuanto antes. Una de las métricas por las que seré juzgado es la eficacia de la enseñanza; es decir, alguna medida objetiva y cuantitativa del aprendizaje de los estudiantes. He hablado con mis colegas (recientemente titulares) sobre esto, y parece que nadie tiene idea de las mejores formas de medirlo; todos ofrecieron un poco de discusión sobre los puntajes de las pruebas, dieron por terminado el día y obtuvieron la titularidad. Me gustaría tener un poco más de principios en mi enfoque, pero no estoy seguro de cómo hacerlo. Una prueba previa parece la más obvia, ya que parece que necesitaría una línea de base para medir la efectividad en el transcurso del semestre. Pero principalmente enseño programación introductoria,

En particular, me he centrado en querer enseñar habilidades de pensamiento crítico (algo en línea con "Cómo pensar como un programador") y poco a poco he cambiado mi enfoque en esa dirección, pero estoy aún más desconcertado acerca de cómo medir eso.

En general, buscando recomendaciones sobre cómo evaluar la eficacia docente de forma cuantitativa en el campo de la informática.

¿Se trata de alguna política nueva para la que no han establecido un procedimiento? ¿Hablaste con el jefe del departamento?
Sí tengo. Nuestro departamento (que me encanta y con el que tengo una buena relación) es cínico con respecto a todos los trámites burocráticos, incluidos los ascensos y la titularidad. Mis revisiones departamentales han ido muy bien, pero me gustaría hacerlo mejor para el comité de tenencia. Hemos tenido profesores en esos comités, y he hablado con ellos, pero no tienen una opinión muy alta sobre los criterios que usan otros miembros de esos comités (las pruebas previas y posteriores parecen populares en otros departamentos). Por lo tanto, me gustaría hacer algo que no solo sea convincente para el comité, sino también algo de lo que me sienta orgulloso/encontre útil.
¿Quiere decir basado en principios en su enfoque, o sistemático ?
En ese caso, mis sugerencias son (1) hablar con personas de otros departamentos que han estado en comités de tenencia y/o (2) comunicarse con el director actual de ese comité. (Puede decir algo como que nadie en su departamento tiene muy claro cómo se evalúa la enseñanza). También lea el manual del profesorado si aún no lo ha hecho.
@MadJack Creo que el problema principal es que no hay una buena solución objetiva para su pregunta (aunque creo que vale la pena hacer la pregunta). Hay varios objetivos en la enseñanza, algunos de los cuales son a largo plazo y algunos de los cuales son imposibles de medir objetivamente, especialmente si desea aplicarlo a todos los cursos.
"Los estudiantes no tienen conocimientos previos, por lo que dar una prueba preliminar parece inútil". Necesita evidencia de efectividad. Realice una prueba previa para demostrar que los estudiantes no tienen conocimientos previos. Personalmente, no creo que sus alumnos no tengan conocimientos previos. ¿Saben booleanos? ¿Saben encender una computadora? Deberías hacer una prueba previa para averiguarlo. La primera vez que hice eso en una clase de introducción, descubrí que la mayoría de los estudiantes no sabían sobre los radianes (que deberían haber aprendido años antes), pero algunos conocían casi todo el contenido del curso.
Dado que esto es informática, también puede hacer esta pregunta en Computer Science Educators SE. Tal vez algunas de las personas más enfocadas en la enseñanza tengan buenas sugerencias.

Respuestas (4)

medida objetiva y cuantitativa del aprendizaje de los estudiantes

Esto es imposible hoy y probablemente siempre lo será. El "aprendizaje" es demasiado amplio para una sola métrica. Formule una hipótesis específica, luego pruébela usando una prueba previa y una prueba posterior. Idealmente, debe usar dos grupos de estudiantes, uno de los cuales recibe una intervención. El otro grupo es un control.

Puede obtener cursos de capacitación gratuitos aquí: https://www.cirtl.net/p/cirtl-programming#Courses (ver "Teaching-as-Research")

No olvide incluir información cualitativa y retroalimentación de sus compañeros.

Además, puedes hacer esto con varias hipótesis y solo reportar los resultados que te resulten positivos. Es decir, una buena métrica para ti es aquella que te hace lucir bien.

Considere utilizar un enfoque de "evaluación del programa" para su autoestudio. La evaluación del programa normalmente está destinada a investigar lo que los estudiantes saben en general después de un curso completo de estudio (programa de grado). Pero creo que el enfoque puede brindar información útil sobre cursos individuales, sin la extrañeza de evaluar previamente a los estudiantes sobre un tema que aún no se les ha enseñado.

Básicamente: elabore algunos objetivos concretos para el curso que imparte y luego conviértalos en preguntas de prueba específicas que siempre lleva consigo en sus exámenes finales. Idealmente, redactaría esos objetivos y preguntas con el aporte de otros miembros de la facultad. Registre las estadísticas de esas preguntas finales cada semestre. Esté atento a cualquier pregunta en la que los estudiantes sean más débiles o tengan más dificultades que otros, y utilícelos como una oportunidad para modificar o reenfocar el contenido de su curso. Si los puntajes suben en los semestres posteriores a eso, entonces puede mostrarlo al comité de titularidad como un ejemplo de su compromiso, conciencia y superación personal en los métodos de enseñanza. El hecho de que tenga algunos años antes de la titularidad significa que tiene tiempo para este enfoque a largo plazo.

Puede encontrar información sobre la evaluación de programas en general aquí (UMass, "Program-Based Review and Assessment", 2001):

http://www.umass.edu/oapa/oapa/publications/online_handbooks/program_based.pdf

Puede encontrar información sobre la evaluación de Ciencias de la Computación en particular aquí (U. Pittsburgh, 2014):

http://www.dbserc.pitt.edu/Assessment/Assessments-Computer-Science

Creo que no es una mala idea (+1), pero solo quiero señalar que hay algunos inconvenientes obvios. Para dar resultados significativos, se supone que: (1) usted enseña el mismo curso con el mismo enfoque muchas veces, (2) la calidad de los estudiantes/apoyo estudiantil es aproximadamente la misma, (3) los estudiantes no se dan cuenta de que está usando las mismas preguntas año tras año. En mi situación particular, no creo que ninguno de ellos se mantenga en este momento.

Todavía tiene algunos años y les enseña a sus alumnos no solo lo que se necesita para aprobar su examen, sino también el pensamiento crítico y las habilidades que serán útiles más adelante. Tomando ambos juntos, es posible que pueda obtener buenos resultados estadísticos si vigila a sus alumnos. ¿Puede descubrir que el GPA promedio de los estudiantes que visitaron su curso aumentó después de eso? ¿Puede obtener acceso al número/porcentaje de sus estudiantes que obtuvieron un título después de aprobar su curso (tal vez con honores) y compararlo con el promedio?

Por supuesto, es posible que no haya una diferencia significativa aquí, pero aún debe vigilarlo, ya que enseñar habilidades de pensamiento a menudo solo vale la pena más tarde; pero sigue siendo igual de importante.

Tenga en cuenta que este no debería ser su único argumento, ya que podría no ser bueno. Pero si puede obtener los puntajes de las pruebas estándar y también agregar algo aquí, que muestre cómo su enfoque de enseñanza especial fue beneficioso para los estudiantes a largo plazo, lo haría.

La eficacia de la enseñanza a menudo se reduce a alguna medida de cambio observable en el comportamiento de los estudiantes. Como tal, debe buscar algún comportamiento que pueda observar en sus estudiantes que haya cambiado en parte debido a sus prácticas de instrucción.

Creo que un enfoque de prueba previa y posterior puede funcionar en su introducción a las clases de programación si compara diferentes estilos/metodologías de enseñanza que se usan en la misma clase (dentro del grupo) o en diferentes secciones del mismo curso (entre grupos). Primero busca diferentes formas de enseñar su contenido, ejecuta el experimento y luego tendrá evidencia clara de la mejor manera de enseñar a sus propios alumnos en el contexto en el que trabaja. Este sería un ejemplo de investigación de acción.

Cuando llegue el momento de hablar sobre la enseñanza en su entrevista de titularidad, discuta sus hallazgos y comparta cómo sabe qué es una enseñanza efectiva para las clases que imparte.

En relación con el pensamiento crítico, es realmente complicado operacionalizarlo y medirlo cuantitativamente. Cómo medir la capacidad de un estudiante para comparar/contrastar, sintetizar/analizar y/o evaluar es extremadamente difícil, ya que estas son acciones que tienen lugar dentro de la mente de forma intuitiva y no se pueden observar. A menudo, reconocemos el pensamiento crítico cuando lo vemos, pero no podemos medirlo con números porque el pensamiento crítico se trata de desarrollar una opinión que es difícil de medir objetivamente. Documentar esto cualitativamente es razonable pero puede no ser aceptable ya que su departamento requiere evidencia numérica.

Como tal, enseñar habilidades de pensamiento crítico, pero tal vez dejarlo fuera de la discusión para la permanencia, beneficiaría a los estudiantes sin complicar su empleo.