¿Cuál es el método más sólido para la calificación por pares?

Tengo la intención de proporcionar una tarea grupal para 30 personas, divididas en 5 o 6 grupos.

En última instancia, quiero que evalúen qué grupo entregó el mejor resultado (después de presentar los resultados frente a otros grupos) y que se califiquen a sí mismos dentro de los grupos en función de su contribución al esfuerzo del equipo.

Ahora, tanto la teoría de juegos como mi simple experiencia de observar a personas que no son objetivas sugerirían que hay muchas formas en que esto puede salir mal si no introduzco algún sistema sólido que aborde, al menos, problemas como:

  • el grupo que probablemente sea el segundo dará la calificación más baja al grupo que considere objetivamente el mejor para aumentar sus posibilidades de ganar

  • el grupo que probablemente sea el último dará las calificaciones más bajas al penúltimo grupo para que aumenten sus posibilidades de reemplazarlos y no terminar último

  • los miembros del grupo me dirán que cada persona contribuyó en la misma medida, pero no será cierto en la mayoría de los escenarios. Especialmente el mejor grupo no tiene motivos para bajar la calificación de su colega sin importar cuán marginal haya sido su contribución. Por otro lado, el sistema en el que se califican entre sí con una contribución porcentual también es incorrecto, ya que a veces todos los miembros del grupo colaboraron en el mismo nivel alto y no hay necesidad de señalar a los miembros con mejor o peor desempeño y bajar sus calificaciones, por lo tanto, incluso si todos trabajaron duro para obtener la misma calificación media por su desempeño.

¿Existe tal sistema de votación/calificación?

Respuestas (1)

Para incentivar el comportamiento deseado para su primer punto, puede hacer lo siguiente.

  • Si el grupo que sale segundo le da la nota más baja (posible) al grupo que sale primero, el castigo es el siguiente <specify punishment here>. Una condición alternativa sería: Si el primer grupo recibiera la calificación más baja del segundo grupo. Esto es más estricto, pero también más justo. Tal vez agregue algo de tolerancia (por ejemplo, la divergencia de 1 grado está bien).

Podría intentar la misma estrategia para el segundo punto, pero eso no funcionará. Si los grupos no pueden votar por sí mismos (como grupo) y si asumimos que el resultado final es una representación algo objetiva de la actuación, el último grupo le daría al penúltimo grupo la calificación más baja. Sin embargo, podría probar la alternativa del primer enfoque:

  • Si el último grupo recibió la peor calificación del penúltimo grupo y si esa calificación diverge en más de 1, entonces <specify punishment here>.

De hecho, podría introducir esta regla para todos los rangos. Primero y segundo lugar, segundo y tercero, etc. Pero los grupos necesitarían más tiempo entonces, también esto supone que las actuaciones de los grupos varían hasta tal punto que es posible clasificarlos subjetivamente.

Para que los grupos los evalúen por sí mismos, puede introducir un número finito de grados o clasificaciones (por ejemplo, desempeño superior, desempeño medio). Si las calificaciones/clasificación solo se pueden otorgar una cantidad fija de veces, cada participante tendrá un rango único (en relación con ese grupo). La calificación probablemente no se comparará con los miembros del grupo de otros grupos (tal vez si la compara con la calificación del grupo). Es posible limitar el número de calificaciones posibles al número de miembros del grupo, o limitarlo a 2 o 3 (superior, medio, inferior) y tener varias rondas de calificación.