¿Por qué se mantuvo en secreto el algoritmo del "modelo de valor agregado"?

Esta presentación de TED dice que el Departamento de Educación de Nueva York está utilizando un algoritmo secreto para evaluar a los maestros:

(..) los maestros estaban siendo calificados con un complejo algoritmo secreto llamado "modelo de valor agregado (..)

He buscado este algoritmo y hay algunas críticas en torno a él ( Huffington Post ):

Un algoritmo es una forma automática de determinar los resultados. No es necesario tener esos molestos factores humanos como el juicio, la emoción, el discernimiento, la comprensión, la empatía, la simpatía, el razonamiento crítico involucrados.

Si bien usar o no un algoritmo para la evaluación es claramente discutible, lo que más me interesa es que no sea una parte pública. Esto suena extraño ya que los profesores no saben qué deben mejorar si son penalizados por ello.

Pregunta: ¿Por qué se mantuvo en secreto el algoritmo del "modelo de valor agregado"?

¿Qué tiene que ver esto con los gobiernos?
@KDog es una política de evaluación de empleados públicos.
¿Puede ser más claro, por favor, que estas son escuelas públicas y en qué jurisdicciones? Por la forma en que se presenta la pregunta, podría ser un maestro en una corporación o casi cualquier cosa.
¿Y quién posee la IP en el algo?
@KDog: decidir cómo evaluar a los empleados públicos parece una decisión política. Además, ¿qué significa IP en este contexto?
@Alexei Derechos de propiedad intelectual
@KDog En general, no hay una IP real en los algoritmos (aunque las implementaciones pueden tener derechos de autor). Probablemente sea un secreto para evitar que los maestros intenten jugar con el algoritmo para inflar artificialmente su puntaje.
Voy a votar para cerrar como una pregunta de "motivación". Los únicos que saben por qué somos nosotros los que lo decidimos. “¿Qué razones dio la ciudad/estado/agencia?” Sería más responsable.
@MartinTournoij si se paga dinero por la evaluación, hay un incentivo para ocultar el algoritmo precisamente porque hay menos protección legal; sería un secreto comercial que solo están protegidos por ley si están protegidos en la práctica.
Las ideas generales detrás de este tipo de evaluaciones son conocidas y no existe un único algoritmo secreto utilizado por todos. Diferentes grupos podrían tener diferentes razones para mantener su versión en secreto, como tratar de evitar que alguien juegue con el sistema o evitar las críticas por malos algoritmos.
No conozco suficientes detalles para saber si/por qué se habría hecho esto específicamente. Pero una de las razones por las que ocultaría los detalles de un algoritmo imperfecto es para evitar que las personas "jueguen con el sistema" o "jueguen a prueba". Básicamente, si no hay conocimiento de lo que se analiza, las personas deben actuar con normalidad y esperar que la caja negra mágica no pase por alto su trabajo. Eso es todo lo que pueden hacer. Si conocen el algoritmo, pueden concentrarse solo en las cosas que el algoritmo califica mientras ignoran otras cosas, incluso si esas otras cosas son realmente importantes.
@Tal: sí, tiene mucho sentido y esta es probablemente la mejor respuesta que puedo recibir.
@KDog Parece claro que esta es una pregunta de política pública. Según el artículo, el Departamento de Educación de Nueva York utilizó este enfoque para calificar a los maestros. Entonces, la pregunta política es, "¿por qué era un secreto?".
@indigochild Probablemente, pero no debería tener que leer el artículo para averiguarlo. Eso es lo que estoy diciendo.
@Tal Estoy de acuerdo. Por cierto, eso es esencialmente lo que dice en.wikipedia.org/wiki/Goodhart%27s_law : "Cuando una medida se convierte en un objetivo, deja de ser una buena medida".
@Tal: parece que tienes el comienzo de una excelente respuesta allí. Deberías considerar escribir uno.

Respuestas (2)

El algoritmo se mantiene en secreto porque es desarrollado por una empresa privada y, como tal, es propietario ( fuente ).

Hasta donde sé, este es el sistema utilizado por la Junta de Educación de Nueva York, sin embargo, aún no pude confirmarlo. Pero si lo es, entonces responde a su pregunta: es un producto del que dependen muchas fortunas.

La misma razón por la que no podemos (o "no pudimos", si eso ha cambiado) mirar el código fuente en las máquinas de votación para asegurarnos de que están tabulando los votos honestamente.
@PoloHoleSet - Bueno, en algunos países también existe el requisito de mantener los votos en papel (en el caso de las impresiones de las máquinas). Pero por mis experiencias de votación en mi país de origen, puedo decirles que eso no importa. Stalin dijo que importa quién cuenta los votos, no quién vota. No creerías lo que está pasando allí. También se puede preguntar a los escoceses: su voto de independencia fue el mejor chanchullo posible...
Créanme, no estoy afirmando que el estilo estadounidense para cosas como esta sea el modo deseable, en absoluto.

Una razón para mantener en secreto los algoritmos de puntuación como este es reducir la capacidad de las personas de "jugar" con su sistema al tener un rendimiento deficiente pero una puntuación alta. Al mantener un algoritmo como este en secreto, es de esperar que aliente a las personas a simplemente dar lo mejor de sí y esperar que el algoritmo lo refleje.

Si el algoritmo se puede jugar de esa manera, eso indica que no es adecuado para su propósito y debe corregirse.
@Vikki Es probable que todos los algoritmos posibles sean jugables, sería muy difícil encontrar algo que sea imposible de jugar. Considere cuántas personas trabajan para garantizar que los juegos reales estén equilibrados y, sin embargo, las personas aún logran minimizarlos al máximo de formas indeseables e inesperadas, incluso sin ventajas financieras significativas.
¿Por qué se mantuvo en secreto el algoritmo del "modelo de valor agregado"?
RespuestasAquíPolítica de privacidad1y, 0v