¿Por qué se confía mucho en las cartas de recomendación?

Para cualquier tipo de solicitud académica (desde la admisión de posgrado hasta el puesto de profesor), las cartas de recomendación tienen un gran impacto en el resultado. La idea básica es comprensible: descubrir lo que otros piensan sobre el solicitante . Puede ayudar al comité de revisión a decidir sobre el solicitante.

Sin embargo, las cartas de recomendación no pueden ser estadísticamente confiables. Por ejemplo, cuando todas las cartas de recomendación de una solicitud son muy positivas, esto no puede garantizar que todos los colegas piensen bien del solicitante. En cambio, puede ser el resultado de solo unas pocas amistades.

En un ejemplo típico, si alguien tiene tres amigos socialmente cercanos (incluidos colegas actuales, compañeros de trabajo, profesores anteriores), sus solicitudes siempre están respaldadas por cartas de recomendación sólidas. Por ejemplo, uno podría tener conflicto con toda su universidad, pero tener una estrecha relación social con tres personas que lo pueden recomendar.

Entonces, ¿por qué se confía tanto en las cartas de recomendación, dadas estas limitaciones?

ACTUALIZACIÓN: No me refiero a cartas de recomendación amistosas. Me refiero a la influencia de la amistad en una carta de recomendación profesional. Como otro ejemplo, el Solicitante A que tiene una buena relación con 20 profesores de su departamento es un académico ideal con relaciones profesionales en el lugar de trabajo. PERO el solicitante B que tiene serios conflictos con la mayoría de sus colegas (profesores de su departamento), pero teniendo solo tres amigos entre los profesores de su departamento obtendrá mejores cartas de recomendación. Esos tres profesores escribirán cartas de recomendación basadas en las fortalezas del solicitante ignorando su debilidad a la luz de su amistad.

En muchos países, los estudiantes incluso escriben sus propias cartas de recomendación.
Solo las cartas de fuentes conocidas por el comité tienen mucha importancia.
Una pequeña cosa que quiero señalar: no importa cuán poco confiables puedan ser las cartas de recomendación (y creo que, en general, el sistema de cartas funciona), no hay muchas medidas alternativas de la aptitud del solicitante que funcionen mejor. Para las admisiones de posgrado, sabemos que el GPA puede verse sesgado fácilmente por la inflación de calificaciones, y las transcripciones oficiales pueden no capturar el alcance completo de las actividades del solicitante (¿realizó un trabajo independiente sin créditos académicos? etc.). Hay pocas formas (si es que hay alguna) de superar la flexibilidad de la carta de recomendación para pintar una imagen completa de un solicitante.
Las premisas de la pregunta son dudosas: las cosas no funcionan de una manera tan extrema, aunque ciertamente hay riesgo de corrupción, como en todo.

Respuestas (4)

En un ejemplo típico, si alguien tiene tres amigos socialmente cercanos (incluidos colegas actuales, compañeros de trabajo, profesores anteriores), sus solicitudes siempre están respaldadas por cartas de recomendación sólidas.

No, eso no es lo que significa "carta de recomendación fuerte".

En primer lugar, las cartas de recomendación sólidas no solo expresan el gran respeto personal del autor por el estudiante, sino que brindan detalles específicos, personales y creíbles que respaldan el potencial de excelencia del solicitante. No solo quiero saber que alguien piensa que tendrás éxito, supongo que no te escribiría una carta si pensara lo contrario. quiero saber porque Quiero pruebas convincentes , no meras opiniones.

En segundo lugar, las cartas de recomendación tienen más peso si provienen de fuentes confiables. Como mínimo, el autor debe trabajar en una institución académica creíble. Los mejores escritores de cartas son investigadores experimentados, visibles y activos, con experiencia documentada en la tutoría y/o selección de candidatos para admisión/contratación/promoción en departamentos similares al objetivo del candidato. Para la promoción de la facultad en mi departamento, se requiere esencialmente que las cartas sean de profesores titulares, preferiblemente en puestos designados/dotados, en los 10 mejores departamentos de ciencias de la computación, y existe una fuerte preferencia por ACM/IEEE Fellows, miembros de NAE o NAS, y ganadores de importantes premios (Turing, Gödel, Dijkstra, Gordon Bell, etc.).

La intersección de estos dos aspectos de las letras fuertes es la comparación directa con los compañeros del solicitante. Una carta de recomendación de doctorado ideal para mi departamento incluye oraciones como "Entre los 13 estudiantes universitarios a los que he asesorado y que pasaron a los 10 mejores programas de doctorado en ciencias de la computación, clasificaría a [solicitante] aproximadamente en el tercer lugar, muy por debajo de [persona famosa que demostró P= NP], pero a la par con [persona exitosa] en MIT, [persona exitosa] en Stanford y [persona exitosa] en CMU".

Yo no me limitaba a amigos. Quise decir que si alguien tiene tres amigos cercanos y 20 enemigos de los profesores titulares de su departamento, obtendrá mejores recomendaciones que alguien que tiene una relación normal con 23 profesores de su departamento. No me digan que los profesores titulares son 100% profesionales en la redacción de cartas de recomendación, y nunca consideran sus relaciones personales.
"institución académica creíble": Entonces, ¿los NIH, los laboratorios nacionales del DOE y el NIST cuentan como "instituciones académicas" según esta definición?
@aeismail: Sí, siempre que el autor pueda documentar la experiencia con un estudiante de doctorado exitoso/profesorado titular/el proceso de titularidad.
@Todos Por supuesto que no. Pero la falta de profesionalismo en realidad no ayuda mucho; evidencia es evidencia. Y en serio, ¿cuáles son las posibilidades de que alguien sea mejor amigo de exactamente las tres personas que pueden escribir en detalles técnicos sobre su investigación y enojar a todos los demás en su departamento? Es un mundo pequeño; ese tipo de cosas sale.
@JeffE eso fue solo un ejemplo exagerado para aclarar el problema. Solo quiero decir que las cartas de recomendación están sesgadas, ya que estadísticamente no son representativas de las opiniones de los colegas; es demasiado selectivo.
@All Si por "parcial" quiere decir "escribirá cosas falsas debido a una relación social", entonces esto probablemente suceda, pero diría que la definición de JeffE de una carta fuerte estaría en desacuerdo con el resto del historial de un candidato en esos casos. Si un escritor de cartas dice cosas grandiosas pero el resto del registro muestra lo contrario, entonces el candidato no será particularmente competitivo.
@JeffE Esa es una de las mejores descripciones de lo que uno debe buscar en las cartas de recomendación que he leído. Lo único que desconfío un poco es la "comparación directa". Cuando se hace con cuidado y se fundamenta con pruebas claras, sin duda funciona, pero por lo demás es la pieza más difícil de verificar o de entender. Dado que Steven Krantz aconsejó abiertamente escribir algo como "Dos mejores personas son A,B. C encaja en el medio en el sentido de que su investigación está a la par con A y su enseñanza está a la par con B" en uno de sus "Cómo ..." libros, hay mucho espacio para "abuso" aquí.

El hecho de que los solicitantes elijan a sus escritores de cartas definitivamente significa que las cartas son una muestra sesgada de opiniones. En ciertos casos, los departamentos toman grandes medidas para abordar este problema. Por ejemplo, los comités de ascenso y permanencia solicitan algunas cartas de personas no sugeridas por el candidato, precisamente para evitar esta fuente de sesgo. Nadie se preocupa tanto por las admisiones de posgrado, pero aún existen varias salvaguardas:

  1. Si alguien escribe recomendaciones que parecen poco confiables, tendenciosas o engañosas, perderá credibilidad y sus cartas tendrán menos peso para todos. Este es un fuerte incentivo para mantener el sesgo bajo control, ya que la reputación profesional es un aspecto crítico de la academia, y nadie quiere ser considerado un tonto o un sinvergüenza. Por supuesto, todavía hay algunas malas recomendaciones, pero los comités de admisiones realmente hacen un seguimiento de la credibilidad: cuando evaluamos una solicitud, una cosa que discutimos es lo que pensamos de los estudiantes recomendados por estos escritores de cartas en el pasado y lo que pensamos de su juicio.

  2. Tener múltiples escritores de cartas también ayuda. Encontrar un recomendador que esté notablemente sesgado es más fácil que encontrar tres.

  3. Los comités de admisiones a veces solicitan opiniones de otros profesores de la universidad del solicitante. Si las cartas del solicitante parecen cuestionables o difíciles de interpretar, o nos preocupa la credibilidad, entonces es fácil llamar o enviar un correo electrónico para obtener una segunda opinión.

En general, creo que el sistema hace un buen trabajo al minimizar el sesgo o la manipulación consciente. No es perfecto, pero creo que estás subestimando la fuerza de los incentivos. Si un solicitante puede encontrar tres personas con mucha credibilidad que estén dispuestas a dañar su reputación escribiendo cartas poco confiables para ayudar al solicitante a ser admitido, entonces puede aprovechar el sistema, pero esto no es tan fácil.

En todo caso, me preocupa más que las salvaguardas sean demasiado fuertes. Un inconveniente grave del sistema de cartas de recomendación es cómo maneja a los escritores de cartas desconocidos. Si el comité no sabe nada acerca de un recomendador, nunca antes ha visto una carta suya y no espera verla en el futuro, entonces el recomendador tiene muy poca credibilidad. Si una solicitud incluye solo cartas de recomendadores desconocidos, entonces las posibilidades de admisión pueden ser bajas, incluso si todas las cartas dicen cosas maravillosas. Esto no es justo, ya que algunos solicitantes simplemente no tienen acceso a ningún otro recomendador, pero es inevitable con el sistema actual. (No es solo una cuestión de parcialidad u honestidad, sino también de si los recomendadores son capaces de juzgar quién sería un buen candidato para la admisión).

"En general, creo que el sistema hace un buen trabajo al minimizar el sesgo". Si bien creo que All way exagera el caso, creo que hay sesgos realmente sistemáticos en el sistema de depender en gran medida de las cartas de recomendación; por ejemplo, todo lo que sabemos acerca de la psicología social sugiere que dicho sistema discriminará a las mujeres, etc., solo de formas generalmente sutiles e imperceptibles.
@BenWebster: ¡Gran punto! He editado para aclarar que me refiero a sesgo consciente o manipulación.

Si bien puede ser redundante escribir una respuesta después de que 3 personas ya lo hayan hecho, creo que las otras respuestas en realidad no han intentado responder la pregunta, sino refutar las hipótesis de los OP. Estoy de acuerdo en que el OP exagera el grado de sesgo y favoritismo en el sistema de uso de cartas de recomendación, pero esos son problemas serios. Como señalan las otras respuestas, una carta escrita en gran medida sobre la base de cálidos sentimientos personales no será muy convincente, pero creo que la actitud personal del autor de la carta influirá en el lector (¿alguien duda de que es fácil escribir una carta que aumenta las posibilidades de que casi cualquier candidato siga siendo profesional y preciso?). Si lees un libro como "Pensando rápido y lento", y luego observe cómo las personas realmente toman decisiones sobre la contratación académica, se horrorizará un poco de cuánto ignoramos los hechos simples de la psicología social.

Las personas confían en las cartas de recomendación porque son monos (bueno, en realidad simios, pero con fines retóricos dame este) cuyos cerebros evolucionaron en una especie de situación social que alentó ciertos tipos de heurística mental. Un hecho esencialmente universal sobre los humanos es que preferimos hacer juicios individualizados basados ​​en la intuición en lugar de confiar en cualquier tipo de regla impersonal. Estamos demasiado seguros de que sabemos cuándo hacer una excepción, y nos sentimos mejor al ver un error cometido en base a un error de juicio humano, en lugar de algún tipo de cálculo numérico. Esto se evidencia en muchos lugares: por ejemplo, las personas realmente intentan invertir activamente en el mercado de valores cuando cualquier mirada a los hechos muestra que es esencialmente imposible vencer a la inversión pasiva a largo plazo.

Dicho esto, creo que para los puestos académicos, probablemente también sea cierto que hay información importante en las cartas de recomendación que es difícil de conseguir en otro lugar. En muchos casos, no estoy seguro de lo que miraríamos en su lugar. Dudo que vayan a alguna parte, y las personas se resistirán firmemente a cambiar a cualquier métrica "más dura", ya que hacerlo simplemente "se siente mal".

Las cartas de recomendación para puestos de asociado y profesor titular (tanto en contratación como en promoción) no provienen exclusivamente de escritores que el candidato selecciona. En cambio, el departamento solicitará cartas de fuentes independientes en el campo del candidato. Además, las referencias nombradas por el candidato no pueden tener vínculos personales o profesionales estrechos con el candidato.

eso no puede considerarse una carta de recomendación, sino una revisión externa por pares.
Papa a la papa.
La revisión por pares de @JeffE es exactamente en lo que se puede confiar, pero casi todos los anuncios de trabajo para el puesto de profesor completo solicitan cartas de recomendación de personas que conocen al solicitante, no una revisión independiente.
Nadie que contrate profesores titulares se basa únicamente en las cartas proporcionadas por los solicitantes. Los casos de tenencia requieren cartas externas elegidas por el departamento de destino.