¿Por qué las universidades otorgan tanta importancia al recuento de citas y los factores de impacto al evaluar a los investigadores?

Los factores de impacto y los recuentos de citas son métricas ampliamente utilizadas para juzgar la reputación de los investigadores. Sin embargo, estas métricas pueden ser engañosas y, en algunos casos, pueden manipularse.

¿Por qué las universidades otorgan tanta importancia al recuento de citas y los factores de impacto acumulativo?

¿Por qué crees que a la "mayoría de las universidades" realmente les importa tanto esto? Cita necesaria.
No tengo experiencia en solicitudes de empleo en América del Norte, pero en Australia, el Reino Unido y varios otros países de la UE le dan mucha importancia al número de publicaciones, el factor de impacto y las citas. Conozco a una persona en el Reino Unido que se convirtió en lector en 4 años debido a su gran cantidad de publicaciones. Publicó más de 270 artículos en 3 años. No creo que alguien pueda justificar la contribución en una cantidad tan grande de artículos, pero hay cientos de ejemplos de este tipo, y las universidades los decoran.
Usted menciona casos excepcionales. Dudo que la promoción se deba solo al "conteo de frijoles", aunque puede haber alertado a las personas para que echen un vistazo. Y la "mayoría" parece demasiado fuerte.
En varios países europeos, no puede obtener un doctorado a menos que haya publicado tantos artículos con un factor de impacto superior a y. Sé que en España, los formularios de solicitud de postdoctorados y puestos de profesores piden específicamente factores de impacto. En el Reino Unido, el marco de excelencia en investigación clasifica la calidad de los artículos y decide la financiación universitaria. Sus afirmaciones no usan IF (pero usarán recuentos de citas), sin embargo, la planificación universitaria para REF generalmente usa IF. Mis criterios de prueba académica decían que necesitaba 1 artículo SI> 10 o 2 artículos> 5.
Odio decirlo... pero es porque las personas que establecen estos KPI tienden a ser tipos de negocios tontos en lugar de académicos que no tienen idea de cómo administrar de manera efectiva una institución de investigación.
@IanSudbery Deben tener diferentes estándares para diferentes departamentos, porque no creo que mi campo tenga ninguna revista con IF> 5.
@Persistence suena como una especie de problema de "confiar ciegamente en los datos", me recuerda un poco a este video . Medida del éxito != éxito real porque "no es un problema de los seres humanos que no piensen como máquinas matemáticas". Simplemente termina separando las cosas productivas que haces, de lo que haces para tener fondos para seguir siendo productivo. Sin embargo, una eliminación completa de las métricas significaría reducir mucho y pasar más tiempo leyendo los trabajos de un individuo y juzgándolos por sus propios méritos.
Odio decirlo, pero no lo hacen. Lo que es realmente importante son los ingresos por subvenciones.
Si bien estas métricas pueden estar sesgadas (y fácilmente manipuladas), la alternativa suele ser la evaluación por parte de un pequeño panel de expertos. El problema con eso es que puede tener una variación alta. Los revisores de las principales conferencias no brindan revisiones muy consistentes ( inverseprobability.com/talks/notes/the-neurips-experiment.html ), por lo que el enfoque adoptado por ejemplo, REF puede no ser más confiable (además de ser extremadamente costoso). El recuento de citas es probablemente mejor que el factor de impacto, pero es muy variable de un campo a otro.
Cuando mi departamento propone promover a un miembro de la facultad, la universidad requiere que proporcionemos información sobre cómo usamos las métricas de citas para evaluar la investigación. La respuesta que he usado al preparar muchos archivos de promoción comienza con "La respuesta corta es que no lo hacemos". Sigue un párrafo sobre la falta de fiabilidad de tales métricas y la disponibilidad de otras mucho mejores.
Google hace lo mismo con respecto a la evaluación de las páginas web por lo buenas que son (y las clasifica en consecuencia en un resultado de búsqueda). Funciona bastante bien para ellos.
Responder "por qué" no es un problema: como dice @Allure, porque es fácil (y es difícil encontrar mejores métricas). Pero tiene razón al señalar que es una métrica defectuosa y, como cualquier métrica, sufre la Ley de Goodhart: cuando una medida se convierte en un objetivo, deja de ser una buena medida. Resolver eso no es fácil.
@ThorbjørnRavnAndersen también se juega mucho, mire todas las páginas de "optimización de SEO" y sitios de estafa de palabras clave / relleno de enlaces
@jrh Sí, es un arte identificar la malicia.
@kimball sí, claro, el objetivo numérico real variará de un departamento a otro. Vea también la situación reciente en Ciencias de la vida de Liverpool, donde los profesores de toda la escuela fueron clasificados según el recuento de citas y los 50 últimos seleccionados para ser despedidos. Fue solo una campaña de acción industrial de un mes de duración, incluida la falta de marcado durante casi un año, lo que al final salvó los puestos de trabajo.

Respuestas (5)

porque es fácil

Digamos que tiene 100 investigadores para evaluar. ¿Cómo harías para hacerlo? Podrías leer sus artículos con suficiente detalle para entenderlos (tomaría meses o años, especialmente si no están en tu campo). Puede confiar en las evaluaciones de pares y las cartas de recomendación (que ya se han hecho ampliamente). Podrías ver los premios y premios ganados (también ya se ha hecho extensamente). O podría mirar los recuentos de citas y los factores de impacto. El último es fácil de hacer y, aunque no es perfecto, es objetivo y existe una correlación con la calidad de la investigación (el recuento de citas es el método estándar para medir la excelencia en bibliometría ).

Además, muchos no especialistas se preocupan por el número de citas y los factores de impacto, por ejemplo, todas las clasificaciones de las principales universidades lo utilizan y los estudiantes miran las clasificaciones. Salir mal en esos rankings puede hacer que uno sea menos atractivo para los estudiantes, con todas sus consecuencias negativas.

Ver también esto :

Pero. Los candidatos a profesores son necesariamente juzgados por personas que no son expertas en su campo. Sin la experiencia para juzgar si su trabajo es realmente bueno, esas personas deben buscar datos secundarios que se correlacionen fuertemente con investigadores exitosos. Una de esas características secundarias es el "pedigrí". ¿Obtuviste tu título en MIT, Berkeley, Stanford, CMU, otro departamento de los 10 principales o en algún otro lugar? (¿Qué es una "Ivy League"?) ¿Qué tan bueno/famoso es su asesor? Si realmente están prestando atención: ¿Dónde consiguieron trabajo los otros estudiantes de doctorado de su asesor y qué tan bien les está yendo ahora?

Afortunadamente, la mayoría de los buenos departamentos hacen un gran esfuerzo por comprender la calidad y el impacto de los resultados de los solicitantes, en lugar de confiar solo en datos secundarios. Además, los datos secundarios importan considerablemente menos una vez que realmente tiene una entrevista.

Los comentarios no son para una discusión extensa; esta conversación se ha movido a chat .
  1. Debido a que muchas agencias de financiamiento le dan mucho peso a las citas y al factor de impacto,
  2. Debido a que muchas agencias de clasificación (de todo tipo) otorgarán clasificaciones más altas a instituciones con profesores activos en investigación y bien financiados, según lo medido por tales métricas,
  3. Porque indicar en un folleto de reclutamiento que su facultad publica en promedio tantos artículos al año lo hará lucir mejor que tan pocos artículos al año.

Sí, todo es marketing, pero en estos días en que los gobiernos financian una proporción decreciente del costo de la educación, donde las universidades compiten por los estudiantes y donde la proporción entre administración y facultad sigue aumentando, la administración necesita nuevos ingresos. Consulte este artículo en la revista Forbes para conocer más contexto y presiones financieras sobre las instituciones.

Estoy de acuerdo con usted, todo se debe a las metodologías defectuosas adoptadas por las agencias de financiamiento, pero la academia no se resistió y se convirtió en parte de esto.
@MBK es una verdad evidente que la mayoría de las universidades están perfectamente felices de simplemente "seguir el dinero"... principio de menor resistencia.
Pregunta: "¿Por qué le damos tanta importancia a las citas y al factor de impacto?"; Respuesta: "Porque algunas personas le dan mucha importancia a las citas y al factor de impacto". Está bien, pero esto solo desplaza un poco la pregunta, en realidad no la responde.
@Stef no y sí. Si las personas que le dan tanta importancia tienen el $$, entonces sí, pone la pelota en su cancha, pero argumentarían que es su forma preferida de asignar recursos. ¿Preferiría enviar a sus hijos a una escuela de primer nivel o a una de menor nivel (a pesar del costo)?

La pregunta es imposible de responder ya que la premisa es falsa , o al menos no tiene prueba. Específicamente,

por qué la mayoría de las universidades dan demasiada importancia al recuento de citas y al factor de impacto acumulativo

Ninguna universidad que conozco se preocupa en absoluto por los factores de impacto, que en la mayoría de los casos son falsos (los que informan las revistas).

El recuento de citas es un poco más importante y, en ocasiones, se usa como un indicador del "impacto" de un científico, pero incluso esto no se reconoce universalmente y la mayoría de las universidades no verifican explícitamente esta medida.

De hecho, la promoción y contratación se basa más en:

  • cartas de referencia y evaluación por pares
  • lugares de publicación: prestigiosos o no.
  • conocimiento de los miembros de la facultad existentes con el candidato
  • número de publicaciones en lugares seleccionados (no número de citas)
En los EE. UU., al menos, la promoción es en gran medida el resultado de la evaluación de los pares y los pares tienen una visión más sofisticada de los logros de un candidato. Es cierto que el consejo de un comité de promociones no es la última palabra, pero casi siempre se respeta, o se produce el caos.
"factores de impacto, que en la mayoría de los casos son falsos (los que informan las revistas). El recuento de citas es un poco más importante y es un indicador del "impacto" de un scientis". Estas oraciones son contradictorias. Las citas determinan el factor de impacto. Entonces, si el factor de impacto no es confiable, ¿cómo las citas pueden ser una métrica confiable? Como mencioné en mi comentario anterior, la publicación de cientos de artículos en un año no puede justificarse así como las citas de tales investigadores.
En los sistemas con los que estoy más familiarizado, no todas las publicaciones de revistas se pueden incluir en los CV. Esto es ciertamente cierto cuando se trata de PTR, o cuando se trata de solicitudes de subvenciones; Por lo tanto, las revistas de nivel inferior se filtran de donde publicarían los solicitantes. Además, un menor número de publicaciones puede compensarse con un mayor número de citas, es decir, dos artículos en Nature con muchas citas pueden considerarse equivalentes o mejores que 5 artículos con pocas citas en una revista de nivel medio.
Debido al auge de las revistas depredadoras, el recuento puro de publicaciones no es tan importante como solía ser, en el sentido de que las publicaciones depredadoras a menudo se descuentan; en este sentido sí importa el “prestigio” de la revista. La falsa premisa es que una sola puntuación puede capturar el "valor agregado" de un miembro de la facultad.
@MBK, no dije que el conteo de citas sea "confiable", dije que es más importante en el proceso de promoción, porque es algo que las personas, los comités y los compañeros observan. No conozco a nadie que analice los "factores de impacto" y, además, los IF declarados por los editores no son confiables (o "falsos").
@Buffy, gracias, agregué "evaluación por pares" ahora.
@ZeroTheHero Los diarios depredadores son irrelevantes. Todos los recuentos de citas, factores de impacto e índices h se toman directamente de WOS y la mayoría de las revistas depredadoras nunca llegan allí. Si lo hacen, permanecen en algún lugar en la parte inferior de la clasificación con un IF bajo. Generan pocas citas de otras revistas WOS. Solo cuentan las citas de WOS a WOS.
@VladimirF WOS no es el único proveedor de métricas (hay suficientes preguntas aquí en Google Scholar para que lo sepa). Mi punto es que el número total de documentos ahora ya no se acepta como una métrica.
@ZeroTheHer A nadie le importa Google Scholar, incluye demasiada basura. Aquellos que tienen el poder de distribuir dinero se preocupan por WOS y, a veces , pero solo a veces, por Scopus (pero incluso así solo como información secundaria). Cuando nos preocupamos por la cantidad de artículos, por supuesto, solo contamos aquellos en revistas que tienen un factor de impacto WOS. Los demás papeles no cuentan, a nadie le importan. Para algunos propósitos, como el dinero en nuestra universidad, solo cuentan los artículos en revistas en IF que están por encima de la mediana.
@VladimirF, su experiencia aparentemente es muy diferente a la mía en este asunto.
Estoy de acuerdo con Vladimir en no contar las revistas/conferencias que son depredadoras o están por debajo de cierto umbral de IF. Por supuesto, nadie los cuenta para la mayoría de los propósitos. Pero parece que ZeroTheHero dice precisamente eso, así que no veo dónde está el desacuerdo entre ustedes dos.

Tampoco tengo idea de "mayoría", pero ocasionalmente estamos discutiendo cuál sería una "métrica justa" para contar publicaciones. Todo el mundo está de acuerdo en que la evaluación del verdadero mérito científico es poco práctica (o incluso imposible) por una variedad de razones, desde la imposibilidad de leer y evaluar cuidadosamente todos los artículos en una variedad de áreas completamente diferentes hasta el mero hecho de estimar el impacto real de algo. , uno tiene que esperar más de 10 años como mínimo.

Nuestro sistema actual (por lo que recuerdo) es tener revistas de nivel 1 y nivel 2 con 2 puntos por una publicación en el primero y 1 en el segundo (también hay algunas reglas sofisticadas sobre publicaciones únicas versus publicaciones en coautoría). Era demasiado perezoso para leer correctamente, así que prefiero omitirlos aquí). Está lejos de ser ideal y es constantemente criticado por todos lados, pero después de todo no es un compromiso tan malo. He oído hablar de arreglos mucho peores en los que la formalización se convirtió en algo completamente absurdo (desde mi perspectiva, al menos). Los niveles están determinados por el "acuerdo general" (y aquí hay algo de lucha) con el factor de impacto jugando algún papel, pero no el decisivo. En general,

La razón principal de la existencia misma de este sistema de puntos parece ser que tampoco nos gustaría explicarle a la administración qué vale qué de forma rutinaria, ni a la administración le gustaría escuchar tales explicaciones más a menudo de lo absolutamente necesario, así que todo debe reducirse a un solo número. Cuando surgen casos realmente importantes (como la promoción a la titularidad, etc.), el número simplemente debe estar por encima de un cierto umbral (bastante bajo) y la decisión se toma en función principalmente de las cartas de recomendación y demás, pero para cuestiones triviales como el salario anual por mérito. basta con subir ese número y todo el mundo puede ver cómo se hacen los premios. La transparencia aquí es al menos tan importante como la equidad y dado que esta última difícilmente puede lograrse incluso en teoría, recurrir al famoso principio KISS es una idea razonable.

Por supuesto, la situación varía de un lugar a otro, pero lo que debe recordarse es que muchas reglas como esa no son creaciones de las universidades, sino de la facultad en los departamentos particulares, y los monstruos más feos nacen cuando la gente no quiere. ponerse de acuerdo en nada o incluso escucharse unos a otros. Varias "clasificaciones" de agencias independientes también juegan algún papel, por supuesto, y los factores de cita juegan un papel notable allí, a veces de una manera bastante extraña (nuevamente, en mi humilde opinión).

Como dije, el sistema actual está lejos de ser ideal, pero si alguna vez se le ocurre una idea brillante de una manera realmente buena (justa, transparente y práctica), hágamelo saber y estaré encantado de defenderlo localmente. :-)

Buenos puntos planteados, pero esto no es una respuesta a la pregunta.
@Dilworth De acuerdo, pero, como ya se ha dicho en los comentarios, la premisa misma de la pregunta es "cuestionable", por lo que solo describí lo que está sucediendo en un lugar en particular del que puedo hablar con cierta certeza. El punto es que le damos cierta importancia a esas métricas (y traté de explicar por qué), aunque no tanta . Si alguien trabaja en el lugar donde "tanto" es una regla, es posible que pueda proporcionar información más relevante, por supuesto.

En mi opinión, un problema importante es el concepto de "objetividad" y los problemas que conlleva. La objetividad puede significar muchas cosas, pero a menudo se toma como el resultado de un procedimiento de medición transparente y reproducible, y se asocia con la eliminación de la influencia de intereses y opiniones personales.

El dilema esencial con esto es que la capacidad y el potencial de un investigador y el valor de su trabajo son tan complejos (y seguramente no unidimensionales, como debe ser cualquier clasificación) que es probable que ningún procedimiento de medición "objetivo" pueda hacerlo. ellos justicia. En algunos lugares hay una tendencia a priorizar mediciones numéricas directas a pesar de ser obviamente deficientes (no estoy diciendo necesariamente que el número de citas y los factores de impacto sean los mejores). En algunos otros lugares, los miembros de la comisión toman decisiones de manera poco transparente, teniendo en cuenta las cartas de referencia y otra información de los pares. Esto puede funcionar bien, pero también está relacionado con el favoritismo y las viejas redes que protegen su campo.

¿Por qué las universidades otorgan tanta importancia al recuento de citas y los factores de impacto al evaluar a los investigadores?
RespuestasAquíPolítica de privacidad1y, 0v