¿El factor de impacto refleja la calidad de una revista?

No.

Para responder al comentario de Paul:

El título de la publicación pregunta sobre las revistas. Para obtener una lista desgastada de críticas al factor de impacto como indicador de la calidad de una revista, consulte el artículo de Wikipedia y las fuentes que cita. En muchas disciplinas, los artículos importantes reciben la mayoría de sus citas mucho más allá del período de dos años del FI . Los datos de citas sin procesar pueden ser manipulados por políticas editoriales, algunas más nefastas que otras , o incluso por artículos individuales . Los cálculos del factor de impacto de Thomson-Reuters no son reproducibles , incluso utilizando sus propios datos de citas. Etcétera ad nauseam. Pero lo más importante: tener muchas citas no es lo mismo que calidad.

El cuerpo de la publicación pregunta sobre artículos de revistas. El factor de impacto es (aproximadamente) el número promedio de citas de todos los artículos publicados por una revista en un período de tiempo determinado. Incluso si fuera una medida confiable de la calidad promedio (que no lo es), no diría nada sobre la calidad de ningún artículo individual .

Si las otras dos respuestas no han hecho esto obvio. La respuesta es no , pero se puede llevar incluso más allá de lo que sugieren las respuestas anteriores. ¡Podemos estudiar esto!

La imagen de arriba es el coeficiente de determinación entre el factor de impacto de las revistas y la tasa de citación de 2 años de sus artículos desde 1902 hasta 2009, para todas las revistas de ciencias naturales y médicas. Básicamente, esto significa que incluso si lo único que le importa es la cantidad de citas que obtiene, incluso entonces los factores de impacto de las revistas empiezan a importar cada vez menos.

Por supuesto, lo que importa es qué tan influyentes son sus ideas y no cuánto se citan, pero realmente no tenemos una buena métrica para eso.

Claramente, a la gente aquí no parece gustarle la idea de que el factor de impacto se use para evaluar la calidad de la revista. Tampoco soy un gran fanático del factor de impacto. Se puede jugar (y el grado en que se juega aumentará a medida que se le dé mayor importancia). También se vuelve particularmente problemático cuando se compara entre disciplinas con diferentes prácticas de citas y vidas medias de citas. Además, también existe el riesgo de que las personas comiencen a utilizar el factor de impacto para evaluar la calidad de los artículos, lo cual es mucho más cuestionable.

Dicho esto, dentro de una disciplina, generalmente encuentro que las mejores revistas tienen factores de impacto más altos. no es perfecto Pero hay una fuerte correlación. También hay investigaciones que muestran correlaciones muy altas entre varios índices de calidad de las revistas, incluidas las calificaciones de los pares, el factor de impacto y varios otros indicadores basados ​​en citas.

En resumen, dentro de un campo, el factor de impacto es una de las muchas variables que normalmente se correlacionan altamente con la calidad de la revista . Si no sabe nada acerca de la calidad de una revista, sabrá más al observar su factor de impacto. Sin embargo, eso no debería impedirle buscar otros indicadores, probablemente mejores, de la calidad de la revista (p. ej., cuál es su propia evaluación del contenido publicado en la revista en los últimos años).

También es muy importante preguntarse por qué quiere evaluar la calidad de una revista. ¿Es para seleccionar una revista? para recompensar, promover o contratar académicos? El uso del factor de impacto en estos casos puede ser problemático por una amplia variedad de razones, pero se trata de cuestiones separadas.

Aquí hay un artículo que encontré proporcionando evidencia empírica de Saha et al (2003). Para citar el resumen:

Objetivos: El factor de impacto, un índice basado en la frecuencia con la que se citan los artículos de una revista en publicaciones científicas, es un marcador putativo de la calidad de la revista. Sin embargo, faltan estudios empíricos sobre la validez del factor de impacto como indicador de calidad. Los autores evaluaron la validez del factor de impacto como una medida de la calidad de las revistas médicas generales al probar su asociación con la calidad de la revista según la calificación de los médicos clínicos y los investigadores.

Métodos: Encuestamos a médicos que se especializan en medicina interna en los Estados Unidos, seleccionados al azar del Physician Masterfile de la Asociación Médica Estadounidense (grupo de profesionales, n = 113) y de una lista de graduados de un programa nacional de capacitación posdoctoral en investigación clínica y de servicios de salud ( grupo de investigación, n = 151). Los encuestados calificaron la calidad de nueve revistas médicas generales y evaluamos la correlación entre estas calificaciones y los factores de impacto de las revistas.

Resultados: La correlación entre el factor de impacto y las calificaciones de los médicos sobre la calidad de la revista fue fuerte (r2 = 0,82, P = 0,001). La correlación fue mayor para el grupo de investigación (r2 = 0,83, P = 0,001) que para el grupo de profesionales (r2 = 0,62, P = 0,01).

Conclusiones: El factor de impacto puede ser un indicador razonable de calidad para las revistas médicas generales.

Referencias

• Saha, S., Saint, S. y Christakis, DA (2003). Factor de impacto: ¿una medida válida de la calidad de una revista?. Revista de la Asociación de Bibliotecas Médicas, 91, 42. PDF

La "calidad" es muy subjetiva. El factor de impacto es una buena medida de la frecuencia con la que se citan los artículos de una revista, pero esto no necesariamente se relaciona directamente con la "calidad".

Muchas revistas con un enfoque limitado tendrán factores de impacto relativamente bajos, pero todavía se consideran revistas de muy "alta calidad" (es decir, prestigiosas para publicar).

Como ejemplo, en las geociencias, Journal of Structural Geology es una revista mucho más prestigiosa (y más difícil de publicar) que, digamos, Tectonophysics (solo para elegir otra revista de Elseviver), pero tiene un factor de impacto más bajo.

Los editores de Epidemiology (una revista muy buena), publicaron recientemente un editorial sobre esto:

La mayoría de las principales revistas de epidemiología, incluida la nuestra, han visto un aumento constante en sus factores de impacto durante los últimos años. Al mismo tiempo, el rango relativo de estas revistas cambia de un año a otro. Es poco probable que tales cambios representen verdaderos cambios anuales en la calidad relativa de estas revistas. Creemos que las distintas revistas de epidemiología son realmente diferentes y merecen ser evaluadas y comparadas. Pero estamos más contentos cuando dichas evaluaciones se basan en cuestiones de fondo, como las políticas editoriales, la calidad de las revisiones, la calidad de la edición, la eficiencia en el procesamiento de los manuscritos y el impacto (real) de la revista en el campo.

Dicho editorial también tiene enlaces a varios otros en esa revista que critican la noción del Factor de Impacto y su mérito científico (o falta de él).

He visto que en términos de citación de un artículo notará que en la mayoría de los casos un artículo ha sido citado muchas veces por el propio autor en sus otros artículos de investigación o por sus alumnos y en ocasiones por sus colegas sin adjuntar ningún importancia real de la cita. La ubicación geográfica de la cita también importa, supongamos, por ejemplo, que si el autor de un determinado país recibe 10 citas de 10 países diferentes, estas 10 citas serían más importantes que las 10 citas de un solo país.