¿Cuántos artículos debo revisar como árbitro?

Como muchos académicos con un programa de investigación activo, se me pide que revise muchos artículos. Tomando prestada una idea de compañías de intercambio de archivos entre pares, trato de mantener un sentido aproximado de mi "proporción" reciente de revisiones que he hecho en los trabajos de otros sobre las revisiones que han recibido mis trabajos . Trato de asegurarme de tener una proporción que esté constantemente por encima de 1:1. Dado que muchos de mis artículos (y presumiblemente los artículos que reviso) son coautores, esto me parece muy generoso.

¿Cuántas revisiones debo hacer? cuantos son normales? ¿Es una proporción una forma efectiva de realizar un seguimiento de las revisiones? ¿Es apropiada y defendible una proporción mínima de 1:1?

Respuestas (5)

Me he preguntado sobre la misma pregunta. Una cosa que he notado es que hay una cantidad increíble de variación en la cantidad de revisiones realizadas. Tengo dos buenos amigos que son matemáticos fuertes y activos. La última vez que hablé con ellos, cada uno tenía al menos seis años después de su doctorado y nunca habían revisado un solo artículo. Esto parece malo, pero no es culpa de ellos: no se les pregunta.

Sospecho que la falta de coordinación entre revistas del mismo campo hace que se pida al mismo pequeño número de personas que evalúen artículos una y otra vez. No soy editor de una revista, pero he comenzado a preguntarme cómo los editores eligen a los árbitros: soy alguien que está recibiendo (¡lo que creo que es!) una gran cantidad de solicitudes de árbitros. Presento tal vez 2-4 documentos por año. No hace mucho tiempo solía recibir esa cantidad de solicitudes de árbitro por año, y todas eran de personas que me conocían directamente y se relacionaban con temas relacionados con mi trabajo de tesis o con las áreas en las que he escrito varios artículos. Ahora recibo al menos una docena de solicitudes de árbitros al año y, además de las anteriores, recibo algunas que parecen muy extrañas. No hace mucho me pidieron que arbitrara un artículo sobre (¡lo que creo que es!) teoría del control. Esto fue tan desconcertante que asumí que era algún tipo de situación de correo electrónico cruzado y le pregunté al editor al respecto. Resultó que el artículo sobre soluciones analíticas reales a las ecuaciones de Bezout me lo habían enviado debido a una pregunta sobre matemáticas.SE que respondí, en la que explicaba por qué el anillo de funciones analíticas en el plano complejo es un dominio de Bezout. Esto es angustiante: puedo ver por qué Google haría una conexión como esta, pero en el ámbito de los expertos académicos, ¿no es obvio que estamos en diferentes lados de las matemáticas? Experiencias como esta me hacen preguntarme quién está arbitrando artículos. en el que expliqué por qué el anillo de funciones analíticas en el plano complejo es un dominio de Bezout. Esto es angustiante: puedo ver por qué Google haría una conexión como esta, pero en el ámbito de los expertos académicos, ¿no es obvio que estamos en diferentes lados de las matemáticas? Experiencias como esta me hacen preguntarme quién está arbitrando artículos. en el que expliqué por qué el anillo de funciones analíticas en el plano complejo es un dominio de Bezout. Esto es angustiante: puedo ver por qué Google haría una conexión como esta, pero en el ámbito de los expertos académicos, ¿no es obvio que estamos en diferentes lados de las matemáticas? Experiencias como esta me hacen preguntarme quién está arbitrando artículos.

No estoy seguro de que contar papeles sea la forma correcta de medir si estás haciendo todo lo posible como árbitro. Como mencioné en un comentario a otra respuesta, muchos, creo que la mayoría, los artículos son evaluados por más de una persona, ya sea simultáneamente para la misma revista o secuencialmente, ya que muchos (¿la mayoría?) Los artículos se envían a más de una revista. antes de que sean aceptados. Aquí hay algunas cosas en las que he pensado:

1) No puede ser apropiado que todos arbitren el mismo número de artículos. Las personas con más experiencia deberían arbitrar más trabajos, pero también deberían arbitrar trabajos más importantes/difíciles. Las personas que tienen puestos permanentes o de alto nivel en la academia (especialmente: tenencia) deberían tener más obligaciones que aquellos que luchan por permanecer en la profesión.

2) No todos los artículos toman la misma cantidad de tiempo para arbitrar: ni siquiera cerca, en realidad. Trato de asegurarme de procesar rápidamente documentos especialmente cortos y simples: probablemente hago de 3 a 5 de esos cada año y, a menudo, los proceso en una semana o incluso en un día. Pero sería una tontería equiparar este tipo de trabajo de árbitro con los documentos largos y difíciles en los que pasa semanas o meses trabajando , tal vez teniendo que hacer una lectura externa considerable para evaluar adecuadamente. Hacer 2-3 trabajos importantes al año es lo que realmente me mantiene ocupado como árbitro. Supongo que trato de fijarme en la cantidad total de tiempo que he dedicado a arbitrar más que en la cantidad de artículos, aunque admito que no lo hago de manera formal.

3) A menos que un artículo sea claramente de la variedad de "un día" como se indicó anteriormente, trato de que mi cola no supere los 2 artículos. Esto también es por respeto a los autores: si tengo que leer dos artículos antes de llegar al tuyo , tendrás que esperar al menos seis meses, probablemente más. Si en un momento dado todos los académicos suficientemente experimentados/calificados tuvieran 0 o 1 trabajos para arbitrar y se esforzaran por procesar los trabajos más rápido de lo que los envían, entonces las cosas funcionarían relativamente bien, supongo.

Si envía 4 artículos por año y obtiene al menos 2 revisiones por cada artículo, entonces 12 artículos es aproximadamente la cantidad que debe revisar para recuperar el tiempo de revisión y edición que se dedica a sus envíos. Consulte Mi respuesta a continuación para obtener más información sobre por qué. En cuanto a cómo los editores seleccionan a los revisores, buscamos revisores que ya están en nuestra base de datos y tienen coincidencias de palabras clave con el artículo enviado, o buscamos personas que hayan publicado sobre temas similares en los últimos años. Si sus revisiones son buenas y oportunas, se le preguntará con más frecuencia.
Creo que el punto 2 es excelente: simplemente contar el número de artículos revisados ​​no tiene sentido. Medir el tiempo dedicado a las revisiones es mucho más significativo.

Podría contar cada artículo de n autores en el que se encuentre como 1/n de un artículo. Por lo tanto, cada vez que envíe para publicación un artículo de 2 autores, un artículo de 3 autores y un artículo de 6 autores, es hora de evaluar otro artículo.

Si la revista utiliza más de un árbitro por artículo, ajuste en consecuencia.

En cierto sentido, esto debe ser lo que hace la mayoría de la gente, en promedio.

Editar: se podría preguntar a los editores cuántos árbitros usan por artículo. Mejor aún, los editores deberían ofrecer esa información.

No conozco ninguna evidencia que sugiera que esto es lo que la gente hace en promedio. Mi sensación es que algunas personas revisan toneladas de artículos y muchas personas (por ejemplo, estudiantes de posgrado) envían artículos pero rara vez se les pide que los revisen.
@BenjaminMakoHill: En promedio, las personas hacen exactamente tantas reseñas como las que reciben (escaladas por el número de coautores). Cada revisión que alguien recibe proviene de alguien.
Los promedios deben ser exactamente los mismos si promediamos sobre todas las personas que alguna vez enviaron o revisaron un artículo, pero no necesariamente sobre las personas actualmente activas en el campo. (Por ejemplo, es posible que las personas que abandonan el campo hayan enviado en promedio más documentos de los que han revisado).
@JukkaSuomela. Si tratamos a los grupos de todos los autores y revisores como un grupo único para promediar, eso es correcto, aunque no estoy seguro de que sea justo. Solo quise sugerir que si observáramos la distribución de reseñas entre revisores, sospecho que vería una distribución muy sesgada. En cualquier caso, estoy menos interesado en las declaraciones matemáticas sobre promedios que en una discusión sobre lo que alguien debería hacer.
@BenjaminMakoHill: No veo cómo el número "recomendado" podría estar por debajo del número promedio. De lo contrario, si todos siguieran la recomendación, el sistema colapsaría.
@JukkaSuomela. Sí, pero sin duda podría estar por encima.
El hecho de que muchos (¿la mayoría?) de los artículos sean revisados ​​por más de una persona (ya sea por la misma revista o por diferentes revistas) no parece tenerse en cuenta en el análisis de esta respuesta. Esto hace que la cifra de revisar el doble de documentos de los que envía parezca más justa/segura desde la perspectiva de "tirar de su peso promedio".
Agregado: me perdí la oración "Si la revista usa más de un árbitro por artículo, ajuste en consecuencia". Lo siento. Pero algunas revistas usan solo un árbitro, otras usan varios, y no conozco todas las estadísticas, por lo que es difícil adaptarse. Además: esto no tiene en cuenta que el mismo artículo puede ser arbitrado por varias revistas diferentes. Si digo que creo que, en promedio, cada documento es evaluado por 3 personas y usted dice que son 2, entonces diferimos significativamente en la cantidad de trabajo que creemos que debe hacer cada persona. Entonces, ¿todos resuelven el problema de Fermi a su manera?
@PeteL.Clark: "...así que es difícil de ajustar...": En realidad, todo esto es trivial de ajustar. No necesita considerar "papeles promedio" ni estimar nada. Solo considere los documentos que revisa y los documentos que envía . Todos saben (al menos en principio) cuántas reseñas han escrito personalmente y todos saben cuántas reseñas (normalizadas por coautores) han recibido en total (incluido todo: reenvíos, múltiples reseñas por envío, etc.). Simplemente mantenga un registro de estos dos números y asegúrese de que, a largo plazo, su diferencia sea positiva.
(Solo para aclarar. Cuando revisa un artículo, las matemáticas son así: "esto cuenta como 1 revisión escrita por mí". Y cuando envía un artículo con n coautores y recibe los informes y ve que hay k revisiones, el las matemáticas dicen así: "esto cuenta como k/n revisiones recibidas por mí". Usted hace lo mismo independientemente de si su artículo fue rechazado o aceptado. No es necesario obtener información adicional de los editores).
@Jukka: El hecho de que vea k informes no significa que solo se reclutaron k árbitros para revisar el documento. He tenido trabajos tanto aceptados como rechazados sin recibir ningún informe de los árbitros. Además, el asunto de los coautores y las fracciones supone que sus coautores están haciendo la misma cantidad de arbitraje que usted, lo cual, si son mucho más jóvenes o mayores que usted, puede no ser el caso. Muchos de mis coautores son estudiantes de posgrado que hacen poco o ningún arbitraje.
Pero estoy de acuerdo con la esencia de lo que dices: tratar de calcular el promedio es innecesariamente complicado. Probablemente pueda tener una idea bastante clara de cuántos árbitros "utiliza" por año y asegurarse de mantenerse por delante de eso. Cuán adelante quieres estar sigue siendo una decisión de juicio, como hablo en mi respuesta.
@BenjaminMakoHill, simplemente sume los documentos presentados y los documentos revisados, las sumas deben coincidir. Lema de apretón de manos de teoría de grafos disfrazado ;-)

Hablando como editor y organizador de conferencias, es difícil encontrar revisores buenos y confiables. Para que alguien sea un buen revisor, además de estar en la disciplina adecuada, debe ser:

  1. Un científico lo suficientemente fuerte como para confiar en su opinión.
  2. Capaz de expresar su análisis de un artículo de forma clara y constructiva.
  3. Lo suficientemente bueno en la gestión del tiempo para devolver la revisión rápidamente
  4. No demasiado sobrecargado con otras responsabilidades para aceptar

Muchos autores fallan en estas pruebas, especialmente en la primera: cualquiera que haya pasado mucho tiempo revisando sabe que se están escribiendo muchos artículos muy malos. Además, los documentos que se rechazan a menudo se revisan y se envían a otro lugar, por lo que pueden requerir varios grupos de revisores. Todo esto se suma a lo siguiente: si usted es un revisor bueno y confiable en su comunidad, tendrá una gran demanda y es razonable tener una proporción de más de 1:1.

Por ejemplo, en los últimos tres años, excluyendo las revisiones de casos de concesión y permanencia, según mis registros, revisé 31 artículos en 2012, 24 artículos en 2013 y 30 artículos en lo que va de 2014 (con algunos más comprometidos a regresar antes de la fin de año). Esto pone mi proporción muy por encima de 1:1, y el valor real depende principalmente de las fluctuaciones en el denominador.

En resumen, recomiendo ver las reseñas no en términos de proporciones, sino en términos de cuánto tiempo se siente cómodo dedicando a las reseñas de calidad de los lugares que desea apoyar. No acepte solicitudes de revisión de revistas o congresos que no respete: hay muchas publicaciones de baja calidad que pueden hacerle perder el tiempo. Además, no acepte más revisiones de las que puede manejar, incluso si eso significa que su proporción es menor: es mejor dar una revisión bien pensada que dos revisiones apresuradas y superficiales que pueden pasar por alto puntos importantes y molestar a los autores. Responda sí o no a cada solicitud de revisión con prontitud: de lo contrario, está creando un problema para un editor que no sabe si necesita reclutar más revisores o no .

Cuatro veces más de los que envíe como autor correspondiente.

Mi razonamiento es:

  • La mayoría de las revistas solicitan entre dos y cuatro informes de árbitros por cada artículo que se envía para su revisión. Agregue a esto el tiempo del miembro voluntario del consejo editorial que probablemente esté manejando el manuscrito.
  • Algunos académicos no cumplen con su deber con la comunidad y rechazan todas las solicitudes de revisión, por lo que el resto de nosotros tenemos que compensarlos.
  • Según mis cálculos, esto equivale a aproximadamente 4 veces la cantidad de documentos que envía, siendo una carga justa.
"La mayoría de las revistas solicitan entre dos y cuatro informes de árbitros por cada artículo que se envía para su revisión". Esto depende mucho del sujeto. En mi campo, las matemáticas, el número más común de árbitros es uno. He enviado más de 30 artículos para su publicación y nunca he recibido más de dos.
Por cierto, si quiere ser cuantitativo al respecto (que, como digo en mi respuesta, no necesariamente creo que sea el mejor camino a seguir), entonces, ¿cómo se tiene en cuenta el número de coautores en su cálculo?
El número de coautores es irrelevante si solo cuenta el número de artículos que envía. Usted, personalmente, como autor correspondiente. Estoy realmente sorprendido de escuchar que una revisión es suficiente en algunos campos. ¡Eso debe acelerar mucho el proceso de revisión y hacer que responder a los comentarios de revisión sea mucho más fácil (sin navegar por las opiniones contradictorias de los revisores)! La revista de la que soy editor prefiere 4 revisiones y requiere al menos 3 para cada manuscrito.
"¡Eso debe acelerar mucho el proceso de revisión y hacer que responder a los comentarios de revisión sea mucho más fácil (sin navegar por las opiniones contradictorias de los revisores)!" Bueno, con frecuencia uno recibe los informes de los árbitros en menos de un año, pero no siempre. Espero, por tu bien, que eso no te suene tan rápido.
Me perdí la parte del "autor correspondiente" de su respuesta, en parte porque no apareció en su comentario. Nadie que conozca interpretaría "Envío de 2 a 4 artículos por año" como "Envío de 2 a 4 artículos por año como autor para correspondencia ", ya que en mi campo "autor para correspondencia" significa precisamente "la persona que envía el correo electrónico al revista / llena el formulario en línea". No conozco ninguna razón para no dividir los deberes del autor correspondiente aproximadamente por igual entre los autores, pero por otro lado no tengo garantía de ello. Algunas personas son, sin duda, autores correspondientes con más o menos frecuencia que sus coautores.
¿Alguien a quien no le gusta llenar formularios en línea y, por lo tanto, sus coautores lo hacen, debería estar realmente relevada de todas las funciones de arbitraje? O si, por ejemplo, un artículo de tres autores debe compararse con tres revistas antes de que se publique, probablemente la misma persona será el autor correspondiente las tres veces. ¿No debería contar esto como un trabajo de árbitro por autor, no tres trabajos para el autor de correspondencia? Así que tu cálculo no me parece muy exacto.
El autor correspondiente tiene una gran importancia en algunos campos.
@PeteL.Clark Bastante justo. Si lo prefiere, puede usar "primer autor" en lugar de "autor correspondiente". O simplemente divida la cantidad de artículos en los que es autor por el número promedio de coautores en esos artículos. Estoy acostumbrado a que el autor de correspondencia sea el primer autor, y que el primer autor sea el que ha realizado la mayor parte del trabajo y ha motivado la presentación del artículo, pero estoy de acuerdo en que no siempre es así.
@Significance: recuerde que hay varios campos académicos, como las matemáticas, en los que "primer autor" significa "el autor cuyo apellido aparece primero en orden alfabético". Esta sería una forma extraña de asignar funciones de árbitro. Si solo tiene la intención de que su respuesta se aplique a ciertos campos académicos, está bien, pero dígalo. Por otro lado, aquí ya hay una respuesta (la de Kjos-Hanssen) que da un sistema que funciona independientemente de cualquier suposición cultural implícita sobre la coautoría. ¿Por qué necesita enumerar un número que está destinado a funcionar para todos pero en realidad no funciona?
@PeteL.Clark el comentario al que está respondiendo ya reconoció este punto (que no todos los campos siguen las mismas prácticas). La respuesta de Kjos-Hanssen ahora es genérica y suficiente, ya que ha sido editada, pero la versión original, que estaba allí cuando comenté por primera vez, asumía solo un revisor por artículo, lo que es poco probable en la mayoría de los campos. Mi respuesta tenía la intención de hacer el mismo punto de manera más clara y simple: es decir, devuelva lo que se hizo por usted.
@Significance: la respuesta de Kjos-Hanssen no ha cambiado durante más de un año antes de que se uniera al sitio. "Pague lo que se hace por usted" es una respuesta buena y simple, pero ciertamente no es equivalente a "Arbitro cuatro veces más artículos de los que envía como autor correspondiente".
No parece reconocer que hay campos académicos completos en los que su respuesta es una gran sobreestimación. Por ejemplo, estoy supervisando un postdoctorado que en el último año fue el "autor correspondiente" en un artículo y el árbitro de un artículo. Número de árbitros involucrados en la revisión de su artículo: uno. Usted está diciendo que para hacer su parte debería estar haciendo cuatro veces más arbitraje. Pero cuatro veces más arbitraje para un matemático joven y cuidadoso la dejaría fuera del negocio. Así que mis comentarios se basan en imaginar a alguien como ella leyendo tu respuesta.
@PeteL.Clark Reconozco, y ahora he reconocido tres veces, que hay campos académicos en los que el promedio de reseñas es más bajo y/o el autor correspondiente no es la mejor manera de asignar responsabilidad. Ciertamente no estoy diciendo que su posdoctorado no esté haciendo su parte. Indiqué claramente las suposiciones en mi respuesta original para que quedara claro en qué circunstancias no se aplicaban. No creo que usted piense sinceramente que tenemos un desacuerdo sustancial aquí, por lo que no me desviaré más. Sí, puede responder y tener la última palabra.
"Expuse claramente las suposiciones en mi respuesta original para que quedara claro en qué circunstancias no se aplicaban". Das una cifra incondicionalmente, no bajo ciertas hipótesis. "No creo que pienses sinceramente que tenemos un desacuerdo sustancial aquí". Sinceramente, creo que tenemos un desacuerdo de fondo: estás dando consejos que serían perjudiciales si algunos los siguieran, y no estoy de acuerdo con que sea obvio quién debería seguir tus consejos (y ciertamente no lo has dicho). Pero sí creo que los comentarios y la votación ayudarán a los lectores a no ser engañados, por lo que probablemente esté bien.

En primer lugar, estoy totalmente de acuerdo con la respuesta de Pete L. Clark .

Sin embargo, no estoy de acuerdo con la mentalidad que piensa: "Revisar un artículo es SOLO hacerle un favor a la comunidad". Todos leemos documentos para estar al tanto de nuestros campos, obtener una mejor comprensión del mundo que nos rodea y obtener nuevos conocimientos. Yo personalmente leo varios periódicos cada mes. Sin embargo, en cada artículo que leo, debo mantener mi punto de vista crítico. Por lo tanto, no hay nada de malo en revisar muchos documentos.

Cuando recibe un trabajo que le parece interesante, puede decidir revisarlo (por supuesto, hay una carga de escribir sus pensamientos, que es insignificante). Si el trabajo no es interesante, simplemente puede rechazar la solicitud de revisión y continuar.

¿Cuántos artículos debo revisar como árbitro?
RespuestasAquíPolítica de privacidad1y, 0v