Hay tres casos diferentes en los que el nivel de investigación de un artículo debe evaluarse antes de cualquier publicación:
Si comparamos este proceso con la justicia, un árbitro es como un abogado y un editor es como un juez.
Pregunta : ¿Cómo un autor, un árbitro y un editor pueden (respectivamente) evaluar el nivel de investigación de un artículo?
Aquí preguntamos sobre el nivel puramente de investigación de un artículo, por lo que asumimos que el artículo es original, correcto y bien escrito. También asumimos que el artículo no es demasiado especializado si se trata de una revista de audiencia general, y está en el tema si se trata de una revista especializada (ídem para cualquier otra especificidad). Finalmente, si es específico, estoy principalmente interesado en artículos matemáticos.
Una forma de utilitarismo podría ser estimar cuántos artículos deberían citar este artículo en los próximos cinco años (exceptuando las autocitas). Luego, el autor puede elegir una revista que tenga este número como puntuación de influencia del artículo (después de la renormalización), y el árbitro puede verificar si coincide con la revista elegida. Pero entonces habría que saber hacer tal estimación...
Por supuesto, un autor/árbitro/editor puede evaluar el artículo de manera subjetiva, pero la subjetividad varía con las emociones, puede manipularse y el proceso puede volverse político. Me pregunto si hay una forma objetiva de proceder, o al menos, si podemos agregar un poco de racionalidad en este proceso. Consideremos el proceso de justicia, contiene innegablemente una parte de subjetividad, pero también de racionalidad, llamada derecho.
Si bien creo que su metáfora de la "justicia" es incorrecta, la respuesta en todos los casos es la experiencia . Necesita experiencia en el campo como revisor. Necesita saber qué se ha hecho y qué es importante aún por hacer. Como editor, necesita esa experiencia de campo o experiencia con sus revisores: quién es confiable y quién no. Como autor al comienzo de su carrera, no tiene más experiencia que algo dentro del campo, pero crecerá.
Para todos aquí, la forma de obtener experiencia es esforzarse al máximo en cualquier trabajo que tenga y evaluar la respuesta. Como dicen en ingeniería e informática, "El buen diseño proviene de la experiencia. La experiencia proviene del mal diseño".
Si está buscando un algoritmo, entonces diría que no existe. En teoría, podría ser posible construir uno con una IA que analice decenas de miles de interacciones, pero podría mostrar un sesgo, como se ha demostrado que hacen muchas de esas cosas.
Pero el sistema en su conjunto solo depende de (casi) que todos intenten hacer lo mejor que puedan con lo que tienen frente a ellos en un mundo de información imperfecta.
En teoría, la teoría es lo mismo que la práctica. Pero no en la práctica. -Fnord Bjornberger
Creo que tienes una idea equivocada sobre el punto de la revisión por pares. El proceso de revisión no pretende ser una predicción futura de cuántas citas podría recibir un artículo. Sin embargo, he experimentado en el pasado que algunas revistas preguntan a los revisores, una vez finalizada la revisión, si un artículo debe destacarse en la edición actual de la revista o en el sitio web de la revista.
Como revisor, puedo emitir un juicio personal si un artículo debe destacarse, pero a pesar de lo amplia, interdisciplinaria y diversificada que se ha vuelto la ciencia, a menudo voto para no destacar un artículo, porque sería un juicio subjetivo. También dejo la decisión, si un guión se ajusta al alcance de una revista a menudo al editor (y solo se preocupa por la calidad de la investigación informada), esto literalmente no es asunto mío como revisor no remunerado y se basa en mi punto de vista, para seleccionar un artículo para leer por mí mismo por factores que no me sesguen demasiado, como el factor de impacto de la revista, etc.
Simplemente se sigue de la historia científica que a menudo no podemos predecir el impacto de la investigación fundamental. También creo que no hay necesidad de hacer lo que pide o sugiere para los guiones enviados antes de la publicación, porque el resaltado temporal de investigaciones importantes se realiza en conferencias y luego por los pares y lectores de la comunidad a través de artículos de revisión o incluso blogs, donde tiene muchos más "jueces", más experimentados y objetivos, que antes de la publicación.
jon custer
andreas blass