¿Por qué existen errores en las publicaciones revisadas por pares?

La gente comete errores.

Los autores, revisores y editores de manuscritos son personas, y las personas no son perfectas. Incluso si todas las personas involucradas en la publicación de un manuscrito detectan el 99 % de todos los errores, aún es posible que algunos errores pasen desapercibidos. Esta probabilidad, por supuesto, aumenta cuando los autores/revisores son descuidados, pero nunca se puede eliminar por completo, incluso con una revisión muy meticulosa.

Según mi experiencia en la revisión de documentos, es prácticamente imposible revisar realmente todos los aspectos de un documento. Este es particularmente el caso en algunos campos donde los métodos complementarios van por 100s de páginas y el código puede tener 10s o 1000s de líneas de largo. Es poco probable que todos los revisores tengan un conocimiento profundo de campos específicos y la gran cantidad de tiempo que se requiere para evaluar adecuadamente todo lo que se encuentra en el artículo. Este es particularmente el caso en campos que son relativamente nuevos e innovadores: simplemente no existe el grupo de revisores capaces.

Por ejemplo, recientemente revisé un artículo para una revista importante (Nature Genetics) que involucraba una pieza de software compleja y bastante especializada para el análisis genético. No había forma de que pudiera evaluar cada línea de código que habían escrito, por lo que no se podía esperar que el revisor detectara fallas y errores en el código. Tenemos que mirar los resultados presentados y su justificación para luego asumir que el código está funcionando como dijeron los autores. Hay una gran cantidad de fe en los autores de que su código hace lo que dicen que hace. Podría haber pasado un mes entero sin parar revisando el artículo y todavía imagino que se me podrían haber escapado cosas menores.

Este problema se ve agravado por a) el hecho de que a los revisores no se les paga yb) los revisores a menudo tienen mucho trabajo yc) no hay mucha motivación más allá del profesionalismo y los ideales académicos (aunque, por supuesto, estos pueden ser fuertes factores de motivación) para gastar una gran cantidad de tiempo revisando meticulosamente documentos.

tl; dr. Los revisores en su mayoría hacen el mejor trabajo que pueden, pero dada la terrible estructura establecida para realizar la mayoría de las revisiones por pares, ciertamente no confiaría en que una revisión por pares sea un certificado de hierro fundido de que todo en el documento es correcto, pero afortunadamente la gran mayoría de las personas en el mundo académico son honestas y no intentan engañar a los lectores ni a los revisores.

Idealmente, esto no sucedería, pero es casi inevitable.

Por ejemplo, si está arbitrando una prueba, es probable que no la lea línea por línea. De hecho, cuando solo puedo leer un argumento matemático de esa manera, es porque aún no lo he entendido, y esta es una forma realmente mala de verificar la corrección global, o la coherencia, o la originalidad. Se puede perder mucho, e incluso si todo es correcto, es probable que al final sea difícil decir con certeza qué tan flexible es el argumento, si todos los supuestos son realmente necesarios, si algunos pasos son realmente tan difíciles como se describe. , o por qué. Usualmente leemos modularmente, tratando de captar la estructura global del argumento, usando lemas y similares como cajas negras. Solo cuando esa estructura tiene sentido, procedemos a los lemas. O puede que ni siquiera leamos las demostraciones de los lemas, porque vemos cómo probarlas nosotros mismos. Ahora, si una de esas pruebas tiene un problema tal como está escrito en el artículo, existe la posibilidad de que lo pasemos por alto porque veremos cómo probar el lema de todos modos. A algunos árbitros no les importan mucho los errores a este nivel, ya que son fácilmente reparables, y lo que más importa es que el argumento general es sólido.

Sería mucho mejor, en general, si los artículos incluyeran discusiones extensas sobre motivación, intuición, estrategias de prueba, etc. Las personas que los leyeran encontrarían los argumentos más fáciles de digerir y la posibilidad de pasar por alto un error se reduciría. Pero la escritura técnica es difícil para empezar, algunas revistas tienen límites de páginas y, a veces, hay restricciones de tiempo (relacionadas con consideraciones de titularidad o promoción, por ejemplo) que restringen la capacidad de los autores para dedicar el tiempo que requeriría esta inclusión. Por supuesto, no tener tales comentarios a lo largo del documento puede dificultar que los árbitros y otros lectores comprendan algunos de los detalles, lo que puede conducir a errores perdidos.

Idealmente, nosotros como árbitros deberíamos leer el documento varias veces, al menos una vez línea por línea, pero pocas veces estamos en condiciones de dedicar tanto tiempo al proceso. Cuando puedo permitirme el tiempo, incluso puedo comentar sobre errores tipográficos o de estilo, aunque prefiero que la sustancia de mis comentarios sea sobre las matemáticas del artículo y su potencial para generalizaciones o extensiones, o conexiones con otros trabajos. En algunos momentos felices he visto cómo mejorar algunas de las pruebas presentadas en el documento, pero imagino que también me he perdido detalles importantes.

Por supuesto, bien puede ser que un artículo tenga un error que no esté al nivel de un error tipográfico o un lema que no esté del todo probado como debería estar. Un error puede ser significativo y aún podemos pasarlo por alto. A veces encontramos un argumento similar a algo con lo que estamos familiarizados, y nos saltamos la verificación de detalles que esperamos que sean rutinarios, y terminamos perdiendo algo serio. O lo malinterpretamos. Realmente no es tan raro o sorprendente.

Los artículos no están escritos en lenguajes formales que sean verificables por máquina. Algunas personas argumentan que deberían serlo. Cualquiera que sea el caso, actualmente la mayoría de nuestras pruebas son conversacionales y, en ocasiones, se pueden omitir tecnicismos. Muchos documentos son muy densos y se necesitan años de examen cuidadoso por parte de muchas personas para detectar fallas, lagunas o errores genuinos. La revisión por pares no pretende significar una garantía perfecta de corrección, y es un error pensar que tiene ese objetivo.

A continuación se presenta una cita sobre el proceso de arbitraje de la revista Discrete Analysis , destacando precisamente este último punto:

En algunos casos, no es razonable esperar que un revisor verifique la corrección de un artículo hasta el último detalle. En tales casos, los editores pueden estar satisfechos con la evidencia indirecta de que es probable que un artículo sea correcto. (Por ejemplo, puede ser que el esquema general del argumento sea convincente, pero que los detalles técnicos involucrados en convertir el esquema en una prueba completa sean muy complicados). Por lo tanto, la publicación en Discrete Analysis no debe considerarse una garantía absoluta de corrección, al igual que en la práctica no es garantía para ninguna otra revista.

Soy ingeniero y es casi imposible revisar artículos en mi campo para que sean completamente correctos, ya que los artículos suelen resumir los hallazgos con códigos informáticos novedosos o experimentos a los que no tengo acceso directo. Reviso un artículo para ver si está libre de falacias obvias, sobre el tema de la publicación y parece representar un trabajo de suficiente calidad y novedad para que los investigadores posteriores puedan encontrarlo útil. Si estoy satisfecho con estos aspectos, haré clic en "recomendar para publicación". Dejaré comentarios sobre problemas menores si los veo, pero no veo como mi trabajo corregir o editar documentos de forma gratuita.

Los ingenieros generan una gran cantidad de datos y modelos sobre temas oscuros, por lo que sospecho que estos estándares son un poco diferentes a los de algunas de las principales revistas científicas. Sin embargo, recomendaría a cualquiera que no tenga experiencia de primera mano en la revisión de artículos que vea la revisión por pares más como un proceso de selección para eliminar la basura que para asegurarse de que lo que se imprime es absolutamente correcto.

Creo que el error humano es la razón más común de la inexactitud en los artículos científicos revisados ​​por pares, pero debo agregar respetuosamente otra razón: la política académica. Me desempeñé como revisor por más de 20 años. Por lo general, dediqué de 10 a 20 horas a cada revisión, porque la integridad de la información es la base del avance científico.

Cuanto más tiempo servía como revisor por pares, más frecuentemente recibía artículos sobre temas controvertidos o de "grandes nombres" en mi campo. Se supone que las reseñas son anónimas, pero cuando los autores se refieren a "nuestro trabajo anterior (xxx, 2012)", el anonimato desaparece.

Lamentablemente, se hizo evidente que algunos editores de alto nivel estaban menos dispuestos a exigir revisiones de "grandes nombres" que usaban métodos inferiores, interpretaban incorrectamente el significado de sus resultados estadísticos o caracterizaban de forma muy errónea los resultados de investigaciones anteriores. Los errores que habrían sido la sentencia de muerte para un trabajo escrito por un novato fueron pasados ​​por alto, descartados y justificados. (Mi propia investigación se volvió cada vez más ardua cuando me di cuenta de que necesitaba verificar la veracidad de cualquier cita que encontrara antes de confiar en ella).

Dejé de revisar por pares después de pasar tres semanas en un artículo particularmente crítico escrito por un "gran nombre". Esta persona había utilizado un tipo de análisis con el que yo estaba familiarizado, pero que no era muy conocido en mi campo. Sencillamente, el periódico era un choque de trenes. Entre varios otros errores graves: los principios básicos de la teoría subyacente al análisis fueron ignorados, tergiversados ​​o citados incorrectamente. Los cálculos matemáticos eran completamente incorrectos. Y en lugar de usar instrumentos de medición estándar comunes en el campo, el autor usó instrumentos no probados ni publicados desarrollados en su laboratorio.

Yo no era un "gran nombre", y quería asegurarme de que estaba en un terreno muy sólido en mi crítica. Documenté cada una de las preocupaciones en mi revisión de ocho páginas con referencias al material publicado; nunca dejé que el editor senior simplemente "confiara en mi juicio". Cuando sabía que el editor principal podría tener dificultades para localizar una fuente, envié fotocopias del material que había utilizado.

El artículo fue aceptado para su publicación sin un solo cambio sustancial. Los otros revisores, que admitieron que no sabían nada sobre la base teórica bastante densa del análisis, devolvieron reseñas de media página que mencionaban solo errores tipográficos y oraciones corridas. El editor senior no estaba dispuesto a discutir la decisión conmigo.

Como dije en mi declaración de apertura, no creo que la política académica sea responsable de la mayoría de los errores en la investigación revisada por pares. Creo que la mayoría proviene de un error humano honesto o de un descuido desafortunado. Publico esta respuesta para completar la respuesta al OP y para hacer explícito el hecho de que los "grandes nombres" no garantizan "buena ciencia" o publicaciones sin errores.

El revisor no es responsable del contenido de un artículo. Da su opinión sobre la novedad y el rigor científico, y recomienda su aceptación o rechazo en función de esa opinión. Tiene la libertad de recomendar mejoras y se espera que señale cualquier cosa que le parezca errónea .

El autor no debe mentir (eso crearía una responsabilidad de su parte), pero por supuesto puede errar como lo hacen todos los humanos en casi todos los momentos de vigilia.

Sin embargo, el lector nunca debe dar nada por sentado simplemente porque está escrito en un artículo. Es el lector quien debe verificar todo dos veces y aún cargar con toda la responsabilidad si pierde tiempo, dinero o una extremidad debido a un concepto erróneo que fue transportado en algún artículo científico.

Diría que hay otra fuente de errores en las publicaciones revisadas por pares. Estos últimos deben contener algo nuevo, por lo que a menudo son lo último en tecnología, y es difícil producir y revisar sus resultados, de ahí los errores.