¿Existen medidas para garantizar la "honestidad académica"?

He estado leyendo algunas reflexiones sobre la investigación y la academia últimamente, y me ha llevado a pensar más críticamente sobre lo que hacemos y lo que nos depara la vida que perseguimos.

Algunos de ustedes pueden recordar otra pregunta mía reciente , en la que preguntaba sobre la forma correcta de configurar proyectos en base a una carta abierta que leí sobre cómo la academia no es lo que dice ser. Ahora me he topado con esta entrada de blog que se centra en las deficiencias del proceso de revisión por pares simple ciego que se utiliza abrumadoramente en la publicación de investigaciones biomédicas.

Ahora todo me remite a una idea inquietante que tuve hace algún tiempo; que la calidad de la investigación y la verdad de todo lo que hacemos depende esencialmente de una virtud bastante frágil, lo que se podría llamar "honestidad académica". Contamos con la objetividad de los revisores y editores, contamos con editores e investigadores ingenuos y con buenas intenciones con su trabajo, contamos con que las personas no antepongan su beneficio personal al de la sociedad.

Como cualquier persona en la calle le dirá, no vivimos en un mundo ideal y [ llámeme pesimista si quiere ], por lo tanto, no creo en el bien inherente de las personas (al menos no confío ni cuento en eso). No veo cómo los académicos deberían estar exentos de una degeneración en la sociedad que afecta a todos los demás.

Eso me lleva a mi pregunta; ¿Qué medidas existen para garantizar esta "honestidad académica" en la que parece que confiamos tanto? ¿Cómo sabemos/garantizamos:

  • que los revisores no pierdan su objetividad, por ejemplo al mirar un manuscrito de un competidor

  • ¿Que no hay colusión entre IP de alto perfil y editores de revistas de "alto impacto"?

  • que los académicos (en distintas etapas de su carrera) no consideran/priorizan "aumentar" los números (por ejemplo, "índice h" o "factor de impacto", etc.) cuando inician sus proyectos de investigación?

  • que las subvenciones/premios/títulos se otorgan realmente a los mejores proyectos/personas desde la perspectiva del bien común, y no en función de qué tan bien conectados estén los solicitantes? (después de todo, estos comités deben tener o estar compuestos por otros investigadores, ¿quién más podrá juzgar el impacto y la importancia de la investigación de vanguardia que otros investigadores?)

Me doy cuenta de que es una pregunta amplia, pero he tratado de brindar una historia de fondo completa para darle una idea de cómo llegué a esta idea. Del mismo modo, traté de reducir mi preocupación a una pregunta general (en lugar de buscar discusión), con un par de preguntas de seguimiento de ejemplo para aclarar mi punto. Puedo preguntarles por separado si es necesario, pero creo que se sientan mejor juntos, tal como están.

" que las subvenciones/premios/títulos se otorgan realmente a los mejores proyectos/personas desde la perspectiva del bien común " no se olviden de los trabajos y puestos.
@VahidShirbisheh, por supuesto, pensé que estaría implícitamente implícito, pero sí, definitivamente se aplica a los puestos

Respuestas (2)

Permítanme agregar algunos puntos además de la gran respuesta de @Peter Jansson:

Existen "herramientas" que ayudan con algunas de sus inquietudes

que los revisores no pierdan su objetividad, por ejemplo al mirar un manuscrito de un competidor

  • Por un lado, la mayoría de las revistas que conozco no solo solicitan revisores sugeridos, sino que también puede solicitar que no se pida a personas en particular que revisen su artículo.

  • Las revistas que conozco tienen al menos 2, generalmente 3 reseñas. Entonces, un "rechazo" firme significa que varios revisores estuvieron de acuerdo en que el artículo es malo. Si bien uno puede tener una opinión sesgada, con 3 rechazos tal vez sea hora de detenerse y pensar si el artículo es realmente bueno o no.

  • El sesgo en la revisión por pares es una cosa, pero la variación es otra. Y, desde mi experiencia, la variación es alta. IIRC hay estudios sobre calificaciones en textos de diferentes maestros de escuela que se encontraron que varían entre buenos y apenas aprobados para un mismo texto. Supongo que la revisión por pares es similar.

  • Personalmente, preferiría que las revisiones por pares se hicieran abiertamente (ambos lados nombrados, algunas revistas lo hacen, aunque ninguno en mi campo) en lugar de un lado más o menos ciego.

que las subvenciones/premios/títulos se otorgan realmente a los mejores proyectos/personas desde la perspectiva del bien común, y no en función de qué tan bien conectados estén los solicitantes? (después de todo, estos comités deben tener o estar compuestos por otros investigadores, ¿quién más podrá juzgar el impacto y la importancia de la investigación de vanguardia que otros investigadores?)

Creo que esto es fundamentalmente imposible, porque eso implicaría que es posible saber qué proyecto será un buen proyecto de antemano*. Esto puede ser posible para proyectos muy aplicados, pero normalmente serían proyectos de la industria, no de investigación básica. Los proyectos "interesantes" siempre implican un riesgo de que la cosa no salga bien, no se encuentre solución. De lo contrario, no sería necesaria ninguna investigación sobre el tema.

A veces, la enorme importancia de los proyectos queda clara solo años (o incluso décadas) después de haberlos terminado.

* Por otro lado, creo que es posible saber de antemano que un proyecto está mal diseñado, por lo que no se debe financiar.

¿Que no hay colusión entre IP de alto perfil y editores de revistas de "alto impacto"?

Por supuesto que eso puede pasar. La corrupción existe, y no creo que la ciencia sea fundamentalmente diferente de otros campos de las profesiones humanas.
(ver más abajo para mis pensamientos sobre cómo lidiar con eso)

que los académicos (en distintas etapas de su carrera) no consideran/priorizan "aumentar" los números (por ejemplo, "índice h" o "factor de impacto", etc.) cuando inician sus proyectos de investigación?

  • De alguna manera no podemos, y en mi humilde opinión, se debe esperar que los científicos sean intelectualmente capaces de comprender cómo optimizar una medida determinada. Por lo tanto, la suposición de que, por ejemplo, las medidas bibliométricas no influyen en el sistema medido no se cumplirá.

  • Si realmente lo hacen, es otra cuestión.

  • Hay un punto muy importante: los papeles no se guardan en secreto, puedes leerlos. Como científico, puede, debe y debe juzgar la calidad de los artículos. En mi humilde opinión, la revisión por pares no le permite apagar su cerebro cuando lee un documento. Creo que la revisión por pares está destinada a ser un tamiz que saca los documentos "fallidos" del sistema, mientras que lo que quiero leer no es "apenas aprobado". pero papeles "excelentes". Sin embargo, hay una compensación, y si aumenta el rigor de la revisión por pares, inevitablemente también descartará buenos artículos, o artículos cuya importancia se hará evidente más adelante. Es decir, una revisión por pares demasiado estricta puede plantear una restricción en el sistema de publicación que desfavorece ideas realmente nuevas y permite aprobar solo resultados predecibles.
    Sin embargo, no podrá evitar darse cuenta de quién publica por salami-slicing y quién publica muchos estudios con, por ejemplo, un número muy bajo de pacientes, experimentos mal diseñados y OTOH, qué grupos se esfuerzan por obtener un número significativo de pacientes. publicar sobre controles relevantes, hacer su tarea validando sus hallazgos, etc.

  • También los autores de un artículo se nombran claramente. Y tomando en conjunto a sus jueces de la calidad de los artículos y tal vez alguna herramienta de red de citas, puede tener una idea de quién optimiza, por ejemplo, las citas.

  • Asistiendo a conferencias y talleres y hablando con la gente, conocerás personalmente a las personas para que puedas juzgar su carácter. Además, escuchará una buena cantidad no solo de "rumores" e "historias" que también hablan de personas.

Considerándolo todo, creo que esto funciona como lo hace la "vida real": ¿cómo sabes que una empresa es honesta con la que consideras tratar? Usted deposita cierta confianza en ellos y utiliza su criterio, incluido lo que escucha de sus compañeros sobre ellos: por ejemplo, si alguien que considera confiable los recomendó.

"Según mi experiencia, la variación [en la revisión por pares] es alta": por otro lado, se me ocurrió varias veces que tres o más revisores dieron calificaciones que variaban solo un punto en una escala de aproximadamente 10 puntos.
@silvado: bueno saber

Comenzaré afirmando que probablemente no podemos asegurar que ninguno de estos problemas ocurra. Hacerlo probablemente signifique hacer cumplir estructuras que están lejos de ser democráticas y abiertas, es la desventaja del tipo de apertura al que estamos acostumbrados y, por lo tanto, debemos aprender a vivir con el sistema. Eso, sin embargo, no significa que carezcamos de medios para luchar contra el mal comportamiento y la falta de ética.

Revisores : La gran mayoría de los revisores hacen un buen trabajo. Algunos pueden tener el desafío social de brindar críticas de manera educada, pero tienen el conocimiento para brindar puntos de vista críticos. Los editores de las revistas desempeñarán un papel fundamental no solo en la selección de los revisores, sino también en la selección y evaluación de las revisiones y brindarán a los autores una visión equilibrada basada en las dos o más revisiones que normalmente se recopilan para cada manuscrito. Lo mismo se aplica a las fundaciones que evalúan propuestas. El proceso de revisión tiene dos niveles en los que las cosas deben salir mal para afectar gravemente a un manuscrito y no se debe subestimar el papel de los editores.

"Colusión" : este problema puede ser más difícil de detectar si el problema se origina en el "nivel superior". No estoy seguro de ver una solución patentada en este caso, pero estoy convencido de que los editores no apoyarán tal comportamiento y lo más probable es que la comunidad científica se dé cuenta del problema rápidamente. Hay, en otras palabras, un control social que tarde o temprano incidirá en tales problemas. Esto no evita que ocurran y, dado que la comunidad de investigación está formada por humanos, también tenemos todas las falacias humanas que se encuentran en otras partes de la sociedad. Quitar la ilusión de que somos iguales en puntos de vista morales y caballerescos es un buen comienzo.

"inflación" : hay buenos servicios que calculan, por ejemplo, el índice h para usted y de una manera que otros pueden verificarlos dos veces. Utilizo ID de investigador , pero estos cálculos se pueden realizar directamente en Web of Science y en otros lugares. El punto principal es que al usar dicho servicio, el cálculo es abierto y reproducible y es posible rastrear lo que se ha ingresado. Por lo tanto, los índices indicadores utilizados deberían ser preferiblemente de este tipo para que uno pueda verificar el valor dos veces sin ningún esfuerzo.

grants : Esto es similar al punto anterior *"Colución". No puedo ver ninguna solución simple que no implique costos significativos para las agencias de financiamiento (y, por lo tanto, menos dinero destinado a la investigación). El control social es probablemente el punto más fuerte aquí, pero también implica apertura para que el público sepa quién recibe dinero y por qué. (Supongo que estamos hablando de financiamiento gubernamental de una forma u otra; la industria y las fuentes privadas son diferentes)

Así que entiendo y puedo compartir parte de su pesimismo, pero las alternativas a nuestro sistema actual son, en mi opinión, peores y probablemente más pesadas, por ejemplo, desde la burocracia. Es necesaria la apertura y buenas pautas y debates continuos sobre el comportamiento ético entre todos. Es lo que ocurre a puertas cerradas lo que inicia los rumores y también puede iniciar los problemas que usted describe.

Gran respuesta, lo único que agregaría es que los beneficios de no ser ético de esta manera son bastante pequeños. Por ejemplo, voto injustamente por alguien que conoce a personas influyentes para que gane un premio con la esperanza de que mi voto, o la persona por la que voté, influencie a las personas influyentes en el futuro para que voten por mí por algo que no merezco.