Hacia un sistema de comentarios/reputación similar a Stackexchange para trabajos de investigación

Del mismo modo, ¿por qué las revistas acreditadas no introducen un espacio de comentarios para sus artículos publicados, donde los colegas investigadores puedan apreciar/criticar/consultar los trabajos?

No es necesario que creen ese espacio, ya que estos comentarios ya pueden aparecer en otros lugares de Internet. Sin embargo, algunas revistas lo han intentado, pero por lo general atraen muy pocos comentarios y nadie sabe cómo crear una comunidad viable de esta manera. Consulte ese enlace (y las publicaciones de blog a las que se vincula) para obtener más información.

¿Qué nos impide tener un sistema de reputación para los artículos publicados, algo donde los usuarios registrados puedan votar en función de su utilidad percibida?

Un obstáculo importante es que no hay suficientes personas que parezcan querer usar dicho sistema. Ha habido muchos intentos de establecer uno, pero ninguno ha prosperado.

Sin embargo, hay un obstáculo más profundo. Para obtener resultados significativos, debe resolver al menos tres problemas: garantizar que los votos provengan solo de investigadores competentes, garantizar que nadie pueda manipular deliberadamente el sistema o hacer trampa, y garantizar que los votantes tengan los incentivos correctos incluso si no están tratando de ser deshonestos. En principio, podría ser posible resolver estos problemas, pero se necesitaría una infraestructura no trivial. Sin embargo, cuanto más elaborado se vuelve el sistema, más difícil será conseguir muchos usuarios. Una gran mayoría de investigadores no prestará atención a un sistema como este, y algunos de los que sí se preocuparán se opondrán firmemente, por lo que conseguir una adopción generalizada será una batalla cuesta arriba.

Como seguimiento de la respuesta de Anonymous Mathematician, creo que la respuesta se encuentra en Arxiv: mucha gente ya lo usa, no hay ganancias involucradas e incluso si un artículo se traslada a una revista determinada, la página principal del artículo permanece en línea con todos discusiones En él (excepto que el PDF se reemplaza con un enlace). Por lo tanto, puede crear un sólido sistema de votación ascendente/descendente.

En cuanto a la reputación, todos pueden comenzar por igual, pero un análisis de citas de Web of Science, por ejemplo, puede usarse para generar una reputación inicial más grande para que las cosas funcionen.

Yendo más allá, esto también puede reemplazar el proceso de revisión: el documento se carga, todos pueden leerlo y alguien que crea que es interesante puede postularse como candidato a revisor. Esto evitaría a los revisores que realmente no entienden su trabajo (como ciertamente no es raro que suceda).

Es un acto de fe confiar en un sistema de reputación en lugar de en una jerarquía de profesores. No obstante, tenga en cuenta que el sistema de revisión actual ya está embalsamado en tal confianza: incluso un estudiante de secundaria puede publicar un artículo si se revisa para ser interesante; por el contrario, si publica buenos artículos, está invitado a revisar buenos artículos.

En cierto sentido, esto aleja el enfoque de las publicaciones periódicas.

Para obtener una actualización, es posible que desee echar un vistazo al grupo organizado probablemente más grande que discute este y otros temas similares: FORCE http://www.force11.org/ , que significa "El futuro de la investigación, la comunicación y las becas electrónicas".

En Manifiesto dicen que se requieren nuevos modelos de reputación, etc. Sin embargo, aún no se desarrolla un sistema listo para usar

Cuando envío un manuscrito, valoro mucho el trabajo de los revisores. El trabajo de revisión es, la mayoría de las veces, un excelente ejercicio que te permite cuestionar tu propio trabajo y mejorarlo. En cierto modo, lograr que mi artículo sea aceptado en una revista acreditada es una de las pocas señales de que lo que hago es de cierta calidad (o no, si es rechazado). Por lo tanto, la revisión por pares es un sistema en el que las personas 'votan' por su trabajo y sugieren ediciones, de manera similar a las preguntas y respuestas de SO. Cuando la gente cita mi trabajo, es el equivalente a los votos positivos en SO. Por supuesto, al igual que en SO, cuanto más popular sea su dominio (su 'etiqueta' académica), más fácil será obtener votos a favor. Pero las personas que te importan suelen ser lo suficientemente inteligentes como para darse cuenta de eso.

Ahora bien, ¿es la revisión por pares un sistema perfecto? No. Pero tampoco lo es el sistema de votación de SO. Al final, lo que uno necesita hacer es usar el cerebro cuando lee algo: probablemente no sea tan malo juzgando la calidad del trabajo publicado en su campo.

Dicho esto, creo que es una buena idea tener un sistema alternativo de evaluación de la investigación. Encuentro que la discusión de artículos en pubpeer.com es una buena manera de criticar anónimamente la literatura publicada.

Debo agregar que tengo la oportunidad (¿o fue una elección...?) de trabajar en un campo donde hay poca participación política. Así que podría imaginar que los comentarios de los lectores serían en su mayor parte constructivos y, en el peor de los casos, irrelevantes. Pero ese no es el caso de todos...

También complementando la respuesta de Anonymous Mathematician: uno de los principales usos del "sistema de revisión por pares" es la "asignación de un recurso escaso", a saber, puestos académicos y becas. De hecho, no es realmente exacto hablar de "revisión por pares" en ese sentido, porque normalmente no son los pares, sino los "superiores" o los "competidores" los que rechazan el artículo, ya sea por una buena razón o no. Pero es más agradable hablar de "revisión por pares" que de "vigilancia".

Otra influencia corruptora es que las propias revistas compiten por la "reputación", lo que genera una extraña lucha por el puesto entre autores y editores, en la que cada uno trata de adquirir el mayor estatus posible, conectándose con "otros" de mayor estatus... Preguntémonos si el mismo impulso no corrompería casi cualquier estructura de publicación por estatus. No tengo idea de cómo diseñar en contra o en torno a esto.

Si las recompensas de estado se reducen más allá de cierto punto, es posible que nos encontremos con los "guardianes ermitaños" que simplemente no tienen nada mejor que hacer... como se menciona en el comentario de John Moellner. Dada la naturaleza humana, parece que el patrón general exige incentivos que no son del todo idealistas.

Tal como están las cosas, podemos ver fácilmente que en Math Overflow, MathStackExchange y muchos de estos vehículos, las preguntas más populares son repeticiones aproximadas de preguntas que se han hecho muchas veces antes. Durante aproximadamente un año, dicho sitio tendrá una sensación de frescura y novedad, pero no me queda claro qué sucede después de algunos años cuando el repertorio limitado de preguntas básicas (motivadas por cursos de pregrado o posgrado y demás) es bastante completo. documentado, de modo que uno ya no hace una pregunta, sino que primero hace una búsqueda cuidadosa en el archivo.

Recomendaría que los académicos que ya están establecidos, titulares, etc., piensen más en términos de la materia en sí misma y poniendo cosas útiles en línea, en lugar de seguir ocupando tanto espacio en el juego que los principiantes deben jugar para obtener un puesto, obtener la titularidad, etc. Cierto, uno no maximizará el aumento de sueldo cada año sin continuar jugando el mismo juego para siempre, pero los departamentos académicos realmente podrían trabajar más duro para descubrir cómo evaluar a las personas posteriores a la titularidad, lo que No altera los criterios de tenencia per se en absoluto. "Fuera del camino de los jóvenes".

Editar: en respuesta al "comentario": creo que el sentido en el que estos puntos abordan la pregunta original es que, si no se supusiera que el sistema actual de "revisión por pares" debería ser suplantado, ¿por qué hacer la pregunta en absoluto? Simplemente use el "intercambio de pila" o un software similar y todos los que quieran poner artículos o reseñas de artículos en él, y votar o rechazar, pueden hacerlo. No hay obstáculo para esto, así que ¿por qué hacer la pregunta... exceptoproponer también que haya una transición. Mis comentarios anteriores, y algunos de los otros comentarios, indican por qué creo que habría problemas. Por ejemplo, muchas de las personas a las que uno querría que participaran no lo harían, por una variedad de razones, lo que ciertamente tendría el efecto de no conferir un tipo de estatus actualmente esencial para la supervivencia profesional en un nivel junior.

Es decir, al colocar la pregunta en un contexto en el que tiene sentido formularla (en lugar de un sentido más formal algo separado de ese contexto), las otras partes del contexto resultan significativas para responder al original. Si uno especula que el problema se trata de reemplazar la "publicación de revista tradicional revisada por pares" (en papel o electrónica) con una estructura diferente, entonces es razonable ver por qué habría problemas.

Primero, confío en la respuesta de otros aquí con respecto a los comentarios matizados. Supongo que están diciendo que si facilitamos la apreciación, la crítica y la consulta dentro de una revista, e incluso si no lo hacemos, ese tipo de respuestas florecerán principalmente fuera de la revista.

En segundo lugar, aquí hay un obstáculo notable para un sistema de puntuación de reputación para artículos publicados. La forma en que responda a este obstáculo limita la forma en que diseña, o se niega a diseñar, dicho sistema.

Un sistema de votación es una decisión sistemática sobre la clasificación de múltiples opciones que se basa en las recomendaciones de múltiples individuos para clasificar esas opciones.

Pregunta capciosa: ¿Aceptamos esa definición? Porque, de ser así, el problema es que no puede existir un sistema de votación satisfactorio.

El teorema de imposibilidad de Arrow establece que toda clasificación sistemática basada en las clasificaciones de cada miembro de un grupo de recomendadores es insatisfactoria en al menos una de estas formas:

• La clasificación del grupo está completamente controlada por un único recomendador. Comentario: podríamos llamar a esta persona el "dictador", el "editor en jefe", o como dijo @JohnMoeller arriba, el "guardián ermitaño".
• En ocasiones, el ranking del grupo ordena dos opciones diferentes al ordenamiento elegido por cada uno de los recomendadores.
• La clasificación del grupo a veces ordena dos opciones de manera diferente, digamos, A y B, porque los recomendadores cambiaron sus clasificaciones recomendadas en general, aunque cada uno de los recomendadores mantuvo sin cambios su propio orden de A y B.