¿Deberían los trabajos de congresos en ciencias de la computación contener pruebas completas, y deberían ser revisadas por los revisores?

soy matematico En mi tema, el medio normal de difundir la investigación es escribirla con pruebas completas y detalladas de los principales resultados, que luego se someten a un riguroso proceso de revisión por pares que a menudo puede llevar varios años.

Gran parte de mi trabajo, sin embargo, se superpone con la informática teórica y, a menudo, me piden que evalúe artículos enviados a conferencias de informática, que a veces me parecen tener un proceso de revisión un poco menos riguroso. Por lo tanto tengo las siguientes preguntas:

  • Como revisor, ¿debo insistir en que los documentos de la conferencia CS contengan pruebas completas de sus principales resultados?

  • ¿Deberían los árbitros de los trabajos de conferencias verificar estas pruebas antes de aceptar un artículo para su publicación?

Estas preguntas surgen de una serie de malas experiencias de revisión que he tenido recientemente (como revisor), en las que he rechazado artículos básicamente por falta de rigor. Uno, que fue presentado a una conferencia de gran reputación, contenía unas diez páginas adicionales de pruebas clave en un apéndice técnico, que debía ser consultado "a discreción del revisor", y que no habría formado parte del artículo final. Rechacé esto sobre la base de que las pruebas en sí mismas no solo eran altamente sospechosas (obviamente, motivos suficientes), sino que el lector nunca habría tenido acceso a ellas y ¡habría tenido que confiar en todo!

Sin embargo, resultó que yo era el único revisor que tenía estos problemas. Los demás no solo estaban contentos de que el contenido técnico principal del documento se relegara a un apéndice desechable, ¡sino que ni siquiera se habían molestado en leerlo! Eventualmente, el trabajo fue rechazado, pero solo después de una buena cantidad de discusiones de mi parte.

Esta no es de ninguna manera mi única experiencia de este tipo de actitud en la revisión por pares de informática (que sería francamente impensable en matemáticas), pero ilustra el tipo de problemas que tengo como revisor.

Entiendo que aquí hay diferencias culturales y que la velocidad del sistema de conferencias tiene sus méritos, así que me pregunto si estoy siendo injusto al juzgar este sistema según los estándares de rigor que uno normalmente espera de las revistas matemáticas.

-1 O las demostraciones estaban equivocadas o no. No entiendo lo que significa "altamente sospechoso". En este momento, su pregunta parece una diatriba sobre CS vs matemáticas. Votado para cerrar.
Bueno, una prueba puede estar equivocada, también puede estar incompleta, pueden ser muchas cosas las que impiden que sea una prueba adecuada. Pero ese no era el punto que estoy tratando de hacer. La pregunta que hago está muy clara.
"¿Debe haber rigor?" Por supuesto que debería. "¿Hay rigor en las conferencias TCS de gran reputación?". Por supuesto que lo hay. "Ser revisor limitado n veces prueba que no hay rigor?" Por supuesto que no. Esta es la definición de libro de texto de una prueba incompleta.
Una vez más, ninguno de estos eran puntos que estaba tratando de hacer.
No me queda claro lo que preguntas. ¿Está preguntando si usted, como revisor, debe insistir en pruebas completas para los documentos de la conferencia de CS y revisarlos a fondo? ¿Está preguntando por qué el proceso de revisión de las conferencias de CS no parece tan riguroso como el proceso de revisión de las revistas de matemáticas? ¿Nos pregunta si creemos que las conferencias de CS deberían adoptar un proceso de revisión más riguroso que el que su experiencia sugiere que utilizan actualmente? (Voté para cerrar porque lo leí como el último).
En realidad, apuntaba principalmente hacia el primero y el segundo en lugar del último, pero acepto su punto sobre la claridad. Intentaré formular mejor las preguntas en el futuro.
Puede editar su publicación para aclarar y es posible que se vuelva a abrir. (Así como 5 votos pueden cerrar una pregunta, 5 votos pueden reabrirla). Sugiero leer el centro de ayuda sobre cómo hacer una pregunta "buena subjetiva" (según los criterios de Stack Exchange) y aclarar en consecuencia.
He editado la pregunta para reflejar su intención (que comentó anteriormente). Por favor, compruebe que he mantenido el espíritu de su pregunta. Si no le gustan las ediciones, siempre puede retroceder a una versión anterior de la pregunta. Votación para reabrir.
Lo he editado yo mismo ahora, en particular eliminando el descargo de responsabilidad que no considero necesario (espero que ahora esté claro cuáles son mis preguntas, por lo que no hay necesidad de indicar cuáles no son mis preguntas).
Su llamada (aunque, en primer lugar, el descargo de responsabilidad habría ayudado a evitar que la pregunta se cerrara).
Bueno, en lugar de eso, he tratado de atenuar las partes que podrían interpretarse como un ataque vago e improductivo al sistema de conferencias, así que espero que esto logre el mismo objetivo.
La pregunta de OP es un tema de intenso debate y desacuerdo entre (al menos un subconjunto de) la comunidad de investigación teórica en informática. Apoyo totalmente su argumento de rechazo sobre la base de que las pruebas no estarían disponibles para el lector, pero esta es una opinión minoritaria.

Respuestas (3)

Rigor es una palabra que suena bien. Me gusta cómo se siente cuando lo digo. Pero aparte de hacer buenos sonidos, tiene algunos problemas:

... que luego suelen someterse a un riguroso proceso de revisión por pares que a menudo puede llevar varios años .

Olvidémonos de lo bien que suena la palabra y analicemos los pros y los contras de tener artículos de conferencia rápidos para escribir, rápidos para revisar, rápidos para publicar y no tan rigurosos.

Ventajas:

  • Se reduce el tiempo de publicación (pasando de un par de años a un par de meses), lo que significa que los resultados pueden tener un impacto más rápido.
  • Otros autores se darán cuenta de que hay resultados en esta área, en lugar de tratar de probar resultados que ya han sido probados pero que están estancados en un proceso de revisión por pares de varios años.
  • Los revisores tienen que gastar menos esfuerzo revisando documentos menos rigurosos de una manera menos rigurosa. Pueden usar ese exceso de esfuerzo en otra parte.
  • Los autores tienen que gastar menos esfuerzo para escribir artículos menos rigurosos. Pueden usar ese exceso de esfuerzo en otra parte.
  • La capacidad de escribir artículos menos rigurosos no excluye la posibilidad de escribir un artículo de seguimiento que sea más riguroso.
  • Los autores tienen algo que perder al publicar resultados incorrectos y no rigurosos: su reputación. (No es realmente un profesional, sino más bien un control y equilibrio).

Contras:

  • Los documentos menos rigurosos pueden ser más propensos a ser incorrectos. Esto puede dar lugar a documentos incorrectos basados ​​en estos resultados.
  • Una vez que se filtra la falta de rigor, uno está en una pendiente resbaladiza. Sin ningún rigor, uno no está demostrando nada. Todo el asunto se vuelve inútil.

No creo en una noción absoluta de "rigor" para ninguna prueba no trivial. Creo que es un término relativo. Uno escribe pruebas para su audiencia. Por lo tanto, la noción de "rigor" depende de la comunidad. Depende de una comunidad decidir qué nivel de "rigor" es el más apropiado para esa comunidad. Si el "rigor" cae demasiado bajo y los resultados incorrectos se convierten en un problema, la comunidad debe adaptarse. Si el "rigor" se vuelve demasiado alto y los revisores tienen que pasar meses revisando las i punteadas y las t cruzadas en pruebas largas para obtener resultados que simplemente no valen la pena, entonces eso tendrá sus propios costos, particularmente en términos de la capacidad del comunidad para hacer el trabajo, donde la diversidad de trabajo inevitablemente se convertirá en la primera víctima (la tendencia será hacia papeles incrementales seguros).

Aplicar los estándares de rigor de una comunidad a otra es, en mi opinión, inapropiado en sí mismo. En mi opinión, el rigor no es el objetivo. El objetivo, en mi opinión, es que la comunidad sea "productiva" en cualquier noción que ellos y la sociedad consideren productiva (en el sentido de que la sociedad, después de todo, está financiando este costo, y no seguirá financiando este costo si la comunidad es gastando su capacidad en perseguir el rigor por el rigor mismo).

tl;dr : Creo que el "rigor" es un medio, no un fin. Creo que si realmente quiere objetar la falta de rigor en una comunidad, debe mostrar que los contras superan a los pros, es decir, debe resaltar los resultados incorrectos y el tiempo perdido por la comunidad en el seguimiento de esos resultados incorrectos. Simplemente argumentar que la comunidad A elige tener menos rigor que la comunidad B y, por lo tanto, la comunidad A está haciendo algo mal, es, en mi opinión, un argumento insuficiente. Debe argumentar que la falta de rigor percibida es un problema.

Un documento de conferencia en TCS generalmente se ve mejor como un resumen o un anuncio del documento completo.

El documento completo debe aparecer, por ejemplo, en ArXiv antes de la conferencia, y eventualmente debe publicarse en una revista.

Es perfectamente normal que haya algunas pruebas que están en el apéndice en la versión enviada y que faltan por completo en la versión final de la conferencia. El lector puede encontrar los detalles omitidos en ArXiv.

y eventualmente debería ser publicado en una revista. En este sitio, encontrará una discusión bastante interesante sobre artículos de congresos versus artículos de revistas en el campo de TCS, y cuál es la norma, más prestigiosa, etc. (por ejemplo, aquí y allá ). Cuando dice "debería publicarse eventualmente", ¿quiere decir que se espera, o sería bueno pero no "obligatorio"?
@MadJack Si un documento de conferencia se refiere a una versión completa, entonces ciertamente se espera que la versión completa algún día aparezca en alguna parte. Por supuesto que no siempre sucede, pero a largo plazo creo que una fracción bastante buena de artículos que han tenido un impacto a largo plazo también han aparecido eventualmente en revistas. (No porque las revistas sean prestigiosas, sino porque es una buena práctica científica).
Ya veo, gracias. Con respecto a la pregunta principal en este hilo: en términos generales, si los autores de un documento de conferencia de TCS citan su documento, por ejemplo, arXiv, que contiene más rigor, pruebas, etc., ¿diría que es común que los árbitros de conferencias consulten el arXiv? papel y asegurarse de que sea correcto antes de recomendar su aceptación (suponiendo que el documento de la conferencia no tenga otros defectos importantes)?
Si bien existe una expectativa cultural de que los trabajos de la conferencia TCS eventualmente aparecerán completos en arXiv o en revistas, es una expectativa débil. En la práctica, una fracción significativa (si no la mayoría) de los trabajos de conferencias de TCS finalmente no aparecen completos en arXiv o en revistas.
¿Es esto siquiera una expectativa que la gente realmente espera ? ¿O es solo un gesto cultural en este punto?
Los dentistas esperan que sus pacientes usen hilo dental dos veces al día.
Algunas presentaciones en papel se vinculan a un informe técnico que contiene pruebas. Pero las solicitudes de artículos dejan en claro que los revisores no están obligados a leer esas pruebas.

Lo que describes es bastante común. El límite de páginas en una conferencia puede ser, digamos, 15 páginas, y en este caso no hay forma de incluir una prueba de 10 páginas en el texto principal. También es probable que la prueba no se considere la principal contribución del artículo.

De hecho, las actas de la conferencia no incluirán los apéndices, pero a menudo los autores suben los artículos a sus páginas web, a los repositorios de sus instituciones, etc., para que los lectores puedan acceder a las pruebas.

Permítanme hacer algunos comentarios. (1) También es probable que la prueba no se considere la contribución principal del artículo. Entonces, ¿cómo verificamos la contribución principal del artículo? (2) para que las pruebas puedan ser eventualmente accesibles a los lectores. El OP pregunta ¿Deberían los documentos de conferencias en informática contener pruebas completas, y los revisores deberían verificarlas? no si la prueba es accesible.
El silencio que estoy presenciando en este hilo relacionado con el siguiente tema es ensordecedor. De hecho, las actas de la conferencia no incluirán los apéndices, pero a menudo los autores suben los artículos a sus páginas web, a los repositorios de sus instituciones, etc., para que los lectores puedan acceder a las pruebas. — Tengo el problema del límite de páginas en papel de la conferencia. Sin embargo, si existe un documento más detallado en algún lugar (arXiv, página web personal, etc.), ¿es una práctica común que los árbitros de la conferencia realmente lo revisen para garantizar la exactitud de los resultados del documento de la conferencia?
@scaaahu ¿Deberían los documentos también contener código fuente y conjuntos de datos? En muchos casos, no puede verificar la contribución principal sin ellos.
@JouniSirén En algunos artículos de informática puramente teóricos, digamos un artículo sobre la computabilidad de Turing, no hay un código fuente o un conjunto de datos asociado, solo se trataría de pruebas matemáticas. Estaba hablando de ese caso.
¿Deberían los trabajos de congresos en ciencias de la computación contener pruebas completas, y deberían ser revisadas por los revisores?
RespuestasAquíPolítica de privacidad1y, 0v