¿Existe investigación sobre la medida en que la complejidad de los métodos propuestos afecta la tasa de aceptación?

Escuché que este orador en IJCAI se quejó de que su trabajo fue rechazado porque los métodos que usó eran demasiado simples a pesar de que los resultados eran altamente competitivos (el doble del estado del arte, al menos según una métrica). La queja se puede escuchar en este vídeo a los 29'30'' . Extracto:

(Dirigida a los revisores) Aceptar trabajos sencillos si demostraron lo que intentaban mostrar.

No era la primera vez que escuchaba una queja de este tipo, ya que simplificar las soluciones existentes es posiblemente una contribución, pero a veces se desprecia.

¿Existe alguna investigación/estudio/encuesta que analice el impacto de la complejidad de los métodos propuestos en un documento presentado sobre su tasa de aceptación?

Estoy principalmente interesado en el campo de la informática> aprendizaje automático/PNL/minería de datos y lugares de habla inglesa.

Ciertamente estoy de acuerdo en que sería interesante leer sobre tal investigación. Trabajando como lo hago en un campo como las matemáticas, siempre me pregunto cómo los investigadores negocian cuestiones de definiciones imprecisas. En este caso me parece que la "complejidad" de un paper es muy subjetiva. ¿O la idea es ver cómo la complejidad percibida se correlaciona con el valor percibido?
Puedo imaginar que esto dependerá del campo de investigación; en mi campo al menos (marketing) no he visto ningún estudio como este. Sin embargo, si hubiera uno, ¿qué revista lo publicaría? Terminaría diciendo básicamente "esta revista no acepta artículos cualitativos". Porque el debate es realmente éste en marketing: cualitativo vs cuantitativo. Para estudios cuantitativos siempre encontrarás una revista. Dependiendo de la complejidad del método, la clasificación de la revista variará. Los artículos de buena calidad siempre encontrarán una revista interesada en ellos. Para los trabajos cualitativos la historia es diferente.
Esto es altamente específico del campo. Por ejemplo, el uso de métodos estadísticos complejos en ciencias de la salud o psicología reducirá drásticamente la tasa de aceptación.

Respuestas (2)

No he visto ninguna investigación sobre la correlación entre la complejidad de los métodos y las probabilidades de aceptación de un trabajo y creo que es relativamente difícil hacer un estudio sobre esto. Primero porque ser simple o complejo es completamente subjetivo y dependiente del dominio y difícil de cuantificar. Uno no puede generalizar un patrón que se ve en una comunidad científica particular a otros. Además, la información sobre el rechazo de trabajos no es pública ni de fácil acceso, lo que dificulta la investigación de la hipótesis.

Dicho esto, en la comunidad de aprendizaje automático de informática, he visto que las personas están presionando para criticar la complejidad innecesaria de los métodos sugeridos y poner más énfasis en los resultados reales en lugar de la simplicidad o complejidad de los métodos. Hay muchos métodos simples que se están publicando porque realmente funcionan bien. Personalmente, no creo que las ideas simples que muestran buenos resultados sean necesariamente propensas al rechazo, pero el argumento opuesto (métodos complicados que tienen mayores posibilidades de aceptación) a veces es cierto.

En una nota relacionada, se enfatiza cada vez más la explicación de las ideas y la presentación de un trabajo de la manera más simple para que la gente lo entienda. Una de las razones por las que las personas intentan complicar las cosas es que piensan que cuanto menos fácil sea para los revisores entender su trabajo, mayores serán sus posibilidades de aceptación. Personalmente, creo que las ideas en los documentos deben explicarse de manera simple y clara porque si no se puede explicar de manera simple, probablemente se pueda hacer mejor. Y los revisores no deben elogiar la obra que no entienden, porque es deber del escritor explicar todo con la suficiente sencillez para que la comunidad correspondiente lo entienda bien.

Esto es relevante para el debate entre Kuhn y Popper sobre la forma en que funciona la ciencia, y hay una literatura considerable aquí... No sé sobre estadísticas, ¡pero sé que esto es extremadamente común! Por lo general, un nuevo enfoque más simple será descartado de plano con poca consideración por parte de los poderes fácticos con sus fuertes vínculos con el modelo tradicional.

Kuhn señala que los investigadores quedan atrapados en Paradigms. Aquellos en posiciones de poder (árbitros y editores, profesores y decanos) prefieren artículos que continúan su trabajo, usan las herramientas que inventaron o con las que están familiarizados, citan sus revistas o revistas indexadas por su compañía de citas favorita. También hay un factor de carga de trabajo en relación con el interés: hojean las cosas rápidamente y prestan especial atención a los encabezados, tablas, figuras, ecuaciones y referencias, buscando cosas que se conecten con ellos/sus intereses/su diario. Algunos revisores no muestran evidencia de haber leído realmente el artículo, particularmente en el caso de las denominadas 'principales revistas'. Si no están interesados, o han decidido que es un "mal enfoque" a priori, entonces no importa cuán bueno sea el enfoque o los resultados, y te sorprenderán los comentarios sobre el estilo, el formato, las ecuaciones o las referencias (p. ej., una queja por falta de referencias a X o ecuaciones insuficientes o sin numerar, o falta de pegamento en el mapa de ruta que les diga que hay Introducción, Métodos, Resultados y Secciones de conclusión). Es decir, no solo hay paradigmas dentro de los campos, en relación con la forma en que abordas un problema, o el marco teórico o el modelo en el que trabajas, hay paradigmas en relación con los modos de presentación.

Popper, por otro lado, defiende la parsimonia y la refutación. La teoría o modelo más simple es mejor, en igualdad de condiciones. Una teoría pobre se vuelve más compleja a medida que se va ajustando o ampliando para hacer frente a nuevos casos que le causan dificultades. Por lo general, las teorías y los modelos deficientes no desaparecen hasta que lo hacen sus defensores y perpetradores, hasta que se vuelven tan complejos que se vuelven completamente inmanejables y finalmente se derrumban y caen en el olvido. Por el contrario, se ignorará un modelo simple hasta que se demuestre que maneja todo lo que las teorías anteriores intentaron hacer y realiza nuevos avances y predicciones que se confirman. El investigador ideal de Popper es totalmente diferente del investigador dogmático y paradigmático de Kuhn. Un buen investigador está haciendo predicciones sobre lo desconocido donde las diferentes teorías predicen diferentes resultados. Un buen investigador no está tratando de reforzar sus modelos, sino de refutarlos: encontrar los agujeros en lugar de taparlos.

Entonces, ¿cómo lidias con esto? Una muy buena pregunta, me alegro de que hayas preguntado...

Tienes que enfrentarlo de frente. Elija lugares de publicación que sean de alta calidad pero que tengan el tipo de formato y las expectativas que le permitan presentar sus nuevas ideas y modelos más simples, aunque es posible que no estén completamente resueltos y comparados con todos sus miles de competidores y sus miles de conjuntos de datos o ejemplos Obtenga comentarios y encuentre quién simpatiza, dónde publican/revisan/editan, etc. Eventualmente, debe apuntar a las revistas tradicionales de archivo, el bastión del paradigma actual, y encajar las cosas en su molde, seguir sus reglas, explicar las ecuaciones. /modelos contra los que está compitiendo en detalle, especialmente aquellos que son promovidos por la revista y sus editores/autores (al menos obtienen una cita). Señalar claramente las ventajas...

  • La teoría explica más con menos (efectividad/parsimonia)
  • El modelo/algoritmo es más corto y/o funciona más rápido (eficiencia)
  • Los resultados son más precisos y/o tienen menor varianza (eficacia)
Si bien esto es interesante, no veo cómo responde la pregunta, que solicita explícitamente una referencia con datos ...
Pero, ¿también respalda o cuantifica estos factores con la investigación y dónde los está referenciando?