Publicar un artículo con estadísticas cuestionables

He enviado un artículo a una revista razonablemente buena en mi campo. Uno de los revisores cuestionó los métodos estadísticos y recomendó revisiones importantes. Sin entrar en el meollo del análisis, busqué la ayuda de un experto en estadísticas y, aunque dijeron que mi análisis no era estrictamente "incorrecto", me sugirieron que corrigiera mis valores de p para comparaciones múltiples para tranquilizar a los revisores. . El problema es que, cuando apliqué la corrección, ninguno de mis hallazgos resultó ser significativo. Estoy de acuerdo con eso, para la mayor parte del documento describimos tendencias generales de todos modos, así que creo que eliminar la mención de importancia no es gran cosa, y todos hablan sobre la necesidad de publicar hallazgos negativos, entonces, ¿por qué sería esto? ¿muy malo?

Sin embargo, mi asesor no está de acuerdo, piensan que el ajuste es demasiado estricto y estamos penalizando los hallazgos innecesariamente (estoy usando una tasa de descubrimiento falso, por lo que es lo más indulgente que podría obtener). También piensan que si eliminamos las menciones de importancia, es probable que el documento sea rechazado porque entonces no tenemos mucho para respaldar las tendencias que estamos presentando. Mi asesor quiere que siga adelante y vuelva a enviar el documento haciendo pequeños ajustes. Este sería el primer artículo que publico como primer autor, y estoy luchando por aceptar ignorar descaradamente el error estadístico que estaría cometiendo por publicarlo. Mi asesor ha accedido a que la corrección de los valores de p se aplique y discuta en mi tesis.

Mi dilema radica en si trato de pelear con mi asesor en esto (no creo que gane), o hago lo que me piden y espero que rechacen el artículo, o tal vez estoy exagerando esto y mi asesor es bien. Me preocupa que me arrepienta de publicar algo que sé que es cuestionable por el bien de la publicación.

Pelear con su asesor rara vez es una victoria. Pero el editor puede no estar feliz de publicar sin "revisiones importantes".
Parece que este no es un resultado negativo, es un estudio mal diseñado y con poca potencia que no muestra nada. Esas cosas no son sinónimos.
Ser descuidado con las estadísticas es increíblemente común. Todo el mundo usa estadísticas, casi nadie entiende correctamente las estadísticas. Siéntete orgulloso de haber dado el paso de hablar con un experto. Tome en serio sus consejos y aprenda. ¿Podría mejorar su estudio mediante la adquisición de más datos para una revisión importante adecuada? Es posible que pueda estimar cuántos datos más necesitará para volver a ser significativo.
@Snijderfrey Recopilar más datos para perseguir un resultado significativo es una de esas formas de descuido. Probablemente no sea el peor de ellos, por supuesto.
@Bryan Krause: Puede que tengas razón, pero yo diría que depende, es difícil decirlo sin conocer los detalles. Afortunadamente no es el objetivo principal de la pregunta.
Esta pregunta es esencialmente, A y B no están de acuerdo, ¿quién tiene razón? No sabemos sin ver su diseño experimental y métodos estadísticos.
Parece que has aprendido de forma independiente lo que Doug Altman y otros han estado diciendo durante años: si vas al estadístico después de que termines tu experimento, él puede hacer una autopsia y decirte qué salió mal, pero probablemente sea demasiado tarde para arreglarlo. adecuadamente. Sabrás qué hacer la próxima vez. Con suerte, su "asesor" también aprenderá.

Respuestas (1)

Bueno, si estás dudando es porque en el fondo tienes una razón sólida para ello. Y lo hace, como dijo en su texto, los datos estadísticos carecen de respaldo adicional. Si es posible, agregue más datos a los datos existentes y realice los cambios correspondientes en el texto.

Se encuentra con frecuencia en trabajos de investigación, algunos atajos al presentar datos experimentales que carecen de alguna explicación/soporte. Por ejemplo, cambiar las escalas de los ejes, presentar datos en una escala de ejes normalizada, entre muchos otros. Estas técnicas de presentación de datos obligarán a los revisores a pasar más tiempo analizando sus datos en busca de pistas sobre la falta de validez. En tales casos, incluso si se publica, más adelante, se verá reflejado en el número de citas (por ejemplo). En pocas palabras, no recomiendo hacerlo hoy en día.