Estoy investigando para mi tesis doctoral sobre un tema delicado relacionado con las aplicaciones biomédicas. De hecho, nuestro flujo de trabajo es:
Mi problema es la cuarta etapa en este flujo de trabajo. En primer lugar, nadie antes había realizado la cuarta etapa de este flujo de trabajo para esa aplicación en particular. Hay algunos modelos similares en la literatura que intentaron investigar el resultado de aplicar un modelo similar para esa aplicación, pero sus conclusiones son tan generales y vagas que no se puede sacar una conclusión definitiva. Cuando aplicamos ese modelo desarrollado y verificado a esos datos, produce algunos resultados que pueden parecer contrarios a la intuición en primer lugar, pero hay algunos artículos en la literatura que en realidad confirman observaciones similares. Estos resultados no son malos, pero parecen un resultado negativo. Confiamos en nuestros resultados porque este modelo está validado y verificado en base a varios casos independientes.
Desafortunadamente, a los ojos de mi asesor de doctorado, estos resultados no tienen valor porque no son deseables y él piensa que nadie comprará estos resultados si nuestra conclusión es algo contraintuitivo (bueno contraintuitivo basado en sus pensamientos al menos...). Cada semana en nuestras reuniones de grupo, me recuerda que estos resultados no valen nada y que debo cambiar el modelo desarrollado en cierta forma. No me da instrucciones sobre cómo debo cambiar el modelo, pero es importante que obtengamos resultados intuitivos ahora mismo.
Siento que me está obligando a buscar los resultados deseados. Es posible para mí hacer eso, pero creo que eso es hacer trampa o podría llamarse ocultar la verdad. Mi pregunta: ¿Debo cambiar mi modelo para obtener los resultados deseados? si no, ¿cuál es la forma correcta de convencerlo de que estos resultados contrarios a la intuición tal vez sean la verdad y deberíamos vivir con ellos?
El significado de los resultados inesperados
Es importante ser escéptico acerca de su enfoque computacional. Sin embargo, al mismo tiempo, los enfoques computacionales son (casi) completamente inútiles si simplemente los ignoramos cuando los resultados son inesperados (a menos que ya tenga evidencia dominante de que el resultado no solo es inesperado sino simplemente incorrecto ). Una excepción sería si su enfoque se encuentra en el área de modelos generativos, donde un modelo parsimonioso sugiere un mecanismo subyacente, que no es el área de su modelo: está tratando de hacer una predicción para un caso desconocido (extrapolación).
El arte está en determinar si su modelo inicial del mundo (es decir, la expectativa) es incorrecto o si su modelo computacional es incorrecto.
En una larga discusión en el chat, creo que llegamos a la conclusión de que, en su caso específico, puede ser que se trate de un problema de extrapolación a una condición en la que no tiene datos de entrenamiento verdaderamente comparables.
Cómo dejar de preocuparse y aprender a amar a la modelo
Si desea convencer a su asesor, colegas, revisores pares oa usted mismo de que se debe confiar en su modelo, sus próximos pasos son probar las condiciones que conducen a su resultado.
Realice todas las pruebas apropiadas para la convergencia del modelo en el entrenamiento original. Verifique los parámetros de entrada que están fuera del rango en el conjunto de entrenamiento. Use representaciones gráficas de su modelo para mostrar cómo las entradas se asignan a las salidas. Elimine o escale variables para probar la sensibilidad de su modelo a esos cambios. Y además, como sugiere su asesor, averigüe qué se necesita para que su modelo se ajuste al resultado esperado. Todos estos enfoques lo ayudarán a encontrar si algo está mal en el modelo o lo apoyarán si algo está mal en las expectativas previas.
Cualquier modelo computacional que intente modelar un escenario de enfermedad tiene fallas, ya que todos los modelos intentan reducir un problema extremadamente complejo a uno simple, como señaló Buffy en su respuesta.
Además, tu pregunta me hace pensar que estás trabajando en/con un grupo de computación/bioinformática. Si los resultados que presenta son contrarios a la intuición, debo ponerme del lado de su asesor en la afirmación de que un estudio que presente resultados contrarios a la intuición no será bien recibido. Cualquier resultado contrario a la intuición derivado a través de modelos computacionales deberá someterse a una vigorosa prueba de hipótesis a través de métodos experimentales para ser bien aceptado por la comunidad.
Si aún desea presentar tales hallazgos, puede
Evite cualquier mención de vínculos causales.
Puede presentar los resultados como un hallazgo secundario mientras compara su modelo con otros modelos similares descritos en la literatura.
También puede dividir el hallazgo más grande en partes más pequeñas que pueden ser bien recibidas por sí mismas, pero no juntas (Preséntelas de forma independiente).
Llegando a la parte sobre
medir un parámetro importante para los médicos que la vida de las personas dependerá de eso
Investigue el resultado de esta aplicación sobre esos datos, así como su resultado y relevancia para los médicos.
Los resultados de estudios académicos únicos rara vez se utilizan como telón de fondo para aplicaciones clínicas más amplias. Cualquier hallazgo académico, por grandioso que sea, se someterá a un análisis de control en múltiples rondas de estudios de replicación y luego se presentará como parte de un artículo de revisión histórico más grande. Los resultados presentados en tal contexto pueden terminar llegando al escritorio de un médico. Incluso entonces, lo pensarán dos veces antes de aplicar esos resultados a sus pacientes.
Si bien es excelente pensar en el contexto ético de los estudios de investigación básica, le recomiendo enfáticamente que piense en usted mismo en el esquema más amplio de la investigación académica antes de asociar un alto peso a tales preocupaciones.
Hay muchas buenas respuestas que discuten el tema de "¿Qué es lo correcto en la investigación?" puntos de vista Permítanme dar una mala desde el punto de vista práctico.
Mi pregunta: ¿Debo cambiar mi modelo para obtener los resultados deseados?
Sí, para que puedas terminar tu carrera a tiempo. Como está hablando de una tesis, supongo que se encuentra en la última etapa de su doctorado. Es demasiado arriesgado no terminarlo. Si estuviera en una etapa anterior, le recomendaría que busque otro asesor rápidamente.
No estoy en su campo, así que no puedo juzgar. Usted puede ser el que tiene razón, pero es irrelevante. De todas las historias que he escuchado y experimentado yo mismo, muy rara vez veo un ejemplo de un estudiante de posgrado que cambie con éxito la opinión del asesor. La mayoría de las veces, estos argumentos salen mal y las cosas se desmoronan, el único que sale lastimado es el estudiante de posgrado.
Estaba en una universidad R1 haciendo química computacional y enfrenté un dilema muy similar pero peor que el que describiste. Las personas en ese campo publican regularmente un modelo computacional sobreajustado que no tiene otro uso que no sea ajustar algunos números bien conocidos de datos experimentales. Argumenté que estos modelos no pueden producir predicciones útiles y proporcioné mi propia evidencia de simulación.
Luego, algunos profesores de ese departamento, incluido mi asesor en ese momento, decidieron echarme, me llamaron "no apto para hacer un doctorado". (Está bien, hay muchos más detalles aquí, pero eso no es importante para esta respuesta si tiene mucha curiosidad, busque en mis otras publicaciones)
Fue hace 5 años y ahora estoy en la última etapa de otro doctorado. programa en un campo diferente. Las personas que conozco a las que les iba mucho peor que a mí ahora son en su mayoría posdoctorados/profesores/en puestos de alto nivel en la industria.
Ahora, regrese y cambie su modelo para obtener los resultados deseados para que no tenga que seguir mis pasos. Si sientes que esto está mal, simplemente déjalo y haz otra cosa que te haga feliz. Sí, el mundo real, incluso en la academia, es injusto.
Supongo que voy a tener que apoyar a su asesor aquí. Su caracterización parece un poco extraña para una situación que quiere hacer recomendaciones clínicas donde la salud o la seguridad de las personas pueden verse en peligro por un mal consejo.
Parece querer implicar que su modelo es un sustituto de la realidad, e incluso es superior a la realidad ya que ha sido "validado". Pero en realidad, ningún modelo es perfecto. Ningún modelo captura perfectamente la realidad. Por supuesto, es una abstracción de la realidad y hace algunas suposiciones simplificadoras. Los modelos son simples y la realidad es extremadamente desordenada.
Un modelo que "parece" predecir la realidad es útil, por supuesto, aunque puede no hacer un buen trabajo en algunos casos, en particular en los casos extremos. Pero tal vez "sus resultados deseables", simplemente significa "coincide suficientemente con la realidad".
La validación de su modelo no es prueba de que brinde buenos consejos en todas las situaciones necesarias. Si tiene alguna evidencia de que a veces falla, entonces sería extremadamente imprudente, incluso poco ético, aplicarlo tal como está en situaciones clínicas, al menos sin otra evidencia para el régimen sugerido.
Un modelo con pocas consecuencias para la salud y la seguridad humanas puede tener algunas fallas y seguir siendo útil. Pero me preocupa esta situación. Tal vez todo lo que su asesor esté diciendo es que usted puede y debe hacerlo mejor. Me parece, al menos, un sabio consejo.
Nuevamente, un modelo que muestra evidencia de falla en algunas situaciones es sospechoso. Si la aplicación del modelo es crítica, incluso la evidencia menor puede ser peligrosa.
eykanal