¿Qué se debe hacer cuando la teoría detrás de una tesis doctoral resulta ser incorrecta?

Tengo un amigo que ha estado trabajando en una tesis doctoral durante más de 3 años y se supone que debe terminarla. Desafortunadamente, su tesis involucra un modelo complejo y llena el modelo con datos difíciles de obtener. Después de haber reunido finalmente todos los datos y haberlos insertado en el modelo, descubre que la teoría es más o menos no predictiva y no funciona. En otras palabras, tenía una teoría interesante, después de haber sido probada contra los datos resulta que la teoría es incorrecta.

Entonces, en esta situación, ¿qué harías? ¿Simplemente escribir una disertación que diga, "bueno, cuatro años de investigación muestran que esta teoría es incorrecta"?

En una situación algo similar, terminé comenzando de nuevo. Tomó un par de dispensas del decano.
¿Es este su propio modelo o uno ya publicado?
@BryanKrause Es un modelo derivado de un famoso modelo preexistente.
@TylerDurden Mostrar que un modelo no funciona, o falla en un caso determinado, puede ser mucho más interesante que mostrar que un modelo conocido funciona.
Relacionado, no exactamente un duplicado: academia.stackexchange.com/questions/30995/…
Sin excepción, la teoría detrás de cada tesis doctoral es incorrecta. Einstein demostró que Newtown estaba equivocado en muchas cosas y sin duda alguna persona inteligente demostrará que Einstein estaba equivocado. La pregunta no es si la teoría es correcta o incorrecta, sino si es útil.
“En el espíritu de la ciencia, realmente no existe tal cosa como un 'experimento fallido'. Cualquier prueba que produzca datos válidos es una prueba válida". - Adán salvaje
El título dice "... la teoría detrás de una tesis doctoral..." pero la pregunta en sí solo se refiere a una hipótesis formulada por el estudiante de doctorado sobre algún modelo y algunos datos. Por favor, no confundas "teoría" con "hipótesis". Tu amigo tenía una hipótesis que su experimento no apoyaba. La teoría detrás de su hipótesis es algo completamente diferente, mucho más grande, mucho más general y mucho más difícil de invalidar.
sesgo de publicación: no vale la pena publicar los resultados negativos
Tu doctorado demuestra que puedes hacer ciencia de la manera correcta. Su título es PhD , no PhD en El Efecto de la Radiación en Múltiples Cuerpos en el Vacío en el Contexto de Vacas Esféricas . Tener una tesis que demuestre que algo anda mal de alguna manera apesta, pero no es un problema per se con el hecho de obtener el título de doctor.
Básicamente está jodido. Solo dile que viva con esta frase en mente: "El propósito de una buena universidad es dar una base para fallar, no una base para obtener una A".
Si pudiera demostrar que la Hipótesis de Riemann en la que se confía resulta ser incorrecta, podría publicarse y generar más fama que "simplemente" un doctorado.

Respuestas (9)

¿Por qué la teoría estaba equivocada? "No funcionó" no es el final; el final es saber por qué no funcionó. Hay al menos dos posibles respuestas:

  • Hay un error fundamental y obvio en el núcleo del modelo que debería haberse detectado hace mucho tiempo. En este caso, puede ser cuestión de empezar de nuevo. Es difícil producir un trabajo/tesis si la historia es "Hice un modelo estúpido y no funcionó".
  • Hay una razón previamente desconocida por la que el modelo no funcionó a pesar de que las personas inteligentes pensaron que lo haría. Este es probablemente un resultado interesante y publicable. De hecho, podría ser incluso más interesante que un documento que simplemente dice "usamos un modelo y funcionó como se esperaba".

Parece que los datos también son valiosos. Incluso si se trata de comenzar de nuevo, este conjunto de datos parece que podría conducir a una publicación o ser un ingrediente en la nueva tesis.

El problema práctico, en mi experiencia, es que casi todos los problemas parecen obvios en retrospectiva :) esa es una razón raramente discutida para poder señalar la literatura previa sobre su teoría, o hace que sea más difícil para un revisor decir "bueno, todos los expertos Sabía que esto no funcionaría".
Es la diferencia entre ver a alguien haciendo una cirugía y hacértela tú mismo.

La investigación no se trata de tomar una declaración y probar que es verdad . Eso supondría que, de hecho, es cierto sin que se haya realizado la investigación. La investigación consiste en determinar si algo es cierto o no.

Pero hay dos posibilidades aquí. Uno, que ocurre en los estudios estadísticos, es un resultado que muestra evidencia insuficiente de que la teoría es verdadera. Otro, que puede ocurrir allí o, digamos, en las matemáticas, es un resultado que muestra que la teoría está claramente equivocada.

El primero de ellos es un experimento fallido. Puede decir poco sobre el modelo. Pero este último es un resultado definitivo. "Pensamos que esto podría ser cierto y nos enteramos de que no lo es".

Tenga en cuenta que en las pruebas estadísticas, una fracción de las muestras utilizadas dará resultados falsos. Si el estudio está bien diseñado, entonces puedes predecir cuál es esa fracción, digamos .01.

Pero mostrar que un modelo o una teoría es claramente incorrecta da como resultado una buena tesis y sí, dices "¡¡¡Esta teoría es incorrecta!!!"

Sin embargo, una teoría estadística fallida puede requerir más trabajo, o el asesor y el comité pueden aceptarla, siempre que el diseño sea bueno y todo lo demás se haya hecho con cuidado y de buena fe.

El conocimiento es conocimiento y es bueno, ya sea positivo o negativo.

De hecho, muchos estudios publicados luego resultan ser falsos porque los investigadores comenzaron con una noción preconcebida de la verdad e hicieron lo que pudieron para "hacer que así fuera". Eso no es investigación. La investigación es adentrarse en lo desconocido para intentar darlo a conocer.

"No usas la ciencia para demostrar que tienes razón, usas la ciencia para tener razón". -Randall Munroe
Una gran cantidad de investigación definitivamente está tomando una declaración, llámela "una conjetura" si lo desea, y demostrando que es cierta. Quizás no en los campos más aplicados, pero sí en los teóricos, definitivamente.
@einpoklum-reinstateMonica, pero no se sabe que la conjetura sea cierta al principio. Incluso puede ser falso. La investigación es la recopilación de evidencia para uno u otro. La evidencia definitiva es mejor. Pero la actitud debe ser "¿Es esto cierto?", no "Esto es cierto". al principio. Demasiados investigadores se comprometen con la verdad de sus hipótesis y terminan cometiendo varios errores. Incluso en matemáticas y física teórica, la afirmación es lo primero, pero se necesita la demostración.
En matemáticas es importante un contraejemplo a alguna conjetura, hay docenas de ejemplos por ahí. Y las pruebas de "imposibilidad" son de gran valor después de identificar por qué algo no funciona, un ejemplo famoso sería la solución negativa al Entscheidungsproblem y los teoremas de incompletitud de Gödel.
En campos teóricos, "Conocido como verdadero" = "Probado" (esencialmente).
¡Esta respuesta es incorrecta y peligrosamente incorrecta! Los estudios que muestran un efecto que no es estadísticamente significativo siguen siendo válidos. Si los estudios se excluyen de la publicación solo por eso, entonces se arruina la posibilidad de un metanálisis.
Has interpretado mal mi respuesta, @Ben. Tales estudios son válidos, simplemente no dan evidencia para la hipótesis. Ese era el punto, en realidad.
Según tengo entendido, ha dividido los posibles resultados de un experimento científico en tres categorías: 1. los datos confirman la hipótesis 2. los datos refutan la hipótesis 3. no hay pruebas suficientes para probar o refutar la hipótesis. Estoy de acuerdo con las categorías. También estoy de acuerdo en que si los datos refutan la hipótesis, entonces sigue siendo un resultado válido. Con lo que no estoy de acuerdo es con la afirmación de que la categoría 3 es un experimento fallido. Dichos estudios aún brindan un contexto importante para futuras investigaciones, especialmente si los datos en el campo son difíciles de recopilar.

Habla con su asesor al respecto, luego escribe un documento explicando su metodología y resultados.

Obviamente, el primer paso es hablar con su supervisor al respecto, asegurarse de que todos estén en la misma página y determinar los requisitos para una tesis doctoral en su departamento en particular. En algunos casos, es posible que tenga varios artículos revisados ​​por pares ya publicados que puede usar para compilar juntos para crear su tesis doctoral; en otros casos, esto podría no estar permitido, o podría no ser posible si aún no ha publicado nada. Sin embargo, independientemente de la situación, deben comprender los requisitos que su departamento le impone para completar con éxito su doctorado.

Sin embargo, independientemente de cómo estructure su trabajo de tesis, probablemente terminará explicando las metodologías que ha utilizado para producir el modelo, recopilar los datos y luego analizar los resultados del modelo usando los datos para llegar a la conclusión de que hay apoyo insuficiente para concluir que su hipótesis era verdadera. Según las normas de su departamento, es posible que publique o no el código que utilizó para producir su modelo de código abierto.

No diría "obviamente ...", de lo contrario, el OP no habría hecho la pregunta.

Su pregunta ilustra que el sesgo de publicación comienza en la escuela de posgrado (o incluso antes). Para citar el artículo de Wikipedia :

El sesgo de publicación es un tipo de sesgo que ocurre en la investigación académica publicada. Ocurre cuando el resultado de un experimento o estudio de investigación influye en la decisión de publicarlo o distribuirlo. Publicar solo los resultados que muestran un hallazgo significativo perturba el equilibrio de los hallazgos e inserta un sesgo a favor de los resultados positivos.

Si esta investigación se basa en un famoso modelo preexistente, tal vez ese modelo solo haya sobrevivido tanto tiempo porque el sesgo de publicación lo ha protegido de la refutación. La investigación que va en contra de un modelo no solo es adecuada para un doctorado, sino que podría ser sutilmente perjudicial para la comunidad investigadora en general enterrarla. Obviamente, no conozco los detalles del caso, pero según lo que ha dicho, parece una buena disertación de la que estar orgulloso, en lugar de algo por lo que disculparse.

EN MI HUMILDE OPINIÓN. Lo primero que debe hacer es avisar al director de tesis de inmediato. Hay una cuestión de integridad que siempre debe estar en primer plano: el asesor nunca debe tener una excusa para cuestionar la veracidad de su amigo. Esto es importante para el segundo paso. Si el asesor apoya personalmente el descubrimiento de algo que no es cierto, hablará con sus pares y buscará apoyo para una defensa formal. Si tiene el apoyo de sus compañeros, dejará que la defensa siga adelante (con una reescritura, por supuesto). Después de todo, ¿no es este el propósito de una tesis: descubrir algo que no se sabía antes? Recuerde, el asesor también tiene "piel en el juego". Si deja que proceda una defensa y es derribada, pierde la "cara". Si él cree en tu amigo, tiene una buena oportunidad.

Las personas, sus relaciones y los aspectos organizativos del proceso suelen ser más importantes que el resultado final, pero no existe una razón fundamental por la que un resultado negativo no descubra algo que valga la pena informar. Después de todo, el fármaco Sildenafil fracasó en sus ensayos clínicos hasta que alguien leyó un memorando interdepartamental y vio los resultados negativos de manera diferente.

Por cierto. Pasé 20 años en una empresa Fortune 500, una parte de ese tiempo como gerente. No tengo un doctorado, pero sí conozco personas y procesos. El problema de tu amigo no es diferente. ¡Dile a tu amigo que tiene esto y felicitaciones por terminar la investigación! Anímalo a no ser un ABD, ¡tu amigo es tan cercano!

Si supieras la respuesta antes de comenzar, no sería realmente una investigación.

Ha habido muchas teorías que resultaron ser incorrectas. Un ejemplo reciente es la supersimetría . Esta idea de la física de partículas era realmente atractiva por muchas razones, y muchos físicos dedicaron sus carreras a trabajar en la teoría. Aún así, el LHC no ha detectado partículas supersimétricas, lo que está demostrando ser un problema importante .

Su amigo debe hablar con su asesor sobre el tema, pero no debe preocuparse demasiado por entregar una tesis que diga "bueno, cuatro años de investigación muestran que esta teoría es incorrecta". Estaría en buena compañía.

¿Realmente, el hecho de que no obtengas un doctorado (o escribas una tesis extremadamente débil y estés en una posición de mierda para avanzar en tu carrera académica) no es algo para perder el sueño? ¿Puedes aclarar a qué te refieres exactamente? Estas vagas metáforas sobre perder el sueño y estar en buena compañía no responden realmente a la pregunta.
La parte de la supersimetría puede ser controvertida :-) Es cierto que la mayoría de los modelos SUSY predijeron spartículas que ya se habrían descubierto. Pero eso solo fomenta modelos más creativos (por ejemplo, "naturalidad fibrosa")
@Dan Romik: En muchos campos/instituciones/culturas la calidad de la tesis no se mide por si la teoría investigada resulta positiva. Así que el problema explicado aquí no resultará en no obtener un doctorado o tener una tesis muy débil (aunque la tesis, por supuesto, puede ser débil por otras razones, por lo que siempre es un buen consejo preocuparse y perder el sueño ;-). Sin embargo, esto depende del campo/institución/cultura, por lo que es obligatorio discutir esto con el supervisor.
Personalmente, como supervisor, tuve estudiantes de doctorado que no admitirían por su vida que la idea que han estado investigando no funciona tan bien. A veces fue idea mía e incluso pensaron que me lo debían a mí para demostrar que la idea es buena, pero en ocasiones no lo era. Seguramente estoy bien con una tesis bien escrita, bien fundamentada y entendida con un resultado (en gran parte) negativo. Por supuesto, uno necesita elaborar lo que el campo puede aprender de esto. Pero me puede llevar a la desesperación que los estudiantes simplemente no pueden admitir que algo no funciona bien.

Mi asesor ha dicho al comienzo de los talleres, que las tesis que resultaron ser incorrectas suelen caracterizar a las mejores disertaciones.

La explicación es simple: si su tesis resulta ser correcta, entonces, en la mayoría de los casos, ha demostrado que algo que se cree que es correcto es correcto. En la mayoría de los casos, no avanza nada. Por otro lado, si se demostró que su tesis estaba equivocada, eso es mucho más interesante. Seguramente ha discutido su tesis inicial con su asesor, también coincide con su estado inicial de conocimiento que obtuvo de los libros. Pero luego has encontrado algo que no coincide con ese estado de conocimiento. Si puede averiguar por qué su tesis original estaba equivocada, tiene un gran potencial para aportar algo nuevo a la ciencia.

Trabajando con lo que tienes:

  • Datos difíciles de obtener
  • Una teoría que ahora sabes con certeza es incorrecta

¿Error en qué sentido? ¿"No se puede mostrar significación estadística" o "se puede mostrar que lo contrario es cierto"? Si puede decir algo definitivo, como que lo contrario es cierto, entonces puede formular un nuevo modelo que sea mejor que el anterior (porque concuerda con la evidencia).

Si todo lo que tiene es "sin importancia", entonces eso es menos jugoso, pero aún puede escribir un artículo sobre "el modelo X falla en la circunstancia Y, y estos son mis argumentos por los que creo que Z es la causa".

Los datos difíciles de obtener son una perspectiva interesante. Si tomó años obtener estos datos, entonces publicarlos para que otra persona no necesite años para recopilarlos puede ser científicamente valioso. Si tomó años obtener estos datos, presumiblemente otras personas no han tenido muchas oportunidades de estudiar y analizar los datos, y también puede escribir sobre eso.

En total, tienes cosas sobre las que escribir que le tomó a una persona inteligente tres años de trabajo serio reunir. Y has aprendido sobre los altibajos de la investigación. Trabaja con tu supervisor para encontrar una nueva dirección para la tesis. Pero debería poder escribir una tesis sólida que demuestre que ha aprendido a investigar y presente los resultados de la investigación que aún no estaban disponibles para la comunidad científica (es sorprendentemente difícil obtener datos y conocimientos sobre qué enfoque de modelado). no funciona).

Estaba buscando esta respuesta, +1. ¡Los datos difíciles de obtener son difíciles de obtener! Ciertamente se puede analizar en profundidad para sacar algunas conclusiones, o al menos confirmar las conocidas. No será una tesis tan sólida como la que anticipó el estudiante, pero si la recopilación de datos fue difícil, tal vez ese pueda ser el enfoque, en lugar del resultado que esperaba obtener del modelo complejo.

Estructuraría un documento titulado "Sobre la no sustentabilidad de la hipótesis de que...".

Este documento puede ser un informe de investigación, un artículo de revista, un capítulo de tesis, cualquier cosa. Mientras se escribe, la lógica de los pensamientos se desplegará; tal vez incluso puedas encontrar que no es cierto que todo está mal. Todas las demás reacciones dadas en este hilo contribuyen a proporcionar motivación y caminos sensatos a seguir.

En términos de autorreflexión, además de un montón de sesgos de juicio que ocurren con frecuencia , tenga en cuenta también el sesgo del impostor : incluso hay una lista de reproducción de charlas TED para elegir la variante más adecuada.

Finalmente, como inspiración, podría ser interesante mirar las líneas editoriales de las revistas que publican 'estudios de fallas' como diferentes de 'estudios fallidos'. Uno en la comunidad médica del que escuché es el Journal of Negative Results in Biomedicine . Me imagino que es importante recopilar el vocabulario apropiado para explicar los "estudios de fallas" , y puede ser útil tomar prestado de cualquier fuente confiable.