¿Cómo determinan los científicos cuándo descartar un modelo que tiene una mayor correlación con los datos que otro modelo?

Para cualquier conjunto de puntos de datos, puede componer una curva 100 % correlacionada y ajustada utilizando una suma de líneas inclinadas, todas multiplicadas por sus respectivas funciones de paso de Heaviside para formar una curva en forma de zigzag. Y, sin embargo, no usamos esos modelos. Esto plantea la pregunta: ¿cómo sabe la comunidad científica académica de físicos cuándo descartar un modelo que tiene una correlación más alta que otro modelo posible?

Para penalizar el uso de un número excesivo de parámetros, los investigadores pueden aplicar las técnicas de criterio de información R cuadrado o Akaike ajustado , por ejemplo. Para evitar el sobreajuste a un conjunto de datos en particular, pueden realizar una validación cruzada , guardando una parte de sus datos para evaluar un modelo ajustado.
Estoy de acuerdo con @Chemomechanics. Creo que la validación cruzada es la clave aquí. Puede ajustar un modelo perfectamente con un conjunto de datos, pero tan pronto como recopila otro, está completamente apagado. Es el entrenamiento, validación y predicción de 3 pasos que usan los científicos, supongo.
Quiero marcar esto como fuera de tema porque pertenece a Cross Validated, pero esa no es una opción a través de la aplicación (que es todo lo que tengo en este momento). Voy a marcarlo para Matemáticas en su lugar (ya que es una opción), pero realmente debería estar en CV.
@Geoffrey El tema no es solo la matemática en sí, es cómo los físicos eligen usarla con fines científicos.
@DaneJoe CV tampoco se trata de matemáticas, se trata de modelos estadísticos, que es el núcleo de la pregunta. Sin embargo, no es que esté fuera de tema aquí.
La navaja de Occam. Existe una compensación entre qué tan bien se ajusta un modelo a los datos y qué tan complicado es (y, por lo tanto, es más probable que esté sobreajustado y sea incorrecto). Esto también se conoce como equilibrio entre sesgo y varianza: a medida que se ajusta el modelo, el sesgo disminuye pero la varianza aumenta. Consulte también en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff . Es posible que un físico típico no sea tan sofisticado en este tema como las personas de ML, pero siguen los mismos principios.
Para abordar el modelo de "conectar los puntos" para un conjunto de puntos de datos, dicho ajuste tendría 0 grados de libertad. Casi cualquier prueba estadística razonable la rechazaría.

Respuestas (5)

Para cualquier conjunto de puntos de datos, puede componer una curva 100% interpolada y ajustada utilizando una suma de líneas inclinadas, todas multiplicadas por sus respectivas funciones de paso de Heaviside para formar una curva en forma de zig-zag. Y, sin embargo, no usamos esos modelos.

La física desde la época de Newton hasta ahora es la disciplina donde se utilizan ecuaciones diferenciales matemáticas, cuyas soluciones se ajustan a los puntos de datos y son predictivas de nuevos datos. Para ello, se escoge un subconjunto de las posibles soluciones matemáticas mediante el uso de postulados/leyes/principios, tan fuertes como axiomas en cuanto al ajuste de los datos.

Lo que describe es un ajuste aleatorio a una curva de datos determinada y no hay posibilidad de predecir el comportamiento de nuevos sistemas y condiciones de contorno. No es un modelo.

¿Cómo sabe la comunidad científica académica de físicos cuándo descartar un modelo que tiene una correlación más alta que otro modelo posible?

Si uno tiene un conjunto completo de funciones, como las funciones de Fourier o Bessel, siempre puede ajustar las curvas de datos. este no es un modelo de física, es solo un algoritmo para registrar datos. El modelo de física tiene que predecir qué coeficientes tendrán las funciones que se utilizan para un ajuste.

Newton probablemente lo dijo primero: "Hypotheses non fingo" (traducción muy vaga: no solo invento cosas teóricas para que se ajusten a lo que medí). Por supuesto, William de Occam (¡el tipo con la navaja!) tenía la misma idea general, antes de que la "ciencia moderna" comenzara correctamente.

La "correlación más alta" no tiene sentido más allá de cierto punto; es decir, cuando ambos modelos ya son tan buenos que todos los puntos de datos concuerdan con la predicción del modelo dentro de los límites de su incertidumbre de medición . Entonces, el modelo que se acerca aún más, "innecesariamente cerca" a los valores esperados de medición individuales, no es el mejor modelo. De hecho, se considera inferior, es decir, sobreajustado : algunas de las características del modelo serán atribuibles a errores de medición aleatorios en lugar del comportamiento "inherente" del sistema.

Ahora, eso no es necesariamente un problema. En algunas aplicaciones, particularmente en ingeniería, está perfectamente bien solo medir el sistema particular que le interesa y registrar la curva de la manera que describió. Entonces tienes un modelo muy bueno para ese sistema y puedes hacer todas las predicciones sobre cómo se comportará ese sistema en tal o cual estado. Es un modelo un poco "caro", en el sentido de que necesita almacenar una gran cantidad de datos en lugar de solo una fórmula breve, pero bueno, si es ingeniero y sus clientes están contentos, ¿a quién le importa?

Sin embargo, las cosas son un poco diferentes en física . Aquí, buscamos hacer todas las leyes tan generales como sea posible. La mayoría de las cosas que podemos medir en el laboratorio no son realmente lo que queremos describir, sino más bien un prototipo simplificado de las cosas que realmente nos interesan (pero que no podemos medir directamente). Básicamente, lo que queremos hacer es extrapolar los resultados de laboratorio al mundo real. Ahora bien, la extrapolación es un negocio peligroso ... en particular, diferentes modelos que se ajustan a los mismos datos pueden dar lugar a extrapolaciones muy diferentes. Entonces, ¿cómo podemos saber qué modelo de este tipo realmente dará predicciones correctas ?
Para el tercer trimestre, habrá cientos de bebés dentro de ti.

La respuesta es que no podemos : si supiéramos los valores correctos que se van a predecir, ¡no necesitaríamos extrapolar en primer lugar! Sin embargo, podemos aplicar la navaja de Occam y eso tiende a ser bastante efectivo en este negocio. Básicamente, la idea es: un modelo complicado que requiere muchos parámetros de ajuste no es una buena apuesta para la extrapolación (si puede encontrar uno de esos modelos, es probable que también pueda encontrar un modelo similar, pero estructurado de manera diferente, que se comporte completamente diferente tan pronto como sea posible). deja el dominio de medición original). OTOH, un modelo simple y elegante dado, por ejemplo, como una ecuación diferencial simple tiene buenas posibilidades de ser el únicomodelo tan simple que en realidad es capaz de ajustar los datos, por lo tanto, puede ser optimista de que sus extrapolaciones también estarán cerca de una ventana de expectativa más amplia y precisa.

Dos pensamientos vienen a la mente:

  1. Una teoría tiene que describir más de un conjunto de datos. Si ajusta su "teoría" para que se ajuste perfectamente a un experimento, lo más probable es que falle en otro. En particular, si considera diferentes tipos de experimentos (digamos, mide la caída de una manzana y el movimiento de la luna).

  2. Una teoría debe tener algo de belleza. Esto significa que debe haber algún concepto simple detrás de él, para que tenga la sensación de que "explica" las cosas en lugar de simplemente dar una fórmula incomprensible que se ajuste al experimento. Por supuesto, ninguna teoría puede explicarlo todo, toda teoría necesita algunos axiomas, algunos ansatz. Pero la mejor teoría explica más observaciones con menos suposiciones.

Una teoría debe tener algo de belleza? Hay una hipótesis tensa. ¿Cuál es el concepto simple detrás de la magnetohidrodinámica? Si está buscando explicar más observaciones con menos suposiciones, quizás eficiente sea una mejor palabra.
Y el #1 tampoco es una guía perfecta. Si eres cosmólogo, solo obtienes un universo para comparar con tu modelo.
@user121330: El concepto simple detrás de la magnetohidrodinámica es que se basa en la electrodinámica y la hidrodinámica, que son conceptualmente simples. Hay una diferencia entre la complejidad que surge del hecho de que se consideran varias/muchas cosas simples y una cosa que es inherentemente compleja. Por ejemplo, la cromodinámica cuántica tiene cierta complejidad inherente porque no es abeliana. La electrodinámica cuántica es abeliana y, por lo tanto, tiene menos complejidad inherente, pero puede volverse tan compleja como desee si la aplica a sistemas complejos. Pero tienes razón, eficiente podría ser la mejor palabra.
@Rococo: Pero puedo realizar diferentes experimentos en este universo. Por ejemplo, si estoy interesado en la distribución de la materia del universo, puedo observar las luminosidades SNIa o el espectro de potencia de anisotropía CMB y obtener declaraciones independientes sobre el universo: th.physik.uni-frankfurt.de/~scherer/Blogging/…
también, incluso con 1 experimento, puede adaptarse a diferentes subconjuntos de datos
@Photon No se trata de simplicidad o eficiencia, se trata de previsibilidad. Un modelo sobreajustado seguirá sin ser predictivo incluso después de reajustarlo a nuevos datos que no pudo predecir. Simplicidad y eficiencia es cómo eliges entre dos modelos que son igualmente predictivos.
@Shufflepants: Tienes razón, me perdí este punto, pero ya lo ha explicado anna v.

Su pregunta es esencialmente sobre el problema de la inducción . Esta es una pregunta filosófica sobre cómo podemos generalizar y formar una teoría a partir de un conjunto limitado de puntos de datos. Hay un número infinito de curvas que se ajustan a los datos (y aún más infinitas si permitimos márgenes de error), entonces, ¿cómo sabemos cuál es?

La respuesta general es que hacemos experimentos adicionales. Una teoría solo es útil si hace predicciones, en lugar de simplemente describir los datos dados. Entonces, después de formar una teoría que describe los datos, hacemos más experimentos y vemos si esos resultados son consistentes con la teoría. Si no lo son, sabemos que la teoría estaba equivocada y se puede descartar.

Esta es la razón por la cual las teorías que no pueden probarse de esta manera a menudo se denominan no científicas; un ejemplo popular es el Multiverso: según algunas definiciones, no hay forma de saber si existen o no otros universos (si pudiera detectarse, lo consideraríamos parte de nuestro universo). Un área borrosa son las teorías que, en principio, podrían probarse, pero tales pruebas no son factibles con ninguna tecnología que esperamos que esté disponible; algunos científicos llaman a la Teoría de Cuerdas "ni siquiera equivocada" debido a esto.

El método científico nunca puede "probar" completamente una teoría, siempre es posible que surja algún nuevo punto de datos que no se ajuste a la teoría, y tendrá que ser revisado o descartado. Por ejemplo, la órbita de Mercurio no se ajusta a la mecánica newtoniana; La Teoría General de la Relatividad de Einstein resolvió esto (los astrónomos sospechaban previamente que había otro planeta perturbando la órbita de Mercurio). Pero cada vez que obtenemos nuevos datos que se ajustan a un modelo, aumentamos nuestra confianza en él; Einstein se hizo mundialmente famoso cuando las observaciones del Sol desviando la trayectoria de la luz de estrellas distantes durante un eclipse coincidieron exactamente con la predicción de la Relatividad General.

Así que esto nos lleva a su pregunta. Cada modelo hace predicciones y, presumiblemente, los diferentes modelos hacen predicciones diferentes. Así que hacemos experimentos adicionales, para ver cuál de las predicciones se confirma, y ​​luego descartamos la otra.

Esta no es una pregunta que tenga una respuesta simple. La respuesta corta es "experiencia", pero si quieres algo más allá y estás listo para leer cosas esotéricas reales, te sugiero que mires a los filósofos de la ciencia Popper, Polanyi y Kuhn.

La pregunta tiene una respuesta simple (tal como la dan annav o Photon, por ejemplo). Desea una función que tenga al menos el potencial de extrapolar nuevos valores con suficiente corrección: un grupo trivial de líneas que conectan los puntos nunca hará eso.
No me sorprende que este sea un sentimiento impopular, pero tiene algo de verdad. Hay heurísticas y reglas generales útiles, pero si decidir el modelo correcto para un conjunto de datos determinado no implicara algún juicio subjetivo, gran parte de la "creatividad" en física ya se habría automatizado.
@AnoE Lo siento, pero se han escrito volúmenes sobre esta pregunta. Volúmenes absolutos. Si tiene la respuesta definitiva y sistemática, puede publicarla y demostrar que es correcta. Pero si tienes esa respuesta, felicidades. Eres el único que lo hace.
La pregunta particular es sobre el "modelo" trivial de "línea en zig-zag". Una respuesta válida puede al menos señalar por qué (trivial y simplemente) este zig-zag en particular no es un buen modelo, y dejar al OP con indicadores de dónde todo esto se vuelve difícil. Esta respuesta en particular no tiene nada de ayuda en absoluto, no necesita "experiencia" para ver que una línea en zig-zag que conecta los puntos de datos no tiene poder alguno... No se trata de si esta respuesta es "correcta" o "incorrecta". , pero si es útil para la pregunta en cuestión.