Ajuste de mínimos cuadrados: intervalo de confianza del 68 %

Estoy ajustando un polinomio lineal a algunos datos y he derivado los errores para cada uno de los parámetros de mejor ajuste de la matriz de covarianza. Esperaría que estos errores correspondan a un 1 σ Intervalo de confianza del 68%, pero estoy descubriendo que este no es el caso.

Si, en cambio, realizo una búsqueda en cuadrícula, en la que congelo uno de los dos parámetros y encuadro el otro, buscando los valores de los parámetros correspondientes a x metro i norte 2 + 1 , obtengo un intervalo de error más pequeño que el de los errores de mínimos cuadrados. De acuerdo con Bevington (Reducción de datos y análisis de errores para las ciencias físicas), un intervalo de confianza del 68% de un solo parámetro viene dado por valores de parámetros que aumentan el x 2 -valor de x metro i norte 2 a x metro i norte 2 + 1 .

He probado esto con varios códigos y todos dan los mismos resultados. ¿Alguien puede ayudarme a entender este comportamiento?

¿ Mejor en Cross Validated ?
¿Tu matriz de covarianza es diagonal? Si no es así, entonces sus dos parámetros están correlacionados. Su segundo análisis (búsqueda de cuadrícula) parece suponer implícitamente que sus dos parámetros no están correlacionados.
@dmckee sí, creo que esto está fuera de tema aquí

Respuestas (2)

Creo que lo que ha descrito no es el método correcto para estimar un intervalo de confianza del 68% en un parámetro de interés.

El error está en congelar el otro parámetro al minimizar el chi-cuadrado.

Un mejor procedimiento para evaluar la incertidumbre en el parámetro 1 es evaluar el chi-cuadrado mínimo para un conjunto de valores del parámetro 1, mientras se permite que varíe el parámetro 2 . El valor del parámetro 1 de mejor ajuste está en el mínimo global, mientras que se proporciona una estimación de su incertidumbre cuando el chi-cuadrado aumenta en 1 a partir de este valor, pero no necesariamente en el mismo valor del parámetro 2 .

Si congela el parámetro 2 en su valor de mejor ajuste, subestimará la incertidumbre en el parámetro 1. La razón de esto es que el lugar geométrico del ajuste mínimo de chi-cuadrado en un espacio de parámetro 1 frente a parámetro 2 está (en general) inclinado con respecto a a estos ejes.

La mejor manera de hacerlo es evaluar chi-cuadrado sobre todo el espacio de parámetros y luego encontrar la proyección del contorno de chi-cuadrado+1 en cada uno de los ejes de parámetros. Una imagen puede decir más que mil palabras. Las flechas rojas muestran cómo intentaste hacerlo. Los límites azules muestran mi primera forma (económica) de tratar de mejorar la estimación y luego las flechas negras muestran la proyección de la elipse de error en el eje x.

Elipse de errores

En otras palabras, para 68% en 1D encuentre la región (posiblemente no contigua) en X dónde min y , z ⋯ x 2 ( X , y , z , ⋯ ) − min X , y , z ⋯ x 2 ( X , y , z , ⋯ ) ≤ 1
¡Gracias! Esto tiene sentido para mí. Parece que el error de mínimos cuadrados te da correctamente el 1 σ proyección de la elipse de error en el eje del parámetro para una línea cuando la elipse está inclinada como resultado de las correlaciones entre el parámetro 1 y el parámetro 2. Parece que también puede obtener los errores al proyectar la elipse del error en los ejes del parámetro usando la covarianza matriz. ¿Cómo obtendría intervalos de confianza de 1 sigma si tiene más de 2 parámetros (digamos, 5 parámetros) y varios de ellos están correlacionados entre sí?
@grover La forma costosa es calcular una cuadrícula completa y proyectar a lo largo de cada eje. Monte Carlo podría ser más barato. O incrementa un parámetro, minimiza chisq frente al resto y usa esta gráfica 1d para encontrar dónde chisq aumenta en +1. Esto es computacionalmente barato y más o menos correcto. Tenga en cuenta que solo es chisq+1 si está interesado en un solo parámetro.

En el caso de un ajuste de 2 parámetros, el espacio de confianza del 68 % suele ser una elipse, no necesariamente alineada con los ejes. Si desea calcular el tamaño de la elipse, debe encontrar la orientación de la elipse, no solo las intersecciones de la elipse con una línea horizontal y vertical a través de su centro.

Ejemplo: ajuste y = a + b X para un gran conjunto de puntos de datos agrupados alrededor ( X , y ) = ( 1 , 1 ) . La calidad del ajuste será bastante similar para ( a , b ) = ( 1 , 0 ) o ( 0 , 1 ) . pero si cambias a sin cambiar b en la dirección opuesta (esto es lo que hiciste), muy rápidamente obtendrás un mal ajuste. Pero esto no dice mucho sobre la incertidumbre en a .

El procedimiento que uso es cambiar iterativamente un parámetro sin cambiar el otro. Entonces, busco x metro i norte 2 y actualizar el valor. Este proceso se repite para cada parámetro hasta que x metro i norte 2 no cambia y obtienes un mínimo global. Esto garantiza que está obteniendo el mejor ajuste al hacer una búsqueda exhaustiva. Luego, puede derivar intervalos de confianza al observar los valores de los parámetros correspondientes a x metro i norte 2 + 1 . Mi pregunta es ¿por qué esto es diferente de los errores que uno deriva de la matriz de covarianza de mínimos cuadrados?
Eso es lo que le dice la respuesta: porque no se garantiza que la elipse de error esté alineada con el eje.
Ajuste de mínimos cuadrados: intervalo de confianza del 68 %
RespuestasAquíPolítica de privacidad1y, 3v