Estimación del parámetro de máxima verosimilitud: asumiendo la media de las observaciones

Question

Estimación del parámetro de máxima verosimilitud: asumiendo la media de las observaciones

Estadísticas
Matemáticas
probabilidad
estimación de parámetros
distribuciones de probabilidad

SharKCS11

Actualmente estoy en una clase de probabilidad aprendiendo sobre la estimación de parámetros usando el estimador de máxima verosimilitud. El problema es el siguiente: tenemos una lista de observaciones independientes Y y[1]...y[n], que provienen de alguna distribución de probabilidad $f_Y(y,\lambda)$ con un parámetro desconocido $\lambda$ . (Por ejemplo, exponencial, Gaussiana, Poisson, etc.)

Queremos estimar el parámetro $\lambda$ maximizando la probabilidad de que veamos las observaciones que hacemos. Como todas las observaciones son independientes, tenemos probabilidad $P(Y,\lambda)= \prod_{i=1}^{n} f_Y(y_i,\lambda)$ . Para maximizar esto, tomamos la derivada con respecto a $\lambda$ y poner a 0.

\hat{λ} = argumento \underset{λ}{máximo} [PAG (Y, λ)]

$\hat\lambda= \arg \max_{\lambda} \left[ P(Y,\lambda) \right]$

Algo que noté: para cada ejemplo de esto que he visto hasta ahora (solo alrededor de 2 o 3 ahora), el resultado final es siempre el mismo: el valor del parámetro es lo que hace que la media de su vector de observación sea igual $E[f_Y(y,\lambda)]$ . Por ejemplo, para una distribución exponencial, obtenemos

\hat{λ} = \frac{1}{\frac{1}{norte} \sum_{i} y_{i}} = \frac{1}{m_{Y}}

$\hat\lambda=\frac{1}{\frac{1}{n}\sum_{i}y_i} = \frac{1}{\mu_Y}$ Esto tiene sentido intuitivo, porque para una distribución exponencial, el valor esperado es

1 / λ

$1/\lambda$ . Mi pregunta es esta: ¿ siempre puede asumir que la media de sus observaciones es la media de su distribución de probabilidad y simplemente resolver los parámetros desconocidos usando esa suposición? Solo porque funciona para los pocos casos que he visto, no sé si esto se puede generalizar a cualquier distribución de probabilidad. Soy completamente nuevo en estos temas, por lo que agradecería cualquier información adicional.

¡Gracias de antemano!

callculus42

tienes razón en eso

\hat{λ} = \frac{1}{\frac{1}{n} \sum_{i = 1}^{n} y_{i}} = \frac{1}{\bar{y}}

$\hat\lambda=\frac{1}{\frac1n \sum\limits_{i=1}^n y_i}=\frac1{\overline y}$ . Este es el extimador de máxima verosimilitud. Pero el siguiente signo de igualdad no es correcto. Confundiste la media de la muestra y el valor esperado. Ahora puedes calcular el valor esperado de

\hat{λ}

$\hat\lambda$ . sale que

E (\hat{λ}) = \frac{n}{n - 1} \cdot λ

$\mathbb E(\hat\lambda)=\frac{n}{n-1}\cdot \lambda$ . Entonces hay un sesgo como

E (\hat{λ}) - λ = \frac{n}{n - 1} \cdot λ - λ = (1 - \frac{n}{n - 1}) \cdot λ = (\frac{n - 1}{n - 1} - \frac{n}{n - 1}) \cdot λ = - \frac{1}{n - 1} \cdot λ

$\mathbb E(\hat\lambda)-\lambda=\frac{n}{n-1}\cdot \lambda-\lambda=\left(1- \frac{n}{n-1}\right)\cdot \lambda=\left(\frac{n-1}{n-1}- \frac{n}{n-1}\right)\cdot \lambda=-\frac{1}{n-1}\cdot \lambda$

Respuestas (2)

Estimación del parámetro de máxima verosimilitud: asumiendo la media de las observaciones

tienes razón en eso $\hat\lambda=\frac{1}{\frac1n \sum\limits_{i=1}^n y_i}=\frac1{\overline y}$ . Este es el extimador de máxima verosimilitud. Pero el siguiente signo de igualdad no es correcto. Confundiste la media de la muestra y el valor esperado. Ahora puedes calcular el valor esperado de $\hat\lambda$ . sale que $\mathbb E(\hat\lambda)=\frac{n}{n-1}\cdot \lambda$ . Entonces hay un sesgo como $\mathbb E(\hat\lambda)-\lambda=\frac{n}{n-1}\cdot \lambda-\lambda=\left(1- \frac{n}{n-1}\right)\cdot \lambda=\left(\frac{n-1}{n-1}- \frac{n}{n-1}\right)\cdot \lambda=-\frac{1}{n-1}\cdot \lambda$

resolución · Answer 1

Estás notando que en algunos casos el MLE es igual al resultado de establecer el valor esperado de las observaciones (p. ej. $EY=\frac{1}{\lambda}$ ) igual a la media muestral observada ( $\bar{y}=\frac{1}{n}\sum_{i=1}^ny_i$ ) y resolviendo el parámetro (p. ej. $\hat{\lambda}=\frac{1}{\bar{y}}$ ). Este último método se denomina método de los momentos (MOM) y generalmente no da el mismo resultado que MLE. (Sin embargo, existe una especie de conexión entre MLE y un MOM generalizado ).

Como un ejemplo de cómo los dos pueden diferir, considere $X_1,X_2,X_3$ uniforme $(0,\theta)$ . Entonces $\hat{\theta}_\text{MLE}=\max\{X_1,X_2,X_3\}$ , mientras $\hat{\theta}_\text{MOM}=2\bar{X}$ .

NB : El estimador MOM a veces puede no tener sentido; por ejemplo, en el ejemplo anterior, si las observaciones son $(X_1,X_2,X_3)=(1,1,10)$ , entonces $\hat{\theta}_\text{MOM}=2\bar{X}=2\frac{1+1+10}{3}=8$ , aunque un valor de $10$ ¡fue observado!

Michael Hardy · Answer 2

ok, entonces consideremos el caso donde $X_1,\ldots,X_n$ son independientes y se distribuyen uniformemente en el intervalo $[0,\theta]$ y quieres el MLE de $\theta.$ La media de la distribución es $\theta/2.$ La densidad para una sola observación es

F (X) = {\begin{cases} 1 / θ & si 0 < X < θ, \\ 0 & de lo contrario. \end{cases}

$f(x) = \begin{cases} 1/\theta & \text{if } 0 < x < \theta, \\ 0 & \text{otherwise.} \end{cases}$ La densidad conjunta es

X \mapsto {\begin{cases} 1 / θ^{norte} & si 0 < X_{1}, \dots, X_{norte} < θ, \\ 0 & si al menos uno de X_{1}, \dots, X_{norte} es > θ . \end{cases}

$x\mapsto \begin{cases} 1/\theta^n & \text{if } 0< x_1,\ldots,x_n < \theta, \\ 0 & \text{if at least one of } x_1,\ldots, x_n \text{ is } > \theta. \end{cases}$ eso implica

L (θ) = {\begin{cases} 1 / θ^{norte} & si θ > máximo {X_{1}, \dots, X_{norte}}, \\ 0 & si θ < máximo {X_{1}, \dots, X_{norte}} . \end{cases}

$L(\theta) = \begin{cases} 1/\theta^n & \text{if } \theta > \max\{x_1,\ldots,x_n\}, \\ 0 & \text{if } \theta < \max\{x_1,\ldots,x_n\}. \end{cases}$ Como

θ

$\theta$ se vuelve más pequeño,

L (θ)

$L(\theta)$ se hace más grande, hasta

θ

$\theta$ se vuelve más pequeño que

max {x_{1}, \dots, x_{n}} .

$\max\{x_1,\ldots,x_n\}.$ Entonces el valor de

θ

$\theta$ que maximiza

L (θ)

$L(\theta)$ es

max {x_{1}, \dots, x_{n}} .

$\max\{x_1,\ldots,x_n\}.$

Ahora fíjate en dos cosas:

No encontramos esto igualando la derivada a $0$ y resolviendo para $\theta$ . No siempre se hace así.
ese valor de $\theta$ hace que la media de la distribución sea igual a $\max\{x_1,\ldots,x_n\}/2,$ y eso no es igual a $(x_1+\cdots+x_n)/n.$ Vea si puede encontrar ejemplos concretos, digamos con $n=3$ , dónde $(x_1+x_2+x_3)/3$ no está cerca $\max\{x_1,x_2,x_3\}/2.$

Estimación del parámetro de máxima verosimilitud: asumiendo la media de las observaciones

SharKCS11

callculus42

Respuestas (2)

resolución

Michael Hardy

¿Usando pdf X para encontrar pdf Y, y deduciendo los límites en los que la función de densidad de probabilidad de Y es válida?

Una pregunta trivial sobre la predicción de la tasa de llegada de un proceso de Poisson a partir de datos de muestra

Distribución de gaussianas conjuntas condicionadas a su suma

¿Distribución aproximada de la media muestral?

Densidad conjunta y marginal y valor esperado de X - ¿Lo resolví correctamente?

¿Cómo usar el límite inferior de Cramer-Rao (CRLB) para mostrar que Y¯Y¯\bar{Y} es el mejor estimador insesgado de λλ\lambda?

Matemáticas detrás del juego de fósforos en The Goal

Distribución de pX+(1−p)YpX+(1−p)YpX+(1-p) Y

(X,Y)(X,Y)(X, Y) PDF está en la forma normal multivariante ⟹⟹\implica (X,Y)(X,Y)(X, Y) normal multivariante

¿Por qué los límites de esta integral no consideran ambas igualdades?