Estimación de la desviación estándar de la población con la desviación estándar de la muestra

A las 4:30 de este video, el autor decidió estimar la desviación estándar de la población con la desviación estándar de la muestra (el tamaño de la muestra fue 100 ).

En el siguiente video, el autor mencionó que era razonable porque el tamaño de la muestra era mayor que 30 . Bueno, ¿qué nos dice que podríamos estimar la desviación estándar de esta manera? Por que es 30 ese límite mágico? ¿Tiene algo que ver con el teorema del límite central? (Supongo que no, porque no calculamos la desviación estándar de la media, por lo que no está relacionado de ninguna manera).

La clave está en el sesgo del estimador, así que dependiendo del porcentaje que aceptes, cambia. Si estuviera trabajando en algún campo médico donde trabaja con niveles de confianza de 99.9 % , 30 sería claramente muy pocos casos. Si está de acuerdo con los niveles de confianza alrededor 95 % , eso es mucho más aceptable. No puedo recordar cómo calcular el sesgo, pero apuesto a que si lo soluciona, encontrará que responde a su pregunta (lo más probable es que le dé un sesgo de alrededor de 5 % )

Respuestas (2)

En el fondo, el problema aquí parece ser si usar el estadístico z o el estadístico t para encontrar un intervalo de confianza para la media de la población. m o en la prueba de una hipótesis sobre m .

Suponer X 1 , X 2 , , X norte es una muestra aleatoria de una población normal en la que tanto la media m y la desviación estándar σ son desconocidos Deseamos encontrar un intervalo de confianza (IC) del 95% para m .

si supiéramos σ entonces

Z = X ¯ m σ / norte norte o r metro ( 0 , 1 ) .
De este modo
PAG { 1 / 96 X ¯ m σ / norte 1.96 } = 0,95 ,
en el cual m se puede aislar en unos pocos pasos de álgebra para
PAG { X ¯ 1.96 σ / norte m X ¯ + 1.96 σ / norte } = 0,95.
Entonces decimos que un IC del 95% para m es X ¯ ± 1.96 σ / norte , en el que todas las cantidades X ¯ , σ , y norte son conocidos. Los números ± 1.96 se eligen porque recortan una probabilidad del 2,5 % de las colas superior e inferior de la distribución normal estándar, dejando el 95 % en el centro.

En caso σ es desconocido, es conveniente utilizar la desviación estándar de la muestra S en cambio, afirmando que X ¯ ± 1.96 S / norte o quizás X ¯ ± 2 S / norte , es un IC aproximado del 95% para m . Si norte 30 , esta aproximación es bastante buena, por las razones que vemos a continuación.

Si σ no se conoce, la distribución exacta es

T = X ¯ m S / norte T ( norte 1 ) ,
Distribución t de Student con norte 1 grados de libertad. Luego, un IC del 95% exacto para m es X ¯ ± t S / norte , dónde t corta 2.5% de probabilidad de la cola superior de T ( norte 1 ) y, por simetría, t corta un 2,5% de la parte inferior de la cola. Mirando las tablas de la distribución t vemos que para norte 30 (o norte 1 29 ), t es aproximadamente 2.0. Entonces, el procedimiento aproximado con la distribución normal estándar y el procedimiento exacto con la distribución t de Student equivalen aproximadamente a lo mismo.

Para valores menores de norte , los valores de t hacerse notablemente más grande. por ejemplo si norte = 10 , tenemos t = 2.262. Por lo tanto, el IC del 95 % se hace más largo (menos preciso). Puede pensar en esta pérdida de precisión como una "penalización" por tener que estimar σ por S en lugar de saber el valor exacto de σ .

Hay algunas buenas razones para olvidar por completo la 'regla de los 30':

Primero, 'funciona' solo para IC del 95%. Para un IC del 99 %, necesitamos reducir el 0,5 % de probabilidad de cada cola: el valor de corte normal es z = 2.576 y necesitamos aumentar el tamaño de la muestra a aproximadamente norte = 60 antes t 2.6.

En segundo lugar, al usar software estadístico, sabemos el valor exacto de σ o el programa lo aproximará a partir de los datos como S . Desde el principio, tenemos que saber si estamos haciendo un intervalo z o un intervalo t. El uso de una regla innecesaria sobre el tamaño de la muestra solo confunde el problema. La regla correcta es: usar z-procedures es σ es conocido (y por lo general no es en la práctica); utilizar procedimientos t de no.

Tercero, algunos autores de libros elementales intentan usar la 'regla de 30' (sin ninguna justificación teórica) para varios tipos de procedimientos de limitación, aplicabilidad del Teorema del Límite Central, uso seguro de procedimientos t para datos no normales, etc. en. En estas aplicaciones, 30 rara vez es una línea divisoria apropiada.

Excelente respuesta! En las clases me perdí el razonamiento del tamaño de la muestra del IC del 95 % frente al IC del 99 %. Tiene perfecto sentido ahora.
Fantástica explicación! Solo me pregunto cómo manejar X siendo una variable aleatoria discreta en combinación con un tamaño de muestra bajo. Uso de la desviación estándar de la muestra S como estimador de σ no parece correcto; digamos que mi variable aleatoria tiene dos resultados posibles: 0 o 1, con PAG [ X = 0 ] = PAG [ X = 1 ] = 0.5 . Si tomo sólo dos muestras, es muy posible que resulte ser X 0 = X 1 = 1 y eso resultará en S = 0 . Eso significa que, usando la ecuación anterior, el IC del 99 % (o incluso el IC del 99,999 %) será [ 1 , 1 ] porque S = 0 . como debo estimar σ ¿en cambio?
@rem: Ciertamente, estos métodos t y z no se aplican a su ejemplo específico. // Mi explicación es para una muestra de una población normal . Si la dist'n de la X i es discreto y norte es lo suficientemente grande como para que X ¯ es aproximadamente normal, entonces algunos autores podrían sugerir el uso de métodos z o t como aproximaciones. // Si se conoce el tipo de distribución discreta (p. ej., binomial, Poisson, etc.), buscaría un método exacto basado en ese tipo de distribución.

Ninguno de los dos métodos para estimar la desviación estándar de la población de la muestra produce una estimación insesgada, aunque el 1 norte 1 método produce una estimación imparcial de la varianza.

Si comparas las dos estimaciones de la varianza

s s 2 = i norte ( X i X ¯ ) 2 norte 1
con
s pag 2 = i norte ( X i X ¯ ) 2 norte
entonces claramente s pag 2 s s 2 = norte 1 norte y entonces
s pag s s = 1 1 norte 1 1 2 norte
que se acerca a 1 como norte aumenta (por norte = 30 se trata 0.983 y para norte = 100 acerca de 0.995 ) y este factor es menos importante que la incertidumbre al estimar la desviación estándar de la población a partir de una muestra aleatoria.

Además: aunque la varianza muestral S 2 calculado usando norte 1 es imparcial para σ 2 , la imparcialidad no 'sobrevive' a las transformaciones no lineales. Para datos normales mi ( S ) = [ 2 / ( norte 1 ) Γ ( norte / 2 ) / Γ ( ( norte 1 ) / 2 ) ] σ . Así, para una muestra normal de tamaño norte = 5 , tenemos mi ( S ) .94 σ . El coeficiente en [ ]s converge a 1 al aumentar norte . Consulte Wikipedia sobre 'Estimación imparcial de la desviación estándar'.