Minimizar la varianza sujeta a restricciones utilizando vectores propios y valores propios

Dejar$\Sigma$ser el$3\times 3$Matriz de covarianza. Se puede escribir como$\Sigma = V\Lambda V^\top$dónde$\Lambda$es diagonal con entradas$\lambda_1, \lambda_2, \lambda_3$, y donde las columnas de$V$son vectores propios ortonormales (es decir,$V$es una matriz ortogonal). (Tenga en cuenta que en su pregunta, usted o su entrevistador confundieron$V$y$V^\top$.)

Quieres encontrar el vector$u$que minimiza$u^\top \Sigma u$sujeto a$\|u\|^2 = 1$.

Considere el problema similar de minimizar$w^\top \Lambda w$sujeto a$\|w\|^2 = 1$. Desde$w^\top \Lambda w = \lambda_1 w_1^2 + \lambda_2 w_2^2 + \lambda_3 w_3^2$, puedes comprobar que la mejor elección de$w$es$\begin{bmatrix}1 \\ 0 \\ 0 \end{bmatrix}$si$\lambda_1$es el valor propio más pequeño,$\begin{bmatrix}0 \\ 1 \\ 0 \end{bmatrix}$si$\lambda_2$es el valor propio más pequeño, y así sucesivamente. y el valor minimizado de$w^\top \Lambda w$es el valor propio más pequeño.

Volvamos al problema original de minimizar$u^\top \Sigma u$. Esta función objetivo se puede escribir como$u^\top V \Sigma V^\top u$. Tenga en cuenta que$\|V^\top u\| = \|u\|$porque$V$es una matriz ortogonal. Entonces podemos reducir el problema al segundo tipo (con el "cambio de variables"$w= V^\top u$) y vea que este problema también tiene un valor mínimo igual al valor propio más pequeño.