Derivada de la norma nuclear ∥XA∥∗‖XA‖∗{\left\| {XA} \right\|_*} con respecto a XXX

Question

Derivada de la norma nuclear ∥XA∥∗‖XA‖∗{\left\| {XA} \right\|_*} con respecto a XXX

matrices
derivados
Matemáticas
norma-nuclear
álgebra lineal
cálculo matricial

Jacobo

La norma nuclear (también conocida como norma traza) se define como

{‖ METRO ‖}_{*} = tr (\sqrt{{METRO}^{T} METRO}) = \sum_{i = 1}^{min {metro, norte}} σ_{i} (METRO)

$\begin{equation} {\left\| M \right\|_*} = \mbox{tr} \left( {\sqrt {{M^T}M} } \right) = \sum\limits_{i = 1}^{\min \left\{ {m,n} \right\}} {{\sigma _i}\left( M \right)} \end{equation}$ dónde

σ_{i} (M)

${\sigma _i}\left( M \right)$ denota el

i

$i$ -ésimo valor singular de

M

$M$ .

Mi pregunta es cómo calcular la derivada de ${\left\| {XA} \right\|_*}$ con respecto a $X$ , es decir,

\frac{\partial {‖ X A ‖}_{*}}{\partial X}

$\begin{equation} \frac{{\partial {{\left\| {XA} \right\|}_*}}}{{\partial X}} \end{equation}$ De hecho, quiero usarlo para el algoritmo de optimización de descenso de gradiente.

Tenga en cuenta que hay una pregunta similar , según la cual el subgradiente de ${\left\| X \right\|_*}$ es $U{V^T}$ , dónde $U\Sigma {V^T}$ es la descomposición SVD de $X$ . Espero que esto sea útil. Muchas gracias por tu ayuda.

rodrigo de azevedo

¿ Leíste la respuesta de Michael Grant ?

Jacobo

@RodrigodeAzevedo Gracias por tu sugerencia. Acabo de leer la respuesta de Michael Grant ahora mismo. Aunque no lo he dejado claro, en realidad, quiero usar

{‖ X A ‖}_{*}

${\left\| {XA} \right\|_*}$ como una función de pérdida en una red neuronal profunda (DNN). Como se sabe, el algoritmo de optimización para DNN se puede implementar fácilmente si podemos calcular el gradiente. Hay un artículo reciente que optimiza

{‖ X ‖}_{*}

${\left\| {X} \right\|_*}$ usando su subgradiente

U V^{T}

$UV^T$ , y creo que tal vez sea apropiado seguir este trabajo.

Respuestas (1)

Derivada de la norma nuclear ∥XA∥∗‖XA‖∗{\left\| {XA} \right\|_*} con respecto a XXX

@RodrigodeAzevedo Gracias por tu sugerencia. Acabo de leer la respuesta de Michael Grant ahora mismo. Aunque no lo he dejado claro, en realidad, quiero usar ${\left\| {XA} \right\|_*}$ como una función de pérdida en una red neuronal profunda (DNN). Como se sabe, el algoritmo de optimización para DNN se puede implementar fácilmente si podemos calcular el gradiente. Hay un artículo reciente que optimiza ${\left\| {X} \right\|_*}$ usando su subgradiente $UV^T$ , y creo que tal vez sea apropiado seguir este trabajo.

greg · Answer 1

Dejar

Y = X A

$Y=XA$ Escriba la norma en términos de esta nueva variable, luego encuentre la diferencial y haga un cambio de variables de

Y \to X

$Y\rightarrow X$ para obtener el gradiente deseado

\begin{aligned} ϕ & = ‖ Y ‖_{*} \\ d ϕ & = (Y Y^{T})^{- \frac{1}{2}} Y : d Y \\ = (Y Y^{T})^{- \frac{1}{2}} Y : d X A \\ = (Y Y^{T})^{- \frac{1}{2}} Y A^{T} : d X \\ \frac{\partial ϕ}{\partial X} & = (Y Y^{T})^{- \frac{1}{2}} Y A^{T} \\ = Y (Y^{T} Y)^{- \frac{1}{2}} A^{T} \end{aligned}

$\eqalign{ \phi&=\|Y\|_* \cr d\phi &= (YY^T)^{-\tfrac{1}{2}}Y:dY \cr &= (YY^T)^{-\tfrac{1}{2}}Y:dX\,A \cr &= (YY^T)^{-\tfrac{1}{2}}YA^T:dX \cr \frac{\partial\phi}{\partial X} &= (YY^T)^{-\tfrac{1}{2}}YA^T \cr &= Y(Y^TY)^{-\tfrac{1}{2}}A^T \cr\cr }$ Hay dos formas de escribir el inverso de la raíz cuadrada, solo una de las cuales tiene sentido cuando

Y

$Y$ es rectangular (rango de columna completo frente a rango de fila completo).

Estimado greg, muchas gracias por su respuesta. Aunque no tengo la capacidad de verificar su respuesta, parece ser correcta. Además, tengo un problema adicional: ¿es cierto que $Y{({Y^T}Y)^{ - {\textstyle{1 \over 2}}}}{A^T} = \tilde U{\tilde V^T}A^T$ dónde $Y = \tilde U\tilde \Sigma {\tilde V^T}$ como la respuesta de otra pregunta similar ?
@Jack Sí, si conoces el SVD de $Y$ , entonces la solución se puede simplificar a $\frac{\partial ϕ}{\partial X} = tu V^{T} A^{T}$ $\frac{\partial\phi}{\partial X} = UV^TA^T$

Derivada de la norma nuclear ∥XA∥∗‖XA‖∗{\left\| {XA} \right\|_*} con respecto a XXX

Jacobo

rodrigo de azevedo

Jacobo

Respuestas (1)

greg

Jacobo

greg

Jacobo

Segunda derivada de la norma nuclear

¿Cuál es la solución de esta ecuación diferencial vectorial?

Existencia de mapas de matrices diferenciables M(3,R)→M(3,R)M(3,R)→M(3,R)M(3,\mathbb{R}) \rightarrow M(3,\mathbb{ R})

¿Son las inversas de las matrices no singulares "casi" diagonales también "casi" diagonales?

Pregunta sobre la proyección en subespacios

Una prueba elegante para una afirmación sobre matrices ortogonales y definidas positivas

Derivado de un producto respecto a un vector.

Un límite superior para trace(A2)trace(A2)\text{trace}(A^2) en términos de trace(A)trace(A)\text{trace}(A)

Ax=bAx=bAx=b tiene solución sobre FpFp\Bbb{F}_p para todo primo p ⟹p ⟹p~\implica la existencia de una solución real??

Menor bordeado y rango de una matriz