Derivada de la entropía de von Neumann

Question

Derivada de la entropía de von Neumann

derivados
Matemáticas
cálculo matricial

usuario1936752

Preguntas relacionadas aquí y aquí

Estoy tratando de calcular la derivada de $S(X) = Tr(X\log(X))$ . Una condición adicional es que $X = L^TL$ para algunos $L$ y quiero sacar la derivada con respecto a $L$ . Básicamente, me gustaría encontrar

\frac{\partial T r (L^{T} L registro (L^{T} L))}{\partial L}

$\frac{\partial Tr\left(L^TL\log(L^TL)\right)}{\partial L}$ Esto está bien definido ya que es la derivada de una función escalar con respecto a una matriz por lo que debería obtener una matriz de tamaño

L

$L$ .

Mi progreso hasta ahora:

Usa la regla del producto para dividirlo en dos derivadas. Así que tengo $\frac{\partial Tr(L^T L C)}{\partial L}$ , dónde $C = \log(L^TL)$ pero se trata como una constante. De acuerdo con el libro de cocina matriz, obtengo $L(C^T + C) = L(\log(L^TL))^T + L\log(L^TL)$ .

El otro término, $\frac{\partial Tr(C'\log(L^T L) )}{\partial L}$ , es más problemático. pensé en dejar $L^TL = X$ y uso la regla de la cadena, pero no estoy seguro de cómo lidiar con el $\frac{\partial X}{\partial L}$ término ya que ahora tengo la derivada de una matriz con respecto a una matriz (en lugar de escalar con matriz).

Así que la pregunta, después de mi trabajo, ahora es cómo sacar la derivada del segundo término. Alternativamente, si la regla del producto fue una mala idea y puedo hacerlo de manera más directa, eso también sería muy útil. Gracias.

Respuestas (1)

Derivada de la entropía de von Neumann

greg · Answer 1

Considere la siguiente función escalar y su derivada.

\begin{aligned} F (X) & = X registro (X) \\ F^{'} (X) & = 1 + registro (X) \end{aligned}

$\eqalign{ f(x) &= x\,\log(x) \cr f'(x) &= 1 + \log(x) }$ Cuando la función se aplica a un argumento de matriz, el resultado es una matriz

F = F (X)

$F = f(X)$ El diferencial de la traza de

F

$F$ es entonces

\begin{aligned} d T r (F) & = F^{'} (X)^{T} : d X \\ = (I + registro (X))^{T} : d X \end{aligned}

$\eqalign{ d\,{\rm Tr}(F) &= f'(X)^T:dX \cr &= \big(I+\log(X)\big)^T:dX \cr }$ Ahora suponga que

X

$X$ se describe en términos de otra matriz

L

$L$ , es decir

\begin{aligned} X & = L^{T} L \\ d X & = L^{T} d L + d L^{T} L \end{aligned}

$\eqalign{ X &= L^TL \cr dX &= L^T\,dL + dL^T\,L \cr }$ Sustituyendo esto en el resultado anterior se obtiene

\begin{aligned} d T r (F) & = (I + registro (L^{T} L))^{T} : (L^{T} d L + d L^{T} L) \\ = 2 (I + registro (L^{T} L)) : L^{T} d L \\ = 2 L (I + registro (L^{T} L)) : d L \\ \frac{\partial T r (F)}{\partial L} & = 2 (L + L registro (L^{T} L)) \end{aligned}

$\eqalign{ d\,{\rm Tr}(F) &= \big(I+\log(L^TL)\big)^T:(L^T\,dL + dL^T\,L) \cr &= 2\,\big(I+\log(L^TL)\big):L^T\,dL \cr &= 2\,L\big(I+\log(L^TL)\big):dL \cr \frac{\partial{\,\rm Tr}(F)}{\partial L} &= 2\,\big(L+L\log(L^TL)\big) \cr\cr }$ NB: En algunos pasos anteriores, se utilizan dos puntos como notación de producto para la traza, es decir

A : B = T r (A^{T} B)

$A:B = {\rm Tr}(A^TB)$

¡Gran respuesta! Solo una pregunta: ¿Cómo pasaste de $\big(I+\log(L^TL)\big)^T:(L^T\,dL + dL^T\,L)$ a $2\big(I+\log(L^TL)\big):(L^T\,dL)$ ? Gracias
De estas afirmaciones fácilmente demostrables se sigue $\begin{aligned} (L^{T} d L)^{T} & = (L^{T} d L) \\ (registro (L^{T} L) + I)^{T} & = (registro (L^{T} L) + I) \\ A^{T} : B & = A : B^{T} \end{aligned}$ $\eqalign{ (L^TdL)^T &= (L^TdL) \cr (\log(L^TL)+I)^T &= (\log(L^TL)+I) \cr A^T:B &= A:B^T \cr }$
¡Ups! Se deduce de estas declaraciones fácilmente probadas (corrigiendo mi comentario anterior) $\begin{aligned} (L^{T} d L)^{T} & = (d L^{T} L) \\ (registro (L^{T} L) + I)^{T} & = (registro (L^{T} L) + I) \\ A^{T} : B & = A : B^{T} \end{aligned}$ $\eqalign{ (L^TdL)^T &= (dL^TL) \\ (\log(L^TL)+I)^T &= (\log(L^TL)+I) \\ A^T:B &= A:B^T}$

Derivada de la entropía de von Neumann

usuario1936752

Respuestas (1)

greg

usuario1936752

greg

greg

Derivada de la norma nuclear ∥XA∥∗‖XA‖∗{\left\| {XA} \right\|_*} con respecto a XXX

Derivada de una función compuesta R→Rn×n→RR→Rn×n→R\mathbb{R} \to \mathbb{R}^{n\times n} \to \mathbb{R}

Segunda derivada de la norma nuclear

Derivada de una función dividida por su norma, es decir, ϕ(x)=f(x)∥f(x)∥ϕ(x)=f(x)‖f(x)‖\phi(x) = \frac{ f(x)}{\|f(x)\|}

¿Por qué el método abreviado para verificar la diferenciabilidad no funciona aquí?

Encontrar la derivada de una función usando primeros principios

Encuentra la derivada de cos(x2+1)cos⁡(x2+1)\cos(x^2+1) por el primer principio de la derivada.

A partir de la gráfica de la derivada f′(x)f′(x)f'(x), haz un bosquejo de la función original f(x)f(x)f(x) y de la segunda derivada f′′( x)f″(x)f''(x)

¿Por qué la derivada de estas funciones es una recta secante?

Contraejemplo de la convergencia uniforme de una sucesión de funciones diferenciables