La regla de la cadena para la diferenciación produce dimensiones en conflicto

Question

La regla de la cadena para la diferenciación produce dimensiones en conflicto

cálculo
derivados
Matemáticas
análisis real
derivado de frechet
cálculo multivariable

Ricardo

Supongamos que tengo funciones diferenciables (en el sentido de la derivada frechet) $f\colon \mathbb{R} \to \mathbb{R}^{n\times n}$ y $g\colon \mathbb{R}^{n} \to \mathbb{R}$ , dónde $f$ es un operador lineal, y desea calcular la derivada (frechet) de su composición, es decir $f \circ g\colon \mathbb{R}^{n} \to \mathbb{R}^{n, n}$ . Usando la regla de la cadena para espacios normados obtengo

\begin{aligned} D (F \circ gramo (X)) h = \underset{\in R^{norte \times norte}}{\underset{⏟}{(D F) (gramo (X))}} \cdot \underset{\in R^{1 \times norte}}{\underset{⏟}{D gramo (X)}} h, h \in R . \end{aligned}

$\begin{align*} D(f \circ g (\mathbf{x}))h = \underbrace{ (\mathrm{D}f)(g(\mathbf{x}))}_{\in \mathbb{R}^{n\times n} } \cdot \underbrace{ \mathrm{D}g(\mathbf{x})}_{\in \mathbb{R}^{1\times n} }h, \quad h \in \mathbb{R} .\end{align*}$ ¿Cómo puede sostenerse esto si las dimensiones del producto no coinciden?

Editar: Considere la función

\begin{aligned} F (X) = A (X) X . \end{aligned}

$\begin{align*} f(\mathbf{x}) = \mathbf{A}(\mathbf{x})\mathbf{x} .\end{align*}$ con

\begin{aligned} A (X) : R^{norte} \to R^{norte, norte}, A (X) = [\begin{matrix} α (X) & 1 & 0 & 0 & \dots & 0 \\ 1 & α (X) & 1 & 0 & \dots & 0 \\ 0 & 1 & α (X) & 1 & \dots & 0 \\ ⋮ & \dots & ⋱ & ⋱ & ⋱ & ⋮ \\ 0 & 0 & 0 & 1 & α (X) & 1 \\ 0 & 0 & 0 & 0 & 1 & α (X) \end{matrix}] \end{aligned}

$\begin{align*} \mathbf{A}(\mathbf{x})\colon \mathbb{R}^{n} \to \mathbb{R}^{n, n} , \quad \mathbf{A}(\mathbf{x}) = \begin{bmatrix} \alpha(\mathbf{x}) & 1 & 0& 0 & \cdots & 0 \\ 1 & \alpha(\mathbf{x}) & 1 & 0 & \cdots & 0 \\ 0 & 1 & \alpha(\mathbf{x}) & 1 & \cdots & 0 \\ \vdots & \cdots & \ddots & \ddots & \ddots & \vdots \\ 0 & 0 & 0 & 1 & \alpha(\mathbf{x})& 1 \\ 0 & 0 & 0 & 0 & 1 & \alpha(\mathbf{x}) \end{bmatrix} \end{align*}$ por lo cual

α (x) = {‖ x ‖}_{2}

$\alpha(\mathbf{x}) = \left\|\mathbf{x}\right\|_{2}$ . Mi profesor ahora reescribe lo anterior como

\begin{aligned} A (X) X = T X + X {‖ X ‖}_{2}, T := [\begin{array}{cccccc} 3 & 1 \\ 1 & 3 & 1 \\ ⋱ & 3 & ⋱ \\ ⋱ & ⋱ & ⋱ \\ 1 & 3 & 1 \\ 1 & 3 \end{array}] . \end{aligned}

$\begin{align*} \mathbf{A}(\mathbf{x})\mathbf{x} = \mathbf{T}\mathbf{x} + \mathbf{x}\left\|\mathbf{x}\right\|_{2} , \quad \mathbf{T}:=\left[\begin{array}{cccccc} 3 & 1 & & & & \\ 1 & 3 & 1 & & & \\ & \ddots & 3 & \ddots & & \\ & & \ddots & \ddots & \ddots & \\ & & & 1 & 3 & 1 \\ & & & & 1 & 3 \end{array}\right] .\end{align*}$ Luego encuentra

\begin{aligned} D F (X) h = T h + ‖ X ‖_{2} h + X \frac{X^{⊤} h}{‖ X ‖_{2}} = (A (X) + \frac{X X^{⊤}}{‖ X ‖_{2}}) h \end{aligned}

$\begin{align*} \mathrm{D}f(\mathbf{x}) \mathbf{h}=\mathbf{T h}+\|\mathbf{x}\|_{2} \mathbf{h}+\mathbf{x} \frac{\mathbf{x}^{\top} \mathbf{h}}{\|\mathbf{x}\|_{2}} =\left(\mathbf{A}(\mathbf{x})+\frac{\mathbf{x} \mathbf{x}^{\top}}{\|\mathbf{x}\|_{2}}\right) \mathbf{h} \end{align*}$

de lo cual concluí que

\begin{aligned} D (A (X)) = \frac{X X^{T}}{{‖ X ‖}_{2}} . \end{aligned}

$\begin{align*} \mathrm{D}(\mathbf{A}(\mathbf{x}))= \frac{\mathbf{x}\mathbf{x}^{\mathsf{T}}}{\left\|\mathbf{x}\right\|_{2} } .\end{align*}$

jeff cheng

(D f) (g (x))

$(\textrm{D}f)(g(\mathbf{x}))$ es en

R^{n^{2} \times 1}

$\mathbb{R}^{n^2 \times 1}$

Ricardo

@JeffCheng mira mi edición.

Arturo

¿Cómo concluyes que

D (A (x)) = \frac{x x^{T}}{{‖ x ‖}_{2}}

$\mathrm{D}(\mathbf{A}(\mathbf{x}))= \dfrac{\mathbf{x}\mathbf{x}^{\mathsf{T}}}{\left\|\mathbf{x}\right\|_{2} }$ ?

Pablo escarcha

Qué es

R^{n \times n}

$\mathbb R^{n \times n}$ en contraste con

R^{n, n}

$\mathbb R^{n, n}$ ?

Pablo escarcha

Deberías escribir

A : R^{n} \to R^{n, n}

$\mathbf{A} : \mathbb{R}^{n} \to \mathbb{R}^{n, n}$ .

A (x)

$\mathbf{A}(x)$ es un elemento de

R^{n, n}

$\mathbb{R}^{n, n}$ .

Respuestas (3)

La regla de la cadena para la diferenciación produce dimensiones en conflicto

$(\textrm{D}f)(g(\mathbf{x}))$ es en $\mathbb{R}^{n^2 \times 1}$
¿Cómo concluyes que $\mathrm{D}(\mathbf{A}(\mathbf{x}))= \dfrac{\mathbf{x}\mathbf{x}^{\mathsf{T}}}{\left\|\mathbf{x}\right\|_{2} }$ ?
Qué es $\mathbb R^{n \times n}$ en contraste con $\mathbb R^{n, n}$ ?
Deberías escribir $\mathbf{A} : \mathbb{R}^{n} \to \mathbb{R}^{n, n}$ . $\mathbf{A}(x)$ es un elemento de $\mathbb{R}^{n, n}$ .

Arturo · Answer 1

A los efectos de este tipo de cálculo multivariado (p. ej., derivados de Frechet), un dominio o codominio de $m\times n$ matrices reales se identifica con $\Bbb R^{mn}$ , no con $\Bbb R^{m\times n}$ . Usted "aplana" sus matrices antes de hacer derivadas y reglas de cadena sobre ellas. Al menos si desea que su derivada en un punto determinado se represente mediante una cuadrícula rectangular estándar de números.

Si no desea aplanar sus matrices antes de hacer cálculos en ellas, entonces sus derivadas serán cuboides de mayor dimensión. Ahora se está aventurando en lo que yo llamaría el territorio del cálculo tensorial.

Editar: después de ver tu ejemplo, esto es lo que creo que sucede: $\mathbf A$ es una funcion $\Bbb R^n\to \Bbb R\to \Bbb R^{n\times n}$ , la forma en que usted describe. Pero $f$ es una funcion $\Bbb R^n\to \Bbb R^n$ , y como tal, su derivado Frechet puede realizarse como un $n\times n$ matriz. Te han dado la matriz $Df = \mathbf{A}(\mathbf{x})+ \dfrac{\mathbf{x}\mathbf{x}^{\mathsf{T}}}{\left\|\mathbf{x}\right\|_{2} }$ como este derivado.

hm, mi profesor dijo que la derivada resultante de lo anterior estará en $\mathbb{R}^{n\times n}$ , sin embargo, con el enfoque aplanado esto produciría un elemento en $\mathbb{R}^{n^2 \times n}$
@Richard Bueno, la composición produce un mapa $\Bbb R\to\Bbb R^{n^2}$ . La derivada de Frechet en cualquier punto debe ser un mapa lineal con el mismo dominio y codominio. No veo cómo puedes salir de eso.
Editaré mi pregunta con un ejemplo, sería muy amable si pudiera echarle un vistazo.

Pablo escarcha · Answer 2

De hecho, la derivada de Frechet se puede definir para mapas entre espacios arbitrarios normados, en particular para mapas en el espacio de $(n \times n)$ -matrices. Dado $\phi : V \to W$ . la derivada de Frechet de $\phi$ en $x \in V$ es un mapa lineal $D\phi(x) = D\phi \mid_x : V \to W$ . La regla de la cadena dice que

D (ψ \circ ϕ) (X) = D (ψ) (ϕ (X)) \circ D ϕ (X) .

$D(\psi \circ \phi)(x) = D(\psi)(\phi(x)) \circ D\phi(x).$ Aplicando este mapa lineal a

h \in V

$h \in V$ da

D (ψ \circ ϕ) (X) (h) = D (ψ) (ϕ (X)) (D ϕ (X) (h)) .

$D(\psi \circ \phi)(x)(h) = D(\psi)(\phi(x))(D\phi(x)(h)).$ Parece que no distingue correctamente entre mapas lineales y sus representaciones matriciales, y esto puede resultar confuso.

No hay problema de dimensión en su pregunta: $Dg(x)$ es un mapa lineal $\mathbb R^n \to \mathbb R$ , por eso $D\phi(x)(h) \in \mathbb R$ . También $Df(g(x))$ es un mapa lineal $\mathbb R \to \mathbb R^{n \times n}$ y por supuesto insertas $Dg(x)(h)$ como argumento. En términos de matrices: $Dg(x)$ es un $(n \times 1)$ -matriz, $Df(g(x))$ es un $(1 \times n^2)$ -matriz (donde identificamos $\mathbb R^{n \times n}$ con $\mathbb R^{n^2}$ para obtener una matriz "estándar" con entradas reales) y su producto un $n \times n^2$ -matriz. Usted escribe $Df(g(x)) \in \mathbb R^{n \times n}$ , pero esto es incorrecto ya que sugiere que es un $(n \times n)$ -matriz.

Con respecto a su ejemplo, no veo la conexión con la regla de la cadena. $f$ no es la composición de dos funciones como se necesita en la regla de la cadena. Pero ciertamente tu conclusión

D (A (X)) = \frac{X X^{T}}{{‖ X ‖}_{2}}

$D(\mathbf{A}(\mathbf{x}))= \frac{\mathbf{x}\mathbf{x}^{\mathsf{T}}}{\left\|\mathbf{x}\right\|_{2} }$ falla

D A (x)

$D \mathbf A(x)$ es un mapa lineal

D A (x) : R^{n} \to R^{n \times n}

$D \mathbf A(x) : \mathbb R^n \to \mathbb R^{n \times n}$ , pero

\frac{x x^{⊤}}{‖ x ‖_{2}}

$\frac{\mathbf{x} \mathbf{x}^{\top}}{\|\mathbf{x}\|_{2}}$ es un solo $(n \times n)$ -matriz .

greg · Answer 3

$\def\bbR#1{{\mathbb R}^{#1}} \def\a{\alpha}\def\o{{\tt1}}\def\p{\partial} \def\E{{\cal E}} \def\L{\left}\def\R{\right} \def\LR#1{\L(#1\R)} \def\trace#1{\operatorname{Tr}\LR{#1}} \def\qiq{\quad\implies\quad} \def\grad#1#2{\frac{\p #1}{\p #2}} \def\c#1{\color{red}{#1}}$ Un gradiente de matriz por vector genera un tensor de tercer orden, por lo que no encaja cómodamente en la notación de matriz estándar.

Sin embargo, la diferencial de una matriz tiene la forma de una matriz y obedece todas las reglas del álgebra matricial. Asimismo, la diferencial de un vector obedece a las reglas familiares del álgebra vectorial.

Primero, considere los diferenciales de las funciones constituyentes.

\begin{aligned} α^{2} & = X^{T} X \\ 2 α d α & = 2 X^{T} d X & ⟹ d α = \frac{X^{T} d X}{α} \\ A & = B + I α & ⟹ d A = I d α \end{aligned}

$\eqalign{ \a^2 &= x^Tx \\ 2\a\,d\a &= 2x^Tdx &\qiq d\a = \frac{x^Tdx}{\a} \\ A &= B + I\a &\qiq dA = I\,d\a \\ }$ Con estos podemos diferenciar la función compuesta usando sustitución hacia atrás.

\begin{aligned} F & = A X \\ d F & = A d X + d A X \\ = A d X + X d α \\ = (A + \frac{X X^{T}}{α}) d X \\ \frac{\partial F}{\partial X} & = (A + \frac{X X^{T}}{α}) \end{aligned}

$\eqalign{ f &= Ax \\ df &= A\,dx + dA\,x \\ &= A\,dx + x\,d\a \\ &= \LR{A + \frac{xx^T}{\a}}dx \\ \grad{f}{x} &= \LR{A + \frac{xx^T}{\a}} \\ }$ Si realmente necesita el tensor de tercer orden, es

\begin{aligned} \frac{\partial A}{\partial X} & = (\frac{I ⋆ X}{α}) \end{aligned}

$\eqalign{ \grad{A}{x} &= \LR{\frac{I\star x}{\a}} \\ }$ dónde

⋆

$\star$ denota el producto diádico (también conocido como tensor).

gracias por la respuesta, realmente no he aprendido sobre diferenciales todavía, ¿se introducen rigurosamente en el tema de formas diferenciales?
@Richard Eso podría ayudarlo a comprender el caso del vector, pero el diferencial de una matriz no se puede expresar utilizando Formas diferenciales. Para obtener más información, recomendaría la última edición de Matrix Differential Calculus de Magnus y Neudecker , o tal vez Complex-Valued Matrix Derivatives de Hjorungnes.

La regla de la cadena para la diferenciación produce dimensiones en conflicto

Ricardo

jeff cheng

Ricardo

Arturo

Pablo escarcha

Pablo escarcha

Respuestas (3)

Arturo

Ricardo

Arturo

Ricardo

Ricardo

Pablo escarcha

greg

Ricardo

greg

¿Cuál es la diferencia geométrica entre la derivada parcial y la derivada ordinaria?

¿Un punto de inflexión donde la segunda derivada no existe?

Demostrar que funcional con derivadas parciales continuas es una forma cuadrática

Magia de notación diferencial en integración por sustitución de u [duplicado]

Dilema sobre el primer teorema fundamental del Cálculo

¿Dónde está el error en mi prueba de que todas las derivadas son continuas?

Definición de diferenciabilidad y derivada

Diferenciabilidad de f(x,y)=xy3x2+y2f(x,y)=xy3x2+y2f(x,y)= \frac{xy^3}{x^2+y^2} para (x,y)≠ (0,0)(x,y)≠(0,0)(x,y)\neq (0,0) y 000 para (x,y)=(0,0)(x,y)=(0 ,0)(x,y)=(0,0).

Pregunta sobre la aplicación "falsa" de la regla de la cadena

Demostrar que f:R2→Rf:R2→Rf:\mathbb{R^2}\rightarrow \mathbb{R} no es inyectiva por el teorema de la función inversa