向量求导

因变量为标量，自变量为向量

参考
$y$ 为因变量，标量；$X=[x_1,x_2,\dots ,x_n{]}^T$ 为自变量是向量，n维。
$y=f(X)$,即！！$y=f(x_1,x_2,\dots ,x_n)$
因此可以直接求导：
$$\frac{\partial y}{\partial X}=(\frac{\partial y}{\partial x_1};\frac{\partial y}{\partial x_2};\dots ;\frac{\partial y}{\partial x_n})$$
求导结果为n维向量
以$y=a^{T}x$:表示y为两个向量的内积，结果为一个标量
则求$\frac{\partial y}{\partial x}$，只需求出所有的$\frac{\partial y}{\partial x_i}$即可。
具体方法为：
将$y$的表达式展开成累加和的形式，然后套用标量的求导法则即可，这一方法适用于所有多维情况的求导。
解：
$$y=a^{T}x=\sum _{i=1}^n{a}_i{x}_i$$
故对$\forall i$:
$$\frac{\partial y}{\partial x_i}=a_i$$
故：
$$\begin{array}{rl}\frac{\partial y}{\partial x}& =(\frac{\partial y}{\partial x_1};\frac{\partial y}{\partial x_2};\dots ;\frac{\partial y}{\partial x_n})\\ & =(a_1;a_2;\dots ;a_n)\\ & =a\end{array}$$

注意：若$y=x点乘x$, 则求导结果是$2x$

例子：

注意图中，向量$x$与$w$均写成了1n的形式，而不是我们通常的n1，因此最终算出来的结果里面为$x^T$，而不是$x$

因变量、自变量均为向量

当自变量和因变量均为向量时，求导结果为一个矩阵，我们称该矩阵为雅可比矩阵(Jacobian Matrix)。

特别的，如果X为n*m的矩阵，w为m维向量，则
$$\frac{\partial X}{\partial w}=X$$
证明：
设
X = [ x 11 x 12 … x 1 m x 21 x 22 … x 2 m ⋮ ⋮ ⋱ ⋮ x n 1 x n 2 … x n m ] , w = [ w 1 w 2 ⋮ w m ] X = \begin{bmatrix} x_{11}&x_{12}&\dots&x_{1m}\\ x_{21}&x_{22}&\dots&x_{2m}\\ \vdots&\vdots&\ddots&\vdots\\ x_{n1}&x_{n2}&\dots&x_{nm} \end{bmatrix}, w = \begin{bmatrix} w_{1}\\ w_2\\ \vdots\\ w_m \end{bmatrix} X= ​x11​x21​⋮xn1​​x12​x22​⋮xn2​​……⋱…​x1m​x2m​⋮xnm​​ ​,w= ​w1​w2​⋮wm​​ ​
则，
z ⃗ = X w = [ x 11 w 1 + x 12 w 2 + ⋯ + x 1 m w m x 21 w 1 + x 22 w 2 + ⋯ + x 2 m w m ⋮ x n 1 w 1 + x n 2 w 2 + ⋯ + x n m w m ] = [ z 1 z 2 ⋮ z n ] \vec z=Xw=\begin{bmatrix} x_{11}w_1+x_{12}w_2+\dots+x_{1m}w_m\\ x_{21}w_1+x_{22}w_2+\dots+x_{2m}w_m\\ \vdots\\ x_{n1}w_1+x_{n2}w_2+\dots+x_{nm}w_m \end{bmatrix}=\begin{bmatrix} z_1\\ z_2\\ \vdots\\ z_n \end{bmatrix} z =Xw= ​x11​w1​+x12​w2​+⋯+x1m​wm​x21​w1​+x22​w2​+⋯+x2m​wm​⋮xn1​w1​+xn2​w2​+⋯+xnm​wm​​ ​= ​z1​z2​⋮zn​​ ​
则
∂ X w ⃗ ∂ w ⃗ = ∂ z ⃗ ∂ w ⃗ = [ ∂ z 1 ∂ w 1 ∂ z 1 ∂ w 2 … ∂ z 1 ∂ w m ∂ z 2 ∂ w 1 ∂ z 2 ∂ w 2 … ∂ z 2 ∂ w m ⋮ ⋮ ⋱ ⋮ ∂ z n ∂ w 1 ∂ z n ∂ w 2 … ∂ z n ∂ w m ] = [ x 11 x 12 … x 1 m x 21 x 22 … x 2 m ⋮ ⋮ ⋱ ⋮ x n 1 x n 2 … x n m ] = X \begin{aligned} \frac{\partial X\vec w}{\partial \vec w} &= \frac{\partial \vec z}{\partial \vec w}\\ &=\begin{bmatrix} \frac{\partial z_1}{\partial w_1}&\frac{\partial z_1}{\partial w_2}&\dots&\frac{\partial z_1}{\partial w_m}\\ \frac{\partial z_2}{\partial w_1}&\frac{\partial z_2}{\partial w_2}&\dots&\frac{\partial z_2}{\partial w_m}\\ \vdots&\vdots&\ddots&\vdots\\ \frac{\partial z_n}{\partial w_1}&\frac{\partial z_n}{\partial w_2}&\dots&\frac{\partial z_n}{\partial w_m}\\ \end{bmatrix}\\ &=\begin{bmatrix} x_{11}&x_{12}&\dots&x_{1m}\\ x_{21}&x_{22}&\dots&x_{2m}\\ \vdots&\vdots&\ddots&\vdots\\ x_{n1}&x_{n2}&\dots&x_{nm} \end{bmatrix}\\ &=X \end{aligned} ∂w ∂Xw ​​=∂w ∂z ​= ​∂w1​∂z1​​∂w1​∂z2​​⋮∂w1​∂zn​​​∂w2​∂z1​​∂w2​∂z2​​⋮∂w2​∂zn​​​……⋱…​∂wm​∂z1​​∂wm​∂z2​​⋮∂wm​∂zn​​​ ​= ​x11​x21​⋮xn1​​x12​x22​⋮xn2​​……⋱…​x1m​x2m​⋮xnm​​ ​=X​
例子：