矩阵求导详解

• 向量，矩阵，张量求导
  • 向量对向量求导
  • 向量对矩阵求导
  • 矩阵对矩阵求导
  • 使用链式法则
  • 总结

向量，矩阵，张量求导

参考 http://cs231n.stanford.edu/vecDerivs.pdf

向量对向量求导

如何对 $y=Wx$ 求导？其中：

• $y:C\times 1$
• $W:C\times D$
• $x:D\times 1$

可以先通过计算一种特例，比如 $\frac{\partial y_7}{\partial x_3}$ 来更好地理解, $y_7$ 可以写成
$$y_7=\sum _{j=1}^D{W}_{7,j}{x}_j=W_{7,1}{x}_1+W_{7,2}{x}_2+W_{7,3}{x}_3+\cdots$$
所以$\frac{\partial y_7}{\partial x_3}=W_{7,3}$。进而，$\frac{\partial y}{\partial x}=W$

PS: 标量对向量求导的维度为 $1\ast n$; 向量对标量求导的维度为 $n\ast 1$;

向量对矩阵求导

$y=xW$, 如何求$\frac{\partial y}{\partial W}$？其中：

• $y:1\times C$
• $W:D\times C$
• $x:1\times D$

依然先计算特例：$\frac{\partial y_3}{\partial W_{78}}$, 首先
$$y_3=x_1{W}_{13}+x_2{W}_{23}+\cdots +x_D{W}_{D3}$$
所以可以看到$\frac{\partial y_3}{\partial W_{78}}=0$，进一步又发现
$$\frac{\partial y_j}{\partial W_{ij}}=x_i$$
于是令 $F_{i,j,k}=\frac{\partial y_i}{\partial W_{jk}}$，有
$$F_{i,j,i}=x_j$$
张量 $F$ 的其余项均为0，因此可以定义一个二维矩阵 $G_{i,j}=F_{i,j,i}$ 来表示 $\frac{\partial y}{\partial W}$的结果。

---

PS：Representing the important part of derivative arrays in a compact way is critical to efficient implementations of neural networks.

矩阵对矩阵求导

$Y=XW$, 如何求$\frac{\partial Y_{a,b}}{\partial X_{c,d}}$？其中：

• $Y:n\times C$
• $W:D\times C$
• $x:n\times D$

依然进行展开：
$$Y_{i,j}=\sum _{k=1}^D{X}_{i,k}{W}_{k,j}$$
于是有
$$\frac{\partial Y_{i,j}}{\partial X_{i,k}}=W_{k,j}\text{\hspace{1em}(1)}$$
因此
$$\frac{\partial Y_{a,b}}{\partial X_{c,d}}=\{\begin{array}{l}{W}_{d,b},\text{when}a=c\\ 0,\text{when}a̸=c\end{array}$$
可以发现

1. 实际上 $\frac{\partial Y_{a,b}}{\partial X_{c,d}}$所有的结果都包含在 $W$ 中。
2. $\frac{\partial Y_{i,j}}{\partial X_{i,k}}$ 与 $X,Y$ 的行索引没有关系。
3. In fact, the matrix W holds all of these partials as it is–we just have to remember to index into it according to Equation 1 to obtain the specific partial derivative that we want.

使用链式法则

$y=Vm$, 其中 $m=Wx$, 求 $\frac{\partial y}{\partial x}$?

依然先从特例开始：
$$\begin{array}{rl}\frac{\partial y_i}{\partial x_j}& =\frac{\partial y_i}{\partial m}\frac{\partial m}{\partial x_j}\\ & =\sum _{k=1}^M\frac{\partial y_i}{\partial m_k}\frac{\partial m_k}{\partial x_j}\\ & =\sum _{k=1}^M{V}_{i,k}{W}_{k,j}\\ & =V_{i,:}{W}_{:,j}\end{array}$$
因此
$$\frac{\partial y}{\partial x}=VW$$

总结

1. 为了求得最终的导数结果，往往需要先求中间的结果，例如先求$\frac{\partial y_i}{\partial x_j}$, 再求$\frac{\partial y}{\partial x}$