对《深度学习入门》第五章中Affine层反向传播计算公式的一种解释

  初读此书，对下图中这个公式无法理解。如果仿照作者的之前叙述的方法，需要进行矩阵对矩阵的求导，如何求导以及对于矩阵是否有链式法则笔者都没有了解，所以决定不以矩阵为变量尝试推导。

方法概述

  将矩阵乘法理解为相应标量元素乘法和加法运算，再将得到的结果进行排列。
  所以使用标量（矩阵中的元素）作为节点的输入输出，对计算图得到的反向传播结果进行排列，由此得到反向传播结果的矩阵，观察矩阵的形式，得到需要推导的公式。

解释开始

  沿用了书中的例子，以下过程不能算作证明，只是对书中公式的一种解释。
$$\mathbf{Y}=\mathbf{X}\cdot \mathbf{W}+\mathbf{B}$$
$$\left[\begin{array}{ccc}{y}_1& y_2& y_3\end{array}\right]=\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\left[\begin{array}{ccc}{w}_{11}& w_{12}& w_{13}\\ w_{21}& w_{22}& w_{23}\end{array}\right]+\left[\begin{array}{ccc}{b}_1& b_2& b_3\end{array}\right]$$
$$\{\begin{array}{l}{y}_1=x_1{w}_{11}+x_2{w}_{21}+b_1\\ y_2=x_1{w}_{12}+x_2{w}_{22}+b_2\\ y_3=x_1{w}_{13}+x_2{w}_{23}+b_3\end{array}$$

1.绘制计算图

  根据第一个等式可以画出以下计算图（令反向传播的输入为$z_1$，即$\frac{\partial L}{\partial y_1}=z_1$，并不假设为1，为了最后由矩阵得出公式更加方便）：

图1 计算图局部
$$可以得到\frac{\partial L}{\partial w_{11}}=x_1{z}_1,\frac{\partial L}{\partial w_{21}}=x_2{z}_1$$
  将三个等式的计算图一起画出(红色标出的是反向传播的结果)， $\frac{\partial L}{\partial \mathbf{Y}}=\mathbf{Z}=\left[\begin{array}{ccc}{z}_1& z_2& z_3\end{array}\right]$：
图2 完整计算图
$$同理，也可以得到\frac{\partial L}{\partial w_{12}},\frac{\partial L}{\partial w_{13}},\frac{\partial L}{\partial w_{22}},\frac{\partial L}{\partial w_{23}}$$

2.排列反向传播结果

$$\begin{array}{rl}\frac{\partial L}{\partial \mathbf{W}}& =\left[\begin{array}{ccc}\frac{\partial L}{\partial w_{11}}& \frac{\partial L}{\partial w_{12}}& \frac{\partial L}{\partial w_{13}}\\ \frac{\partial L}{\partial w_{21}}& \frac{\partial L}{\partial w_{22}}& \frac{\partial L}{\partial w_{23}}\end{array}\right]\\ & =\left[\begin{array}{ccc}{x}_1{z}_1& x_1{z}_2& x_1{z}_3\\ x_2{z}_1& x_2{z}_2& x_2{z}_3\end{array}\right]\\ & =\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\left[\begin{array}{ccc}{z}_1& z_2& z_3\end{array}\right]\\ & ={\mathbf{X}}^T\cdot \frac{\partial L}{\partial \mathbf{Y}}\end{array}$$
  $\frac{\partial L}{\partial \mathbf{W}}$表示标量$L$对矩阵$\mathbf{W}$求导
  这样就得到了其中一个公式。这部分主要是将结果进行排列，只要认真看书，理解图中的反向传播计算不成问题。

3.新知识引入

$$\frac{\partial L}{\partial \mathbf{X}}=\left[\begin{array}{cc}\frac{\partial L}{\partial x_1}& \frac{\partial L}{\partial x_2}\end{array}\right]$$
  再使用图2就出现问题了，图2中元素$x$反向传播得到的数据是六个，而标量$L$对矩阵$\mathbf{X}$求导得到的矩阵只有两个元素，导致不知道如何排列。其实是计算图画的不合适，权重$w$的六个输入数据来自矩阵$\mathbf{W}$的六个元素，但$x$的六个输入数据只是来自矩阵$\mathbf{X}$的两个元素。更合适的计算图如下图所示：

图3 完整计算图（更正后）

  如何计算空白节点的反向传播，这涉及到一个新的知识点，作者在书的附录A中计算Softmax层的反向传播时有提到（主要观察下图中’$/$'结点的反向传播即可）。

图4 Softmax层计算图

正向传播时若有分支流出，则反向传播时它们的反向传播的值会相加。
因此，这里分成了三支的反向传播的值$(-t_{1}S,-t_{2}S,-t_{3}S)$会被求和。然后，还要对这个相加后的值进行“/”节点的反向传播，结果为$\frac{1}{S}(t_1+t_2+t_3)$ 。

  同理，图3中空白节点也有分支流出，反向传播时也应该将分支流入的值相加，就可以得到：
$$\begin{array}{r}\frac{\partial L}{\partial x_1}=w_{11}{z}_1+w_{12}{z}_2+w_{13}{z}_3\\ \frac{\partial L}{\partial x_2}=w_{21}{z}_1+w_{22}{z}_2+w_{23}{z}_3\end{array}$$
然后再进行排列：
$$\begin{array}{rl}\frac{\partial L}{\partial \mathbf{X}}& =\left[\begin{array}{cc}\frac{\partial L}{\partial x_1}& \frac{\partial L}{\partial x_2}\end{array}\right]\\ & =\left[\begin{array}{cc}{w}_{11}{z}_1+w_{12}{z}_2+w_{13}{z}_3& w_{21}{z}_1+w_{22}{z}_2+w_{23}{z}_3\end{array}\right]\\ & =\left[\begin{array}{ccc}{z}_1& z_2& z_3\end{array}\right]\left[\begin{array}{cc}{w}_{11}& w_{21}\\ w_{12}& w_{22}\\ w_{13}& w_{23}\end{array}\right]\\ & =\frac{\partial L}{\partial \mathbf{Y}}\cdot {\mathbf{W}}^T\end{array}$$

4.更加严谨

  可能节点中没有符号（空白节点）不够严谨，因为书中并没有给出节点中没有符号的例子，可以将空白节点视为’$\times$‘节点，另一输入为1，或者视为’$+$'节点，另一输入为0。

图5 完整计算图（严谨）

参考文献

1.斋藤康毅《深度学习入门-基于Python的理论与实现》

---

之前由于本人的疏忽，解释过程存在一些数学符号错误，现已修改过来，对于给大家理解时带来的误导和不便十分抱歉。
感谢 肌肉虾 指出本文中的存在错误！