神经网络的正向和反向传播

1. 首先需要了解一下链式法则：
   $$\begin{array}{c}y=g(x)z=h(y)\\ \Delta x\to \Delta y\to \Delta z\end{array}$$如果我们要求Z对X的导数，很明显是：$\frac{dz}{dx}=\frac{dz}{dy}\frac{dy}{dx}$
   类似的$$x=g(s)y=h(s)z=k(x,y)$$
   如果我们要求Z对S的导数，根据数据流的方向可以得到：
   
   $\frac{dz}{ds}=\frac{\partial z}{\partial x}\frac{dx}{ds}+\frac{\partial z}{\partial y}\frac{dy}{ds}$
   
   假设损失函数为l,当我们用梯度下降法更新参数w和b值时，需要分别对l求w和b的导数，$$\frac{\partial l}{\partial w}=\frac{\partial z}{\partial w}\frac{\partial l}{\partial z}，$$ $\frac{\partial z}{\partial w}$可以根据z的表达式很容易得到，关键是 $\frac{\partial l}{\partial z}$，因为像上图一样，z之后可能连着很多项，所以$\frac{\partial l}{\partial z}$计算过程可能包含很多步骤。所以整个反向传播可以分成两部分，①向前传播，计算$\frac{\partial z}{\partial w}；$②向后传播，计算$\frac{\partial l}{\partial z}；$

2. 向前传播：
   $\begin{array}{l}\partial z/\partial w_1=x_1\\ \partial z/\partial w_2=x_2\end{array},$根据向前传播，可以得到下图：
   

3. 向后传播
   
   根据上图，很容易可以得到：$$\frac{\partial l}{\partial z}=\frac{\partial a}{\partial z}\frac{\partial l}{\partial a}\frac{\partial l}{\partial a}=\frac{\partial z^{\prime }}{\partial a}\frac{\partial l}{\partial z^{\prime }}+\frac{\partial z^{\prime \prime }}{\partial a}\frac{\partial l}{\partial z^{\prime \prime }}，a=\sigma (z),$$
   我们将$$\frac{\partial a}{\partial z}={\sigma }^{\prime }(z)，$$又因为$$z^{\prime }=a{w}_3+\cdots ，z^{\prime \prime }=a{w}_4+\cdots ,\frac{\partial z^{\prime }}{\partial a}=w_3,\frac{\partial z^{\prime \prime }}{\partial a}=w_4,$$所以$$\frac{\partial l}{\partial z}={\sigma }^{\prime }(z)\left[w_3\frac{\partial l}{\partial z^{\prime }}+w_4\frac{\partial l}{\partial z^{\prime \prime }}\right]$$，可以将$\frac{\partial l}{\partial z}$看成下图，把它当成另一个 neuron，从右往左依次是输入，权重和\激活函数，此时可以把${\sigma }^{\prime }(z)$当成激活函数。
   

假设$y_1$和$y_2$是最后一层的输出，$\frac{\partial l}{\partial z^{\prime }}=\frac{\partial y_1}{\partial z^{\prime }}\frac{\partial l}{\partial y_1}\frac{\partial l}{\partial z^{\prime \prime }}=\frac{\partial y_2}{\partial z^{\prime \prime }}\frac{\partial l}{\partial y_2}$，如下图：

如果$y_1$和$y_2$不是最后一层的输出，那就一直正向计算，直到它是最后一层，如下图：

这样从后面可以一直往前传播，计算出所有的$\frac{\partial l}{\partial z_i}$

最后整个反向传播的过程可以整理成下图：

参考自李宏毅公开课（机器学习）