误差的反向传播

基本概念

神经网络的代价函数是关于权重和偏置的多元函数且为复合函数，为求代价函数的最小值，可以使用求多元函数极小值的方法进行求解，因为最小值比如存在于极小值中。本文暂不讨论如何避免陷入局部最小值的方法，只讨论求极小值的方法。毫无疑问，代价函数在各个参数的偏导数为0的位置才是极小值位置。因此，反向传播的最终含义是求:$\frac{\partial C}{\partial w_{jk}^l}$，$\frac{\partial C}{\partial b_j^l}$。即代价函数对第$l-1$层上第$k$个神经元连接第$l$层第$j$个神经元上的权重的偏导数、代价函数对$l$层上第$j$个神经元偏置的偏导数。

符号含义

1. 第$l$层上第$j$个神经元的激活值（输出）为:
   $$a_i^l=\sigma (\sum _k{w}_{jk}^l{a}_k^{l-1}+b_j^l)$$
   $$\Downarrow$$
   $$a^l=\sigma (w^l{a}^{l-1}+b^l)$$
   其中$\sigma$表示激活函数，常用的有sigmoid、relu、softmax、tanh等。$\Downarrow$ 表示转化为向量形式。
2. 带权输入，即神经元激活函数的输入值：
   $$z^l=w^l{a}^{l-1}+b^l$$
3. 第$l$层上第$j$个神经元的误差(误差对该神经元激活函数输入的偏导数)：
   $${\delta }_j^l=\frac{\partial C}{\partial z_j^l}$$

四个基本方程

某个神经元上对该神经元的带权输入偏导数就是对该参数的误差
某个神经元上对某个参数的偏导数就是对该参数的变化率
1. 输出层误差方程($BP1$)：（第$j$个输出神经元的误差）
$${\delta }_j^{output}=\frac{\partial C}{\partial a_j^{outpur}}{\sigma }^{\prime }(z_j^{output})$$
$$\Downarrow$$
$${\delta }^{output}={\nabla }_{a}C⨀{\sigma }^{\prime }(z_j^{output})$$
其中${\nabla }_{a}C$被定义为一个向量，其元素就是代价函数对输出神经元激活值的偏导数。$⨀$ 为Hadamard乘积，表示为各个元素的乘积，两个向量的Hadamard乘积依然是向量。
2. 使用${\delta }^{l+1}$来表示当前层误差${\delta }^l$($BP2$)：
$${\delta }^l=(({\omega }^{l+1}{)}^T{\delta }^{l+1})⨀{\sigma }^{\prime }(z^l)$$
推导：
$$\because {\delta }^{l+1}=\frac{\partial C}{\partial z^{l+1}}$$
$$z^{l+1}=\sum _i^n(w_i^{l+1}{a}_i^l+b_i^{l+1})$$
$$a^l=\sigma (z^l)$$
根据链式法则带入下列公式可得$BP2$：
$${\delta }^l=\frac{\partial C}{\partial z^l}$$
3.代价函数关于网络任意偏置的改变率（BP3）：
$${\delta }_j^l=\frac{\partial C}{\partial b_j^l}$$
4.代价函数关于网络任意权重的改变率（BP3）：
第$l$层上第$j$个神经元与前一层第$k$神经元连接的权重的偏导数
$$\frac{\partial C}{\partial w_{jk}^l}=a_k^{l-1}{\delta }_j^i$$

综述

综上所述，所谓反向传播过程也就是多元复合函数求导的过程，引入了误差的概念，使得计算梯度更便捷，而误差也就是代价函数对某个神经元的带权输出的偏导数，通过计算发现前后两层网络误差直接的关系，实现误差的由后往前传播。这种方式只需计算一次前向传播就可以计算出所有神经元的误差和梯度。