1.3 反向传播

三、反向传播

通过前面内容的介绍，我们知道实际 NeoCognitron 与 CNN 在结构上基本一致，其根本区别在于 CNN 使用反向传播算法进行全局参数的更新学习，而整个过程中也不再需要人类精心设计特征提取模板，而是全流程自动由网络设计各层级的卷积核。

反向传播（Backpropagation）算法是一种与最优化方法相结合，可用来训练神经网络的常见方法。它最初起源于控制论并基于链式法则进行推导计算，早在20实际六七十年代，很多研究人员就已经提出了反向传播算法，直到 1974 年才被应用到神经网络中，但人们直到 1986 年在 David Rumelhart、Geoffrey Hinton 和 Ronald Williams 的工作¹中，证明反向传播算法的训练速度更快，使得之前的一些无法计算的工作变得可能，反向传播算法才得到大家的认可。

反向传播算法可以递归的求解网络中所有参数对损失函数的梯度，而梯度值会利用如梯度下降等优化方法进行更新，以最小化损失函数。反向传播的本质是网络参数值的梯度计算以及更新过程。因其计算过程是从网络最后一层往前逐层计算，因此被称为”反向传播“或者”误差反向传播“。

反向传播算法的计算过程实际就是多元函数求解微分的过程，因此要求损失函数必须是可微的。这里实际也为网络架构学习过程提供了另一个很自然的思路，如周志华提出的 gcForest² 就是一种非神经网络架构的深度学习。

在 NeoCognitron 中采用的是一种自组织学习机制，其中的隐藏层并不是我们目前所说的隐藏层，它的内部许多连接是固定且不更新的。在反向传播中，为了计算的连贯性，我们需要将输入到输出的全流程通道打通，这实际上相当于我们需要依靠反向传播算法自定义每个隐层的实际含义。

网络的结构被定义为层级关系，最底层为输入层，最顶层为输出层，中间其他层为隐藏层。网络数据流从底层向高层传输，可以跨层连接（从此处可看出，残差网络的概念实际很早就存在），但不允许层内神经元间有数据交互也不允许数据流从高层向底层传递（虽然 RNN 网络中存在这样的连接，但在单个时间步内网络是严格的前馈网络）。

3.1 反向传播计算过程¹

假设前层第 $i$ 个神经元的输出为 $y_i$，与输出层第 $j$ 个神经元相连，连接权重为 $w_{ji}$（含偏置项）。则输出层第 $j$ 个神经元的总输入为：

$$x_j=\sum _i{y}_i{w}_{ji}\text{\hspace{1em}(1)}$$

该神经元的输出激活函数采用的是非线性函数（如果采用线性函数，则整体网络依然是是线性函数），通常选择 sigmoid 激活函数，则输出层第 $j$ 个神经元的输出为：

$$y_j=f(x_j)=\frac{1}{1+e^{-x_j}}\text{\hspace{1em}(2)}$$

sigmoid 激活函数在求偏导时有非常好的性质，该函数的导数为

$$f^{\prime }(x)=f(x)(1-f(x))\text{\hspace{1em}(3)}$$

网络训练的目标是寻找一系列参数值使得网络对特定数据向量可以产生与期望输出非常接近的结果。为了评估这种近似性，我们需要损失函数来定义这种差距，例如最常见的损失函数为二次损失函数：

$$E=\frac{1}{2}\sum _c\sum _j(y_{j,c}-d_{j,c}{)}^2\text{\hspace{1em}(4)}$$

这里的 $c$ 是第 $c$ 个样本（输入-输出对），$y$ 是网络的输出值，$d$ 是期望值（desired value），即整体损失是基于输出层所有神经元在所有样本上的损失总和。

通过梯度下降算法最小化 $E$。我们需要对每一个权重求偏微分值。首先数据从输入层到输出层逐层前向计算，在输出层与期望值对比就算误差，然后将误差反向逐层传递到输出层。

首先计算 $E$ 对输出层每个神经元输出值的偏微分：

$$\frac{\partial E}{\partial y_j}=y_j-d_j\text{\hspace{1em}(5)}$$

接下来，我们可以应用链式法则求解：

$$\frac{\partial E}{\partial x_j}=\frac{\partial E}{\partial y_j}\cdot \frac{\partial y_j}{\partial x_j}=(y_j-d_j)\cdot f^{\prime }(x_j)=(y_j-d_j)\cdot y_j(1-y_j)\text{\hspace{1em}(6)}$$

同样对于权重的计算也很简单：

$$\frac{\partial E}{\partial w_{ji}}=\frac{\partial E}{\partial x_j}\cdot \frac{\partial x_j}{\partial w_{ji}}=(y_j-d_j)\cdot f^{\prime }(x_j)\cdot y_i=(y_j-d_j)\cdot y_j(1-y_j)\cdot y_i\text{\hspace{1em}(7)}$$

对于前层第 $i$ 个神经元输出值 $y_i$ 的偏导计算为：

$$\frac{\partial E}{\partial y_i}=\frac{\partial E}{\partial x_j}\cdot \frac{\partial x_j}{\partial y_i}=(y_j-d_j)\cdot f^{\prime }(x_j)\cdot w_{ji}=(y_j-d_j)\cdot y_j(1-y_j)\cdot w_{ji}\text{\hspace{1em}(8)}$$

因此，当我们给定最后一层所有神经元上的 $\frac{\partial E}{\partial y^L}$ ，我们就可以求解倒数第二层所有神经元上的 $\frac{\partial E}{\partial y^{L-1}}$。如此递归计算，我们就可以对整个网络的所有参数进行梯度计算。因此有了损失值对参数的梯度计算 $\frac{\partial E}{\partial w}$，我们就可以利用梯度下降等优化方法更新参数，下面介绍几种常用的优化方法。

3.2 基于梯度下降的优化方法³

3.2.1 SGD、学习率衰减及动量

我们目前所说的随机梯度下降，更多的时候是指小批量梯度下降，其参数更新公式为：

$${\theta }_t={\theta }_{t-1}-\eta \cdot {\nabla }_{\theta }J(\theta )\text{\hspace{1em}(9)}$$

其中 $\theta$ 是网络参数，$\eta$ 是学习率。${\nabla }_{\theta }$ 是参数的梯度值，即通过上文反向传播算法求解到的。小批量梯度下降是指，在对小批量内所有样本计算得到总损失后执行反向传播更新一次参数值。即梯度值的计算是基于小批量内所有样本计算的。

随机梯度下降算法通常速度比较快，然而却并不保证较好的收敛性，尤其是随着网络参数的增多、复杂度的提高，其损失函数是高度非凸的，存在大量的极小值点及鞍点等，给优化算法带来很大的挑战。另外学习率是一个非常重要的超参数，选择合适的学习率是非常困难的，如果学习率过大，则可能造成不收敛，参数波动不稳定，如果学习率过小，则会降低学习速率。在默认的 SGD 算法下，学习率固定不变，即衰减系数为 0。当衰减系数大于 0 ，在每次参数更新后，学习率衰减为：

$$\eta =\eta \cdot \frac{1}{1+d\cdot T}\text{\hspace{1em}(10)}$$

这里的 $d$ 为衰减系数（$d\ge 0$ ）, $T$ 为参数更新次数，初始为 0。

动量项是通过累计梯度方法，将当前梯度梯度用于修改点在权重空间中的速度而不是其位置。事实证明，这种方法可以加速学习速度，加入动量项的梯度下降公式为：

$$v_t=\gamma v_{t-1}-\eta \cdot {\nabla }_{\theta }J(\theta )\text{\hspace{1em}(11)}$$

$${\theta }_t={\theta }_{t-1}+v_t\text{\hspace{1em}(12)}$$

其中， $\gamma$ 是动量项。

Nesterov 动量首先在之前累计的梯度上跃进一大步，然后在跃进点处计算其梯度并对之进行修正，计算公式为：

$$v_t=\gamma v_{t-1}-\eta {\nabla }_{\theta }J(\theta +\gamma v_{t-1})\text{\hspace{1em}(13)}$$

$${\theta }_t={\theta }_{t-1}+v_t\text{\hspace{1em}(14)}$$

3.2.2 Adagrad、Adadelta、RMSprop

Adagrad 是一种具有特定参数学习率的优化方法，在随机梯度下降算法中，所有的参数具有同样大小的学习率，但是在 Adagrad 方法中，每一个参数拥有自己特定的学习率。在训练期间，更新频率更频繁的参数其学习率越小，反之越大。其更新公式为：

$$G_t=G_{t-1}+g^2\text{\hspace{1em}(15)}$$

$${\theta }_t={\theta }_{t-1}-\eta \ast g/(\sqrt{G_t}+ϵ)\text{\hspace{1em}(16)}$$

其中 $G$ 是对角矩阵包含每个参数的历史梯度的平方和，$g$ 为梯度值，$ϵ$ 为平滑项，防止除数为 0.

Adagrad 的主要优点是可以自适应学习率，但是由于参数更新过程中，存在 $\sqrt{G_t}$ ，参数梯度累加值是非减的，这会导致分母越来越大，而整体更新量则趋近于 0.

Adadelta 是 Adagrad 的一种改进，主要解决了学习率单调递减的问题，该算法不需要手动选择全局学习率。其更新方法中首次引入了参数平方的更新，而不仅仅是累加梯度平方的更新。具体更新公式如下：

$$E[g^2{]}_t=\rho \ast E[g^2{]}_{t-1}+(1-\rho )\ast g^2\text{\hspace{1em}(17)}$$

$$\Delta {\theta }_t=-RMS[\Delta \theta {]}_{t-1}\ast g_t/RMS[g{]}_t\text{\hspace{1em}(18)}$$

$$E[\Delta {\theta }^2{]}_t=\rho \ast E[\Delta {\theta }^2{]}_{t-1}+(1-\rho )\ast \Delta {\theta }_t^2\text{\hspace{1em}(19)}$$

$${\theta }_t={\theta }_{t-1}+\Delta {\theta }_t\text{\hspace{1em}(20)}$$

这里的 $\rho$ 是衰减率，类似于动量项。 Adadelta 是 Adagrad 的一个更强大的扩展，它基于梯度更新的移动窗口调整学习率，而不是积累所有历史的梯度。这样，即使在多轮参数更新后，Adadelta 也会继续学习。与 Adagrad 相比，在 Adadata 的原始版本中，我们不必设置初始学习率。

RMSprop 是 Hinton 在他教授的 CSC321 课程中提出的一种新的优化方法。参数更新公式为：

$$E[g^2{]}_t=\rho \ast E[g^2{]}_{t-1}+(1-\rho )g_t^2\text{\hspace{1em}(21)}$$

$${\theta }_t={\theta }_{t-1}-\eta \ast g/(\sqrt{E[g^2{]}_t}+ϵ)\text{\hspace{1em}(22)}$$

3.2.3 Adam、Adamx、Nadam

Adam 是基于低阶自适应矩估计的随机目标函数一阶梯度优化算法。该方法易于实现，计算效率高，内存需求小，对渐变的对角线重新缩放不变，非常适合于数据参数较大的问题。该方法也适用于非平稳目标和具有非常嘈杂或稀疏梯度的问题。超参数具有直观的解释，通常不需要调整。参数更新公式为：

$${\eta }_t=\eta \ast \sqrt{1-{\beta }_2^t}/(1-{\beta }_1^t)\text{\hspace{1em}(23)}$$

$$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t\text{\hspace{1em}(24)}$$

$$v_t={\beta }_2\ast v_{t-1}+(1-{\beta }_2)g_t^2\text{\hspace{1em}(25)}$$

$${\theta }_{t+1}={\theta }_t-{\eta }_t\ast m_t/(\sqrt{v_t}+ϵ)\text{\hspace{1em}(26)}$$

Adamax 是 Adam 的变体，有时性能会超越 Adam，尤其是在嵌入模型中，其更新公式为：

$$m_t={\beta }_1\ast m_{t-1}+(1-{\beta }_1)\ast g_t\text{\hspace{1em}(27)}$$

$$v_t=\max ({\beta }_2\ast v_{t-1},|g_t|))\text{\hspace{1em}(28)}$$

$${\theta }_{t+1}={\theta }_t-\eta /(1-{\beta }_1^t)\ast m_t/(v_t+ϵ)\text{\hspace{1em}(29)}$$

Nadam 更像是有动量的 RMSprop，它是具有 Nesterov 动量的 Adam。其更新公式为：

$${\mu }_t={\beta }_1\ast (1-0.5\ast 0.96^{0.004\ast t})\text{\hspace{1em}(30)}$$

$$g^{\prime }=g/(1-\prod _{i=1}^t{\mu }_i)\text{\hspace{1em}(31)}$$

$$m_t={\beta }_1\ast m_{t-1}+(1-{\beta }_1)\ast g\text{\hspace{1em}(32)}$$

$$m^{\prime }=m_t/(1-\prod _{i=1}^{t+1}{\mu }_i)\text{\hspace{1em}(33)}$$

$$v_t={\beta }_2\ast v_{t-1}+(1-{\beta }_2)\ast g\ast g\text{\hspace{1em}(34)}$$

$$v^{\prime }=v_t/(1-{\beta }_2^t)\text{\hspace{1em}(35)}$$

$$\bar{m}=(1-{\mu }_t)\ast g^{\prime }+{\mu }_{t+1}\ast m^{\prime }\text{\hspace{1em}(36)}$$

$${\theta }_t={\theta }_{t-1}-lr\ast \bar{m}/(\sqrt{v^{\prime }}+ϵ)\text{\hspace{1em}(37)}$$

对各类优化学习算法的详细解释，超出本系列教程的讲解范围，我们会在学习资料中给出部分参考资料，方便大家对各种优化算法算法有更深刻的认识，以便在使用过程中可以灵活选择。

3.3 损失函数

3.3.1 二次损失函数

在前文中我们介绍过，损失函数的目的是评估模型预测值与样本期望输出值之间的差距。因此，最直观的损失函数是 0-1 损失函数。

$$L(Y,f(X))=\{\begin{array}{ll}1,& Y̸=f(X)\\ 0,& Y=f(X)\end{array}\text{\hspace{1em}(38)}$$

然而，该损失函数与网络模型参数无关，是不可微分函数，因此无法用于反向传播算法中训练网络。

而在上文中，我们给出的是二次损失函数，又称为均方误差损失函数。然而，在早期的神经网络中，非线性激活函数通常选择 sigmoid 函数，该函数及导数图像如下所示：

【图 1】

我们可以看到，当函数输入值趋近于 0 或趋近于 1 时，函数曲线非常平缓，其导数接近于 0。通过公式 (7) ，我们知道这将使参数更新非常缓慢。而 sigmoid 在值取 0 时具有最大梯度为 $0.25<1$。当反向传播逐层向前传递误差，会积累多项 $f^{\prime }(x_j)$。则前面几层的参数更新量几乎为 0。这就是臭名昭著的梯度消失问题。曾在一段时间内，人们普通认为反向传播算法不能解决多层网络更新问题。

3.3.2 交叉熵损失函数

交叉熵源于信息论，主要用于测量两个概率分布之间的差异性信息。对于离散分布的 $p$（真实分布） 和 $q$（预测分布），其度量公式为：

$$H(p,q)=-\sum _{x}p(x)\log q(x)\text{\hspace{1em}(39)}$$

对于二分类交叉熵损失函数，我们定义为：

$$C=-\frac{1}{N}\sum _x\left[y\log f(x)+(1-y)\log (1-f(x))\right]\text{\hspace{1em}(40)}$$

它具有良好的性质，当网络输出值与期望值约接近时，其交叉熵越接近于 0。与二次函数相比，交叉熵损失函数避免了学习速率下降的问题。为了说明问题，我们看一下，当损失函数为二分类交叉熵损失函数时，其参数的梯度计算为：

$$\frac{\partial E}{\partial w_{ji}}=\frac{\partial E}{\partial y_j}\cdot \frac{\partial y_j}{\partial x_j}\cdot \frac{\partial x_j}{\partial w_{ji}}=(y\cdot \frac{1}{y_j}+(1-y)\cdot \frac{-1}{1-y_j})\cdot y_j\cdot (1-y_j)\cdot y_i=(y_j-y)\cdot y_i\text{\hspace{1em}(41)}$$

这是一个非常完美的公式，去除了影响梯度更新的 $f^{\prime }(x_j)$ 项，其梯度更新速度直接取决于 $y_j$ 与 $y$ 之间的误差。因此，在目前的神经网络训练中，交叉熵损失函数的选择更常见一些，二分类交叉熵损失函数主要用于求解二分类问题，当拓展到多分类任务中，输出层激活函数采用的是 Softmax，其表达式为：

$$softmax(x{)}_i=\frac{e^{x_i}}{{\sum }_{j=1}^K{e}^{x_j}}\text{\hspace{1em}(42)}$$

多分类问题交叉熵损失函数⁴为：

$$-\frac{1}{N}\sum _{i=1}^N\sum _{k=1}^K{1}_{y_i\in K_k}\log p_{model}[y_i\in K_k]\text{\hspace{1em}(43)}$$

其中 $1_{y_i\in K_k}$ 是指示函数，表明第 $i$ 个样本属于第 $k$ 个样本。 $p_{model}[y_i\in K_k]$ 是模型预测第 $i $ 个样本属于第 $k$ 个分类的概率。

学习资料

1、http://neuralnetworksanddeeplearning.com/ 第二章及第三章内容（极力推荐）

1、An overview of gradient descent optimization algorithms 主要介绍常见的各种优化算法

2、Why Momentum Really Works 可视化讲解动量工作原理

---

1. Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. Learning representations by back-propagating errors. Nature. 8 October 1986, 323 (6088): 533–536. doi:10.1038/323533a0. ↩︎ ↩︎

2. Deep Forest ↩︎

3. TensorFlow API ↩︎

4. https://github.com/keras-team/keras/issues/6444 ↩︎