使用反向传播训练多层感知器的原理

关键词：反向传播，backprop，多层感知器（MLP）

本文是一篇译文。

原文来源：http://home.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html

本文介绍使用反向传播训练多层感知器的原理。这里使用包含两个输入和一个输出的三层神经网络说明训练过程，如下图所示：

img01.gif

每个神经元由两个单元组成。第一个单元对权重系数和输入信号的乘积进行加和。第二个单元实现非线性功能，称为神经元激活函数。信号 e 为第一单元输出信号，y=f(e) 为非线性单元输出信号。信号 y 也是神经元的输出信号。

img01b.gif

我们需要训练数据集来训练神经网络。训练数据集包括输入信号(x1 和 x2)及对应的目标（期望输出）y。神经网络训练是一个迭代过程。每次迭代过程都将使用训练集的新数据修改节点的权重。修改节点权重使用的算法为：每次训练都从训练集的两个输入信号开始；完成这一步之后，我们可以确定每个网络层的每个神经元的输出。下图说明了信号如何在网络中传播，符号 w_{(xm)n} 表示网络输入 x_m与输入层的神经元 n 之间连接的权重。符号 y_n表示神经元n的输出信号。

img02.gif

img03.gif

img04.gif

隐藏层的信号传播，符号w_{mn}表示神经元 m 的输出与下一层神经元 n 的输入的连接的权重：

img05.gif

img06.gif

输出层的信号传播：

img07.gif

---

下一个算法步骤中，网络信号 y 期望的输出值(训练集中的目标)进行比较。这两个值的差称为输出层神经网络的误差信号 d 。

img08.gif

由于不知道内层神经元的输出值，我们无法计算内层神经元的误差信号。训练多层神经网络的有效方法在很多年都是个未解之谜。直到 80 年代中期才有了反向传播算法。反向传播算法的思想是将误差信号 d 反向传入所有神经元，上面过程中神经元的输出变成了输入。

img09.gif

img10.gif

反向传输信号的权重系数 w_{mn}与计算输出的权重的值是一样的，只是数据流的方向发生了变化（信号由输出依次传向输入）。将其应用到所有网络层。如下图所示：

img11.gif

img12.gif

img13.gif

计算完每个神经元的误差信号后，每个神经元的权重系数将发生变化。下面的公式中df(e)/de表示神经激活函数的导数（权重将发生变化）。

img14.gif

img15.gif

img16.gif

img17.gif

img18.gif

img19.gif

系数 \eta影响网络训练速度。有几种技术可以用于确定这个系数。第一种方法使用很大的值作为系数开始学习，在建立权重系数的同时缩小系数。第二种方法（更复杂）使用较小的值作为系数开始学习，在学习过程中，开始时增大系数，当慢慢接近结果时减少系数。使用较小的系数的训练过程有助于确定权重系数的正负。

参考：

Ryszard Tadeusiewcz "Sieci neuronowe", Kraków 1992