深度学习-BP算法

BP算法

多层感知器的训练使用误差反向传播算法(Error Back Propagation)，即BP算法。BP算法最早有沃博斯于1974年提出，鲁梅尔哈特等人进一步发展了该理论。

BP算法的基本过程

• 前向传播计算：由输入层经过隐含层向输出层的计算网络输出
• 误差反向逐层传递:网络的期望输出与实际输出之差的误差信号由输出层经过隐含层逐层向输入层传递
• 由“前向传播计算”与“误差反向逐层传递”的反复进行的网络训练 过程

BP算法就是通过比较实际输出和期望输出得到误差信号，把误差信 号从输出层逐层向前传播得到各层的误差信号，再通过调整各层的连接权重以减小误差。权重的调整主要使用梯度下降法：
$$\Delta w=-\alpha \frac{\partial E}{\partial w}$$

激活函数

通过误差反向传播算法调整多层感知器的连接权重时，一个瓶颈问题就是激活函数：

• M-P 模型中使用阶跃函数作为激活函数，只能输出 0或 1，不连续所以 不可导
• 为了使误差能够传播，鲁梅尔哈特等人提出使用可导函数Sigmoid作为激活函数

Sigmoid函数的导数：$\frac{df(u)}{du}=f(u)(1-f(u))$

其他常见的激活函数：ReLU (Rectified Linear Unit，修正线性单元)和tanh等

BP算法示例

以包含一个中间层和一个输出单元 $y$ 的多层感知器为例：$w_{1ij}$ 表示输 入层与中间层之间的连接权重，$w_{2j1}$ 表示中间层与输出层之间的连接权重， $i$ 表示输入层单元，$j$ 表示中间层单元。

• 首先调整中间层与输出层之间的连接权重，其中 $y=f(u)$， $f$ 是激活函数，$u_{21}={\sum }_{j=1}^m{w}_{2j1}{z}_j$，把误差函数 E 对连接权重$w_{2j1}$ 的求导展开成复合函数求导：

$$\begin{array}{c}\frac{\partial E}{\partial w_{2j1}}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial u_{21}}\frac{\partial u_{21}}{\partial w_{2j1}}\\ =-(r-y)y(1-y)z_j\end{array}$$

这里 $z_j$ 表示的是中间层的值。

• 第二，中间层到输出层的连接权重调整值如下所示：

$$\Delta w_{2j1}=\alpha (r-y)y(1-y)z_j$$

• 第三，调整输入层与中间层之间的连接权重

$$\begin{array}{rl}\frac{\partial E}{\partial w_{1ij}}& =\frac{\partial E}{\partial y}\frac{\partial y}{\partial u_{21}}\frac{\partial u_{21}}{\partial w_{1ij}}\\ & =-(r-y)y(1-y)\frac{\partial u_{21}}{\partial w_{1ij}}\end{array}$$

中间层到输出层

输入层到中间层