BP（Back Propagation，反向传播）算法

什么是反向传播（BP, Back Propagation）算法

$BP$算法（即误差反向传播算法）是适合于多层神经元网络的一种学习算法, 它建立在梯度下降法的基础上。$BP$网络的输入输出关系实质上是一种映射关系:一个$n$输入$m$输出的$BP$神经网络所完成的功能是从$n$维欧氏空间向$m$维欧氏空间中一有限域的连续映射,这一映射具有高度非线性。它的信息处理能力来源于简单非线性函数的多次复合, 因此具有很强的函数复现能力。这是$BP$算法得以应用的基础。

单个神经元的计算过程

如下图所示，

对于每个输入$x_i$，分别乘以权重$w_i$，求和，再经过一个非线性的激活函数($sigmod$等)，得到输出$y$
即
$$\begin{gathered} y=f(e) \\ e=W^{T}X \end{gathered}$$
$f(o)$是激活函数，$W$是权重矩阵（此处为行向量），$X$为输入（行向量）。

反向传播算法计算过程

$BP$是一种反馈型学习网络，算法的学习过程包括两部分。
首先是信息的前向传播，然后是通过误差进行的反向传播。
通过神经网络的输入层将数据信息输入到神经网络，输入层的各个单元将数据传递给隐含层各个神经元进行。
反向传播算法的第一步是前向传播。

前向传播

$$\{\begin{array}{rlr}{y}_1& =& f_1(w_{(x_1)1}{x}_1+w_{(x_2)1}{x}_2)\\ y_2& =& f_2(w_{(x_1)2}{x}_1+w_{(x_2)2}{x}_2)\\ y_3& =& f_3(w_{(x_1)3}{x}_1+w_{(x_2)3}{x}_2)\\ y_4& =& f_4(w_{14}{y}_1+w_{24}{y}_2+w_{34}{y}_3)\\ y_5& =& f_5(w_{15}{y}_1+w_{25}{y}_2+w_{35}{y}_3)\\ y_6& =& f_6(w_{46}{y}_4+w_{56}{y}_5)\\ y\_predict& =& y_6\end{array}$$
$w_{ij}$表示第$i$个节点对第$j$个节点的权重。

计算代价$\delta$

一般情况下我们使用误差平方和表示代价。
即
$$\delta =\frac{1}{2}(ground\_truth-y\_predict{)}^2$$
当然极少数情况下我们也会使用简单的计算方式
$$\delta =ground\_truth-y\_predict$$

反向传播

此时我们得到了最终的误差，也就是$f_6(e)$的误差$\delta$
反向传播给前面的神经元
${\delta }_i$表示第$i$个神经元的误差。
$$Second\_hidden\_layer\{\begin{array}{rlr}{\delta }_4& =& w_{46}\ast \delta \\ {\delta }_5& =& w_{56}\ast \delta \end{array}$$
下面计算第一个隐藏层
$$First\_hidden\_layer\{\begin{array}{rlr}{\delta }_1& =& w_{14}\ast {\delta }_4+w_{15}\ast {\delta }_5\\ {\delta }_2& =& w_{24}\ast {\delta }_4+w_{25}\ast {\delta }_5\\ {\delta }_3& =& w_{34}\ast {\delta }_4+w_{35}\ast {\delta }_5\end{array}$$

梯度下降法修正权重

$$\begin{gathered} w_{ij}^{\prime }=w_{ij}+bia{s}_{ij} \\ bia{s}_{ij}=\eta {\delta }_j\frac{\mathrm{d}{f}_j(e)}{\mathrm{d}e}elemen{t}_i \end{gathered}$$
即
$$w_{ij}^{\prime }=w_{ij}+\eta {\delta }_j\frac{\mathrm{d}{f}_j(e)}{\mathrm{d}e}elemen{t}_i$$
$w_{ij}^{\prime }$是修正后的权重，$\eta$是学习率，$e$是激活函数前的计算结果（本质就是对上一层结果的线性组合），$\frac{\mathrm{d}{f}_j(e)}{\mathrm{d}e}$是这个神经元本身的结果对激活函数前结果的导数，${\delta }_i$是第$i$个神经元的代价，$elemen{t}_i$就是元素i（也就是前面的那一个元素）。
为便于理解我们写一下式子，还是以下图这个为例。

$$First\_hidden\_layer\{\begin{array}{r}{w}_{x_{1}1}^{\prime }=w_{x_{1}1}+\eta {\delta }_1\frac{\mathrm{d}{f}_1(e)}{\mathrm{d}e}{x}_1\\ w_{x_{1}2}^{\prime }=w_{x_{1}2}+\eta {\delta }_2\frac{\mathrm{d}{f}_2(e)}{\mathrm{d}e}{x}_1\\ w_{x_{1}3}^{\prime }=w_{x_{1}3}+\eta {\delta }_3\frac{\mathrm{d}{f}_3(e)}{\mathrm{d}e}{x}_1\\ w_{x_{2}1}^{\prime }=w_{x_{2}1}+\eta {\delta }_1\frac{\mathrm{d}{f}_1(e)}{\mathrm{d}e}{x}_2\\ w_{x_{2}2}^{\prime }=w_{x_{1}1}+\eta {\delta }_2\frac{\mathrm{d}{f}_2(e)}{\mathrm{d}e}{x}_2\\ w_{x_{2}3}^{\prime }=w_{x_{1}1}+\eta {\delta }_3\frac{\mathrm{d}{f}_3(e)}{\mathrm{d}e}{x}_2\end{array}$$
$$Second\_hidden\_layer\{\begin{array}{r}{w}_{14}^{\prime }=w_{14}+\eta {\delta }_4\frac{\mathrm{d}{f}_4(e)}{\mathrm{d}e}{y}_1\\ w_{24}^{\prime }=w_{14}+\eta {\delta }_4\frac{\mathrm{d}{f}_4(e)}{\mathrm{d}e}{y}_2\\ w_{34}^{\prime }=w_{14}+\eta {\delta }_4\frac{\mathrm{d}{f}_4(e)}{\mathrm{d}e}{y}_3\\ w_{15}^{\prime }=w_{15}+\eta {\delta }_4\frac{\mathrm{d}{f}_5(e)}{\mathrm{d}e}{y}_1\\ w_{25}^{\prime }=w_{25}+\eta {\delta }_4\frac{\mathrm{d}{f}_5(e)}{\mathrm{d}e}{y}_2\\ w_{35}^{\prime }=w_{35}+\eta {\delta }_4\frac{\mathrm{d}{f}_5(e)}{\mathrm{d}e}{y}_3\end{array}$$
$$Output\_layer\{\begin{array}{r}{w}_{46}^{\prime }=w_{46}+\eta \delta \frac{\mathrm{d}{f}_6(e)}{\mathrm{d}e}{y}_4\\ w_{56}^{\prime }=w_{56}+\eta \delta \frac{\mathrm{d}{f}_6(e)}{\mathrm{d}e}{y}_5\end{array}$$
这样我们就完成了一次每一层连接权值的修正。
接下来是下一轮的循环：利用修正完的模型，再输入一个样本，正向传播等到$y$，再求$\delta$，再反向传播回来逐层修复权值。如此循环反复就是$BP$神经网络的计算原理了。

归一化

归一化方法

可见参考文献[4]的文章

• $min-max$归一化：$x^{\prime }=\frac{x-min}{max-min}$ 实现对原始数据的等比例缩放 [0-1]
• $zero-score$归一化：$x=\frac{x-\mu }{\delta }$ 期望为0，方差为1
• $y=2\ast \frac{x-min}{max-min}-1$ 最终数据区间[-1,1]

归一化作用

• 输入数据的单位不一样，有些数据的范围可能特别大，导致的结果是神经网络收敛慢、训练时间长。
• 数据范围大的输入在模式分类中的作用可能会偏大，而数据范围小的输入作用就可能会偏小。
• 由于神经网络输出层的激活函数的值域是有限制的，因此需要将网络训练的目标数据映射到激活函数的值域。例如神经网络的输出层若采用$S$形激活 函数，由于$S$形函数的值域限制在$(0,1)$，也就是说神经网络的输出只能限制在$(0,1)$，所以训练数据的输出就要归一化到[0,1]区间。
• $S$形激活函数在$(0,1)$区间以外区域很平缓，区分度太小。例如$S$形函数$f(x)$在参数$a=1$时，$f(100)$与$f(5)$只相差$0.0067$。这样数据的差异就会失去意义！

各类函数

• 线性函数 $f(x)=k\ast x+c$
• 斜坡函数
  $$f(x)=\{\begin{array}{r}T,x>c\\ k\ast x,|x|\le c\\ -T,x<-c\end{array}$$
• 阈值函数
  $$f(x)=\{\begin{array}{r}1,x\ge c\\ 0,x<c\end{array}$$
• $S$型函数（$Sigmoid$）
  $$f(x)=\frac{1}{1+e^{-\alpha x}}(0<f(x)<1)$$
  $$f^{\prime }(x)=\frac{\alpha e^{-\alpha x}}{(1+e^{-\alpha x}{)}^2}=\alpha f(x)[1-f(x)]$$
• 双极$S$型函数
  $$f(x)=\frac{2}{1+e^{-\alpha x}}-1，(-1<f(x)<1)$$
  $$f^{\prime }(x)=\frac{2\alpha e^{-\alpha x}}{(1+e^{-\alpha x}{)}^2}=\frac{\alpha [1-f(x{)}^2]}{2}$$

参考文献

[1]王忠勇,陈恩庆,葛强,等.误差反向传播算法与信噪分离[J].河南科学,2002,01:7-10.

[2]许朋.基于BP神经网络的手写数字识别[J].科技视界,2020(11):51-53.

[3]奔跑的Yancy.BP神经网络：计算原理详解和MATLAB实现[EB/OL].https://blog.csdn.net/lyxleft/article/details/82840787 ,2018-09-25.

[4]刘林龙.2.7 理论 神经网络讲解[EB/OL].http://www.liulinlong.cn/index.php/archives/137/ ,2020-03-28.

[5]边华清.BP神经网络[EB/OL].https://blog.csdn.net/xiaobian_/article/details/105444399 ,2020-04-11.