本篇文章主要根据《神经网络与机器学习》和《人工神经网络原理》两本书,对 BP 神经网络的数学推导过程做了一个总结,为自己进入深度学习打下一个基础。
人工神经网络(ANN)是一种旨在模仿人脑结构及其功能的由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算机系统,该系统靠其状态对外部输入信息的动态响应来处理信息 。
神经元由细胞及其发出的许多突起构成。细胞体内有细胞核,突触的作用是传递信息。作为引入输入信号的若干个突起称为“树突”,而作为输出端的突起只有一个称为“轴突” 。
所谓M-P模型,其实是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型。
对于第 j 个神经元,接受多个其它神经元的输入信号 xi 。各突触强度以实系数 wij 表示,这是第 i 个神经元对第 j 个神经元作用的加权值。
神经元的“净输入”用 Ij 表示,其表达式是线性加权求和,即:
神经元 j 的输出 yj 是其当前状态的函数, M-P 模型的数学表达式为:
式中, θj 为阈值, sgn 是符号函数。当净输入超过阈值时, yj 取+1 输出,反之为-1输出 。如果考虑输出与输入的延时作用,表达式可修正为:
(2)常用学习规则
> 注:BP 神经网络属于前缀网络
BP(Back Propagation)神经网络的学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时,输入样本从输入层传入,经隐层逐层处理后,传向输出层。若输出层的实际输出与期望输出不符,则转向误差的反向传播阶段。误差的反向传播是将输出误差以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号即作为修正各单元权值的依据。BP网络由输入层﹑输出层和隐层组成, N1 为输入层, Nm 为输出层,其余为隐层。BP 神经网络的结构如下:
BP 神经网络反向传播算法的神经元示意图图一:
上图描绘了神经元 j 被它左边的一层神经元产生的一组函数信号所馈给。 m 是作用于神经元 j 的所有输入不包括偏置的个数。突触权值 wj0(n) 等于神经元 j 的偏置 bj 。
图一中,在神经元 j 的激活函数输入处产生的诱导局部域 vj(n) (即神经元 j 的输入)是:
ϕj 是激活函数,则出现在神经元 j 输出处的函数信号(即神经元 j 的输出) yj(n) 是:
在图一中, yj(n) 与 dj(n) 分别是神经元 j 的实际输出和期望输出,则神经元 j 的输出所产生的误差信号定义为:
其中, dj(n) 是期望响应向量 d(n) 的第 j 个元素。
为了使函数连续可导,这里最小化均方根差,定义神经元 j 的瞬时误差能量为:
将所有输出层神经元的误差能量相加,得到整个网络的全部瞬时误差能量:
其中,集合C 包括输出层的所有神经元。
BP 算法通过反复修正权值使式(2-5) En 最小化,采用梯度下降法对突触权值 wji(n) 应用一个修正值 ∆wji(n) 它正比于偏导数 δ E(n)/ δ wji(n) 。根据微分链式规则,把这个梯度表示为:
偏导数 δ E(n)/ δ wji(n) 代表一个敏感因子,决定突触权值 wji 在权值空间的搜索方向。
将式(2-7)——(2-10)带入式(2-6)得:
其中, η 是误差反向传播的学习率, 负号表示在权空间中梯度下降。
将式(2-11)带入式(2-12)得:
其中, δj(n) 是根据delta法则定义的局部梯度:
局部梯度指明了突触权值所需要的变化。
当神经元 j 位于输出层时,给它提供了一个期望响应。根据式(2-3)误差信号 ej(n)=dj(n)−yj(n) 确定,通过式(2-14)得到神经元 j 的局部梯度 δj(n) 为:
当神经元 j 位于隐层时,没有对该输入神经元的指定期望响应。隐层的误差信号要根据所有与隐层神经元直接相连的神经元的误差信号向后递归决定。
考虑神经元 j 为隐层节点,隐层神经元的局部梯度 δj(n) 根据式(2-14)重新定义为:
来看图二:它表示输出层神经元 k 连接到隐层神经元 j 的信号流图。
在这里下标 j 表示隐层神经元,下标 k 表示输出层神经元。
将式(2-23)带入式(2-16)得隐层神经元 j 的局部梯度 δj(n) 为:
反向传播过程推导总结
因此,结合式(2-13)、(2-15)和(2-24),由神经元 i 连接到神经元 j 的突触权值的修正值 ∆wji(n) 按照delta法则定义如下:
其中:
(1)激活函数
单极性S型函数和双曲正切S型函数
(2)学习率
0<η<1
(3)停止准则
网络的均方误差足够小或者训练足够的次数等
(4)初始权值
以均值等于0的均匀分布随机挑选突触权值
(5)隐层结构
理论证明一个隐层就能映射所有连续函数 ;
隐层节点数= (输入节点数+输出节点数)−−−−−−−−−−−−−−−−−−√+α,1<α<10 或
隐层节点数= (输入节点数∗输出节点数)−−−−−−−−−−−−−−−−−−√
(1)训练过程
初始化网络的突触权值和阈值矩阵;
训练样本的呈现;
前向传播计算;
误差反向传播计算并更新权值;
迭代,用新的样本进行步骤3和4,直至满足停止准则。
由于标准 BP 算法采用的是梯度下降法,BP 算法的 E-w 曲线图如下:
因此标准 BP 算法具有以下缺陷:
(1)增加动量项
一个既要加快学习速度又要保持稳定的方法是修改式(2-13),增加动量项,表示为:
这里 α 是动量常数,0≤ α <1。
动量项 α∆wji(n−1) 反映了以前积累的调整经验,当误差梯度出现局部极小时,虽然 ∆wji(n) →0,但 ∆wji(n−1) ≠0,使其跳出局部极小区域,加快迭代收敛速度。
(2)其他改进方法