神经网络学习(三)——BP神经网络算法

前面学习了感知器和自适应线性神经网络。

下面介绍经典的三层神经网络结构,其中每个神经元的激活函数采用Sigmoid。PS:不同的应用场景,神经网络的结构要有针对性的设计,这里仅仅是为了推导算法和计算方便才采用这个简单的结构。

神经网络学习(三)——BP神经网络算法_第1张图片

训练步骤:

1.正向传播

2.反向传播(BP)

3.一次正反向传播为一次训练,迭代。

 

BP算法计算方法:

参数初始化:

神经网络学习(三)——BP神经网络算法_第2张图片

正向传播:

神经网络学习(三)——BP神经网络算法_第3张图片

隐藏层到输出层:

神经网络学习(三)——BP神经网络算法_第4张图片

反向传播:

1.计算误差(欧几里得距离):

神经网络学习(三)——BP神经网络算法_第5张图片

2.隐藏层到输出层的权值及偏置b的更新(以W5为例):

(白话解释:权重w的大小能直接影响输出,w不合适那么会使得输出误差。要想直到某一个w值对误差影响的程度,可以用误差对该w的变化率来表达。如果w的一点点变动,就会导致误差增大很多,说明这个w对误差影响的程度就更大,也就是说,误差对该w的变化率越高。而误差对w的变化率就是误差对w的偏导。)

看下图,总误差的大小首先受输出层神经元O1的输出影响,继续反推,O1的输出受它自己的输入的影响,而它自己的输入会受到w5的影响。这就是连锁反应,从结果找根因。

神经网络学习(三)——BP神经网络算法_第6张图片

因此,得到W5的偏导:

神经网络学习(三)——BP神经网络算法_第7张图片

神经网络学习(三)——BP神经网络算法_第8张图片

神经网络学习(三)——BP神经网络算法_第9张图片

(sigmoid求导公式:y=\frac{1}{e^{-x}+1} \,\,\,\,\,\,\,\,\,\, y^{'}=y\ast (1-y))

神经网络学习(三)——BP神经网络算法_第10张图片

因此,可以得到:

神经网络学习(三)——BP神经网络算法_第11张图片

同理,更新输出层偏置b:

神经网络学习(三)——BP神经网络算法_第12张图片

输出层W的更新公式:

输出层b的更新公式:

3.输入层到隐藏层的权值及偏置b更新:

以更新w1为例: 仔细观察,我们在求w5的更新,误差反向传递路径输出层-->隐层,即out(O1)-->in(O1)-->w5,总误差只有一根线能传回来。但是求w1时,误差反向传递路径是隐藏层-->输入层,但是隐藏层的神经元是有2根线的,所以总误差沿着2个路径回来,也就是说,计算偏导时,要分开来算。看图:

神经网络学习(三)——BP神经网络算法_第13张图片

那么,现在开始算总误差对w1的偏导:

神经网络学习(三)——BP神经网络算法_第14张图片

先运算:

可以得到:

依次进行计算:

神经网络学习(三)——BP神经网络算法_第15张图片

神经网络学习(三)——BP神经网络算法_第16张图片

神经网络学习(三)——BP神经网络算法_第17张图片

神经网络学习(三)——BP神经网络算法_第18张图片

神经网络学习(三)——BP神经网络算法_第19张图片

神经网络学习(三)——BP神经网络算法_第20张图片

神经网络学习(三)——BP神经网络算法_第21张图片

神经网络学习(三)——BP神经网络算法_第22张图片

神经网络学习(三)——BP神经网络算法_第23张图片

神经网络学习(三)——BP神经网络算法_第24张图片

神经网络学习(三)——BP神经网络算法_第25张图片

 

你可能感兴趣的:(神经网络)