BP神经网络及其学习算法

BP神经网络的结构

BP 网络结构

输入输出变换关系

工作过程

第一阶段或网络训练阶段：
N 组输入输出样本：
xi=[xi1, xi2,…, xip1]T
di=[di1, di2,…,dipm]T
i=1, 2,…, N
对网络的连接权进行学习和调整，以使该网络实现给定样本的输入输出映射关系。
第二阶段或称工作阶段：把实验数据或实际数据输入到网络，网络在误差范围内预测计算出结果。

BP学习算法

两个问题：

（1）是否存在一个BP神经网络能够逼近给定的样本或者函数。
BP定理：给定任意 ，对于任意的连续函数，存在一个三层前向神经网络，它可以在任意 平方误差精度内逼近连续函数。
（ 2）如何调整BP神经网络的连接权，使网络的输入与输出与给定的样本相同。
1986年，鲁梅尔哈特（D. Rumelhart）等提出BP学习算法。

基本思想

BP学习算法

正向传播：输入信息由输入层传至隐层，最终在输出层输出。
反向传播：修改各层神经元的权值，使误差信号最小。

BP算法的实现

BP算法的设计

（1） 隐层数及隐层神经元数的确定：目前尚无理论指导。
（2）初始权值的设置：一般以一个均值为0的随机分布设置网络的初始权值。
（3）训练数据预处理：线性的特征比例变换，将所有的特征变换到[0，1]或者[-1，1]区间内，使得在每个训练集上，每个特征的均值为0，并且具有相同的方差。
（4）后处理过程：当应用神经网络进行分类操作时，通常将输出值编码成所谓的名义变量，具体的值对应类别标号。

BP算法的计算机实现流程

BP算法的特点分析

特点

BP网络：多层前向网络（输入层、隐层、输出层）。
连接权值：通过Delta学习算法进行修正。
神经元传输函数：S形函数。
学习算法：正向传播、反向传播。
层与层的连接是单向的，信息的传播是双向的。

BP网络的主要优缺点

优点
很好的逼近特性。
具有较强的泛化能力。
具有较好的容错性。
缺点
收敛速度慢。
局部极值。
难以确定隐层和隐层结点的数目。
欢迎大家加我微信交流讨论（请备注csdn上添加）