智能优化算法——BP神经网络

BP神经网络基本原理

是一种多层前馈网络，具有信息前向传递，误差反向传递的特点
重点概念：
1、特征输入
2、标准输出
3、权重
4、误差

1、BP神经网络模型

人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经神经系统对真实世界物体所作出的交互反应。
人工神经网络（ANN）具有自学习、自组织、较好的容错性和优良的非线性逼近能力。
在实际应用中，80%~90%的人工神经网络模型是采用误差反传算法或其变化形式的网络模型。

2、建立和应用神经网络的步骤：

（1）网络结构的确定
包含网络的拓扑结构和每个神经元相应函数的选取
（2）权值和阈值的确定
通过学习得到，为有指导的学习，也就是利用已知的一组正确的输入、输出数据，调整权和阈值使得网络输出与理想输出偏差尽量小
（3）工作阶段
用带有确定权重和阈值的神经网络解决实际问题的过程，也叫模拟。

3、学习方式：

（1）有导师学习（监督学习）
将一组训练集送入网络，根据网络的实际输出与期望输出间的差别来调整连接权
eg: BP算法
（2）无导师学习（非监督学习）
抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中
eg: Hebb学习率

4、BP算法

基本原理：信号的正向传播与误差的反向传播

利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。

训练：

目前很大程度上还需要依靠经验知识和设计者的经验，通过训练样本的学习（训练）建立合理的BP神经网络模型