【数模智能算法】BP神经网络基本算法原理

目录

一、什么是神经网络？

二、ANN能干什么？

三、建立和应用神经网络的步骤

四、人工神经元的模型

五、网络模型

六、工作状态

七、BP算法

八、神经网络的应用

---

一、什么是神经网络？

1、人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应。

2、人工神经网络（ANN）具有自学习、自组织、较好的容错性和优良的非线性逼近能力。

3、在实际应用中，80%~90%的人工神经网络模型是采用误差反传播算法或其变化形式的网络模型。

一个神经网络的典型结构：

二、ANN能干什么？

1、数学近似映射（函数逼近）

（1）拟合--->预测

（2）分类--->聚类分析

三、建立和应用神经网络的步骤

1、网路结构的确定

      包含网络的拓扑结构和每个神经元相应函数的选取

2、权值和阈值的确定

      通过学习得到，唯有指导的学习，也就是利用已知的一组正确的输入、输出数据，调整权和阈值使得网络输出和理想输出偏差尽量小（预测）

3、工作阶段

      用带有确定权重和阈值的神经网络解决实际问题的过程，也叫模拟

四、人工神经元的模型

1、最为神经网络的基本元素，神经元的模型如下：

（1）x1~xn是从其他神经元传来的输入信号

（2）wij表示从神经元j到神经元i的连接权值

（3）θ表示的是一个阈值

 2、神经元的输出与输入的关系

净激活量：

激活函数：

若用X表示输入向量，则用W表示权重向量：

激活函数：是对净激活量与输出进行映射的函数，一些常用的激活函数，由于输入数据与期望值之间可能不是一个量级，所以需要激活。

五、网络模型

根据网络中神经元的互联方式的不同，网络模型可以分为：

（1）前馈神经网络

只在训练过程会有反馈信号，而在分类过程中数据只能向前传送，直到到达输出层，层间没有向后的反馈信号

（2）反馈神经网络

从输入到输出具有反馈连接的神经网络，其结构比前馈网络要复杂得多

（3）自组织网络

通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构

六、工作状态

1、神经网络的工作状态分为学习和工作两种状态

（1）学习

利用学习算法来调整神经元之间的连接权重，使得网络输出更符合实际

（2）工作

神经元之间的连接权值不变，可以作为分类器或者预测数据之用

2、学习分为有导师学习和无导师学习

（1）有导师学习

将一组训练集送入网络，根据网络的实际输出与期望输出间的差别来调整连接权值

例如：BP算法

（2）无导师学习

抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存在于网络中

例如：Hebb学习率

七、BP算法

采用BP学习算法的前馈神经网络称为BP神经网络

1、BP算法基本原理

利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计

（1）信号的正向传播

输入样本-->输入层-->各隐藏层-->输出层

判断是否转入反向传播阶段的条件：

  --  若输出层的实际输出与期望的输出不符

（2）误差的反向传播

误差以某种形式在各层表示，即修正各层单元的权值

当网络输出的误差减少到可接受的程度和进行到预先设定的学习次数为止

（3）符号定义

假设输入层有n个神经元，隐含层有p个神经元，输出层有q个神经元

 （接下来的推导公式主要为梯度下降法）

推荐参考博客：BP神经网络模型及梯度下降法_-牧野-的博客-CSDN博客_bp神经网络梯度下降法

八、神经网络的应用

(1) 图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。

(2)信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类;可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。

(3)模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别等。

(4)机器人控制。对机器人眼手系统位置进行协调控制，用于机械手的故障诊断及排除、智能自适应移动机器人的导航。

(5)卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分正常
心跳和非正常心跳、基于BP网络的波形分类和特征提取在计算机临床诊断中的应用。

(6)焊接领域。国内外在参数选择、质量检验、质量预测和实时控制方面都有研究，部分成果已得到应用。

(7)经济。能对商品价格、股票价格和企业的可信度等进行短期预测。

(8)另外，在数据挖掘、电力系统、交通、军事、矿业、农业和气象等j面亦有应用。

【数学建模专栏】

欢迎您的订阅