9、神经网络

神经网络

人工神经网络，可以把所有的Neutral networks表达为：

1）激励函数：将输入信号转为输出信号。激励函数有Linear、Saturated Linear、Hyperbolic Tangent、Gaussian（又叫RBF：RadialBasis Function network）。

2）网络拓扑：描述模型中神经元的数目以及有多少层，他们如何连接。网络拓扑涉及，层数、信息是否可以在网络中逆向传输、每层节点数。

3）训练算法描述连接的权重。

1、神经网络的应用场景：

1）汽车：汽车自动导航系统，担保行为分析；

2）银行：支票和其他公文阅读器，信贷申请评估器；

3）国防：武器操纵，目标跟踪、目标辨识、面部识别、新型的传感器、声呐、雷达和图像信号处理（包括数据压缩、特征提取、噪音抑制、信号/图像的识别）

4）电子：代码序列预测，集成电路芯片布局，过程控制，芯片故障分析，机器视觉，语音综合，非线性建模

5）娱乐：动画、特技、市场预测

6）金融：不动产评估，借贷咨询，抵押审查，公司证券分级，投资交易程序，公司财务分析，通货价格预测

7）保险：政策应用评估，产品优化

8）制造：生产流程控制，产品设计和分析，过程和机器诊断，实时控制识别，可视质量监督系统，啤酒检测，焊接质量分析，纸张质量预测，计算机芯片质量分析等等

语音、手写识别；自动驾驶；建立复杂的天气、气候模型，社会或经济现象模型。

2、原理

单层感知器：就是输入输出两层神经元之间的简单连接。仅对线性可分问题具有分类能力，这就是单层感知器的局限所在。显然它能够解决的实际问题是很有限的。也正因为这样，单层感知器在解决实际问题时很少被采用。

多层感知器：就是在输入层和输出层之间加入隐层，以形成能够将样本正确分类的凸域。

神经网络也可以有多个输出单元和多个隐藏层。随着隐层层数的增多，凸域将可以形成任意的形状，因此可以解决任何复杂的分类问题。实际上，Kolmogorov理论指出：双隐层感知器就足以解决任何复杂的分类问题。

用圆圈来表示神经网络的输入，标上“+1”的圆圈被称为偏置节点，也就是截距项。神经网络最左边的一层叫做输入层，最右的一层叫做输出层。中间所有节点组成的一层叫做隐藏层，因为我们不能在训练样本集中观测到它们的值。

BP算法的基本思想是,学习过程由信号的正向传播与误差的反向传播两个过程组成。

正向传播时,输入样本从输入层传入,经各隐层逐层处理后,传向输出层。若输出层的实际输出与期望的输出不符,则转入误差的反向传播阶段。

反向传播时，将输出以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号即作为修正各单元权值的依据。

3、神经网络模型

神经网络是由大量的神经元互联而构成的网络。根据网络中神经元的互联方式，常见网络结构主要可以分为下面３类：

(1) 前馈神经网络　(　FeedforwardNeural Networks )

前馈网络也称前向网络。这种网络只在训练过程会有反馈信号，而在分类过程中数据只能向前传送，直到到达输出层，层间没有向后的反馈信号，因此被称为前馈网络。感知机( perceptron)与BP神经网络就属于前馈网络。

(2) 反馈神经网络　(　FeedbackNeural Networks )

反馈型神经网络是一种从输出到输入具有反馈连接的神经网络，其结构比前馈网络要复杂得多。典型的反馈型神经网络有：Elman网络和Hopfield网络。

(3) 自组织网络 ( SOM ,Self-Organizing Neural Networks )

自组织神经网络是一种无导师学习网络。它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。

4、BP神经网络

1）BP神经网络的概念：是一种按误差逆传播算法训练的多层前馈网络

BP神经网络是一种多层的前馈神经网络，其主要的特点是：信号是前向传播的，而误差是反向传播的。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。

 

BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。输入层神经元的个数由样本属性的维度决定，输出层神经元的个数由样本分类个数决定。隐藏层的层数和每层的神经元个数由用户指定。

 

BP神经网络的过程主要分为两个阶段，第一阶段是信号的前向传播，从输入层经过隐含层，最后到达输出层；第二阶段是误差的反向传播，从输出层到隐含层，最后到输入层，依次调节隐含层到输出层的权重和偏置，输入层到隐含层的权重和偏置。

当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐藏层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。

 

2）、BP神经网络的三要素：

①网络拓扑结构；

BP网络实际上就是多层感知器，因此它的拓扑结构和多层感知器的拓扑结构相同。由于单隐层（三层）感知器已经能够解决简单的非线性问题，因此应用最为普遍。

②传递函数；

BP网络采用的传递函数是非线性变换函数——Sigmoid函数（又称S函数）。其特点是函数本身及其导数都是连续的，因而在处理上十分方便。

③学习算法。

BP网络的学习算法就是BP算法，又叫 δ 算法。BP算法属于δ学习规则类，这类算法常被称为误差的梯度下降算法。

 

BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的 学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。" BP网络具有很强的非线性映射能力，一个3层BP神经网络能够实现对任意非线性函数进行逼近。