高级分布式系统-第15讲 分布式机器学习--神经网络理论

神经网络理论

模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界。人工神经网络从另一个角度出发，即从人脑的生理学和心理学着手，通过人工模拟人脑的工作机理来实现机器的部分智能行为。

人工神经网络（简称神经网络，Neural Network）是模拟人脑思维方式的数学模型。神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为。神经网络反映了人脑功能的基本特征，如并行信息处理、学习、联想、模式分类、记忆等。

（1）能逼近任意非线性函数；

（2）信息的并行分布式处理与存储；

（3）可以多输入、多输出；

（4）便于用超大规模集成电路（VISI）或光学集成电路系统实现，或用现有的计算机技术实现；

（5）能进行学习，以适应环境的变化。

单神经元网络

常用的神经元非线性特性有以下几种：

BP神经网络

误差反向传播神经网络，简称BP网络（Back Propagation）

含一个隐含层的BP网络结构，图中 i为输入层神经元， 为隐层神经元， k为输出层神经元。

用于逼近的BP网络

BP算法的学习过程由正向传播和反向传播组成。

在正向传播过程中，输入信息从输入层经隐层逐层处理，并传向输出层，每层神经元（节点）的状态只影响下一层神经元的状态。

如果在输出层不能得到期望的输出，则转至反向传播，将误差信号（理想输出与实际输出之差）按联接通路反向计算，由梯度下降法调整各层神经元的权值，使误差信号减小。

优缺点

BP网络的优点为：

（1）只要有足够多的隐层和隐层节点，可以逼近任意的非线性映射关系；

（2）BP网络的学习算法属于全局逼近算法，具有较强的泛化能力;

（3）BP网络输入输出之间的关联信息分布地存储在网络的连接权中，个别神经元的损坏只对输入输出关系有较小的影响，因而BP网络具有较好的容错性。

BP网络的主要缺点为：

（1）待寻优的参数多，收敛速度慢；

（2）目标函数存在多个极值点，按梯度下降法进行学习，很容易陷入局部极小值；

（3）难以确定隐层及隐层节点的数目。目前，如何根据特定的问题来确定具体的网络结构尚无很好的方法，仍需根据经验来试凑。