第五章 神经网络

神经网络：neural networks are massively parallel interconnected networks     of simple (usually adaptive) elements and their hierarchical     organizations which are intended to interact with the objects of     the real world in the same way as biological nervous systems do         [T. Kohonen, NN88]

5.1神经元模型

 

 

 神经网络学得的 知识蕴含在连接 权与阈值中

5.2感知机与多层网络

5.2.1感知器

 

5.2.2多层神经

多层神经网络结构：

 

 

 

 

 

 

 

 

多层神经网络的劣势：

（1）数学不漂亮，优化算法只能获得局部极值，算法性能与初始值有关。 （2）不可解释。训练神经网络获得的参数与实际任务的关联性非常模糊。 （2）模型可调整的参数很多 （网络层数、每层神经元个数、非线性函数、学习率、优化方法、终止条件等等）。 （3）如果要训练相对复杂的网络，需要大量的训练样本。

 5.3误差逆传播算法 (BP)

 

 

 梯度下降法

 

 链式法则

 

 

 

 

 

 

 

 

 

1.随机梯度下降

（1）不用每输入一个样本就去变换参数，而是输入一批样本（叫做一个BATCH或MINI-BATCH），求出这些样本的梯度平均值后，根据这个平均值改变参数。 （2）在神经网络训练中，BATCH的样本数大致设置为50-200不等。    

2.训练数据初始化

3.（W,b）的初始化

 

 

 

 4.参数更新策略

 5.4神经网络训练建议

 （1）一般情况下，在训练集上的目标函数的平均值（cost）会随着训练的深入而不断减小，如果这个指标有增大情况，停下来。有两种情况：第一是采用的模型不够复杂，以致于不能在训练集上完全拟合；第二是已经训练很好了。

（2）分出一些验证集（Validation Set）,训练的本质目标是在验证集上获取最大的识别率。因此训练一段时间后，必须在验证集上测试识别率，保存使验证集上识别率最大的模型参数，作为最后结果。

（3）注意调整学习率（Learning Rate）,如果刚训练几步cost就增加，一般来说是学习率太高了；如果每次cost变化很小，说明学习率太低。

5.5其他常见神经网络模型

RBF： 分类任务中除BP之外最常用 

ART：“竞争学习”的代表 

SOM：最常用的聚类方法之一

级联相关网络：“构造性”神经网络的代表 

Elman网络：递归神经网络的代表

Boltzmann机：“基于能量的模型”的代表

5.6深度学习

2006年是深度学习的起始年，Hinton在SCIENCE上发文，提出一种叫做自动编码机（Auto-encoder）的方法，部分解决了神经网络参数初始化的问题。

 

 CNN的优点：

1、避免了显式的特征抽取，而隐式地从训练数据中进行学习； 2、同一特征映射面上的神经元权值相同，从而网络可以并行学习，降低了网络的复杂性； 3、采用时间或者空间的子采样结构，可以获得某种程度的位移、尺度、形变鲁棒性；