人工神经网络(Artificial Neural Network)

神经网络俗称人工神经网络(ANN)，由简单神经元经过相互连接行程网状结构，通过调节各连接的权重值，改变链接的强度，进而实现感知判断。

反向传播(Back Propagation,BP)算法的提出，进一步推动了神经网络的发展。

传统神经网络主要分为一下几类

前馈型神经网络
Feed Forward Neural Network，是一种单向多层的网络结构，即信息从输入层开始，逐层向一个方向传递，一直到输出层结束。
前馈是指输入信号的传播方向为前向，在此过程中并不调整各层的权值参数。而反传播时是将误差逐层向后传递，从而实现使用权值参数对特征的记忆。即用BP算法来计算各层网络中，神经元之间边的权重。BP算法具有非线性映射能力，理论上能逼近任意连续函数，从而实现对模型的学习。
因为使用了BP算法，有时也叫BP神经网络。

BP神经网络模型的拓扑结构包括输入层、隐层和输出层。利用激活函数来实现输入到输出的任意非线性映射。激活函数必须满足处处可导的条件

训练过程基本步骤：

初始化网络权值和神经元的阈值，一般通过随机的方式进行初始化
前向传播：计算隐层神经元和输出层神经元的输出
后向传播：根据目标函数公式修正权值w

有两种训练方式，分别为批处理和随机。区别在于计算误差时使用的样本数量。

反馈型神经网络
Hopfield，分为离散型DHNN和连续型CHNN两种网络模型。
在反馈神经网络中没有层的概念，所有神经元的功能相同。每个神经元的输入信号来其他(有时还包括自身)神经元的输出
(1)网络的状态
DHNN中每个神经元都有相同功能，其输出称为状态，用xj表示。所有神经元状态的集合构成反馈网络的状态。
反馈网络的输入就是网络状态的初始值，反馈网络在外界输入激发下，由初始状态进入动态演变过程。
反馈网络稳定时，各个神经元的状态都不再改变，此时的稳定状态就是网络的输出。
(2)网络运行有同步和异步两种方式。异步每次只有一个神经元进行状态的调整。同步所有神经元同时调整状态。

自组织神经网络
（1）自组织特征映射网(SOM)：受生物学启发，特点与人脑的自组织特性相类似。
[未完待续。。。]

激活函数

1）sigmod范围0到1。主要缺点梯度下降明显，两头过于平坦，容易出现梯度消失。且输出值域不对称。
2）tanh双曲正切,范围-1到1。输出值两头依旧过于平坦，梯度消失问题依然存在。
3）ReLU函数，分段函数R(x)=max(0,x)。只需要一个阈值就可以得到一个激活值，不需要对输入归一化，来防止达到饱和。

损失函数

1）softmax函数优点是可以使分类问题的预测结果更明显，不同类之间的差距更大
2）交叉熵损失函数，目标为二分类问题。分类误差越小则损失越小，对正负分类计算各自的损失。但是会产生梯度爆炸的问题。也可用于目标为[0,1]区间的回归问题
3）均方差损失函数

过拟合

过拟合的根本原因是模型复杂，常用防止过拟合的方法
1）惩罚性成本函数：将惩罚项添加至损失函数以获得高权重，类似岭回归。
2）Dropout：训练迭代中随机漏失一些神经元
3）尽早停止
4）动量：在修正负梯度的时候加一个动量项，不完全沿梯度方向，可以避免局部最小值。