神经网络的学习算法

学习方法分类

1.有监督学习
网络的输出和期望的输出（即监督信号）进行比较，然后根据两者之间的差异调整网络的权重，最终使差异变小。

2.无监督学习
输入模式进入网络后，网络按照预先设定的规则（如竞争规则）自动调整权重，使网络具有模式分类等功能。

3.再励学习
介于上述两者之间的一种学习方法。

学习规则分类

1.Hebb学习规则
如果处理单元接收到一个输入，并且如果两个单元都处于高度活动状态，这时两单元间的连接权重就要被加强。

2.Delta学习规则
改变单元间的连接权重来减小系统实际输出与应有的输出间的误差。只适用于线性可分函数。
注：线性函数——只拥有一个变量的一阶多项式函数
线性可分函数——用一个线性函数可以将两类样本完全分开

3.梯度下降学习规则
网络再学习过程中，保持误差曲线的梯度下降。
注：梯度——表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

4.Kohonen学习规则
在学习过程中，处理单元竞争学习的时候，具有高输出的单元是胜利者，它有能力阻止它的竞争者并激发相邻的单元。
只有胜利者才能有输出，也只有胜利者与其相邻单元可以调整权重。

5.后向传播学习规则
误差的后向传播规则一般采用Delta规则，此过程包括两步：
第一步是正反馈，当输入数据输入网络，网络从前往后计算每个单元的输出，将每个单元的输出与期望输出作比较，并计算误差；
第二步是向后传播，从后往前重新计算误差，并修改权重。
完成这两步后才能输入新的输入数据。

6.概率式学习规则
神经网络处于某一状态的概率主要取决于在此状态下的能量，能量越低的状态，出现的概率越大。同时，此概率还取决于温度参数T，T越大，不同状态出现的概率的差异越小，较容易跳出能量的局部极小点，T越小时，情形正好相反。

7.竞争式学习规则
不同层间的神经元发生兴奋性连接以及同一层内距离很近的神经元间发生同样的兴奋性连接，而距离较远的神经元产生抑制性连接。