ELMAN神经网络

ELMAN神经网络

By:Yang Liu
1.什么是ELMAN神经网络
Elman神经网络是一种典型的局部回归网络( global feed forward local recurrent)。Elman网络可以看作是一个具有局部记忆单元和局部反馈连接的递归神经网络。Elman网络具有与多层前向网络相似的多层结构。是在BP网络基本结构的基础上，在隐含层增加一个承接层，作为一步延时算子，达到记忆的目的，从而使系统具有适应时变特性的能力，增强了网络的全局稳定性，它比前馈型神经网络具有更强的计算能力，还可以用来解决快速寻优问题。属于带反馈的BP网络，有短期记忆功能。
2.ELMAN的结构

主要结构是前馈连接, 包括输入层、 隐含层、 输出层, 其连接权可以进行学习修正;反馈连接由一组“结构 ” 单元构成,用来记忆前一时刻的输出值, 其连接权值是固定的。在这种网络中, 除了普通的隐含层外, 还有一个特别的隐含层,称为关联层 (或联系单元层 ) ;该层从隐含层接收反馈信号, 每一个隐含层节点都有一个与之对应的关联层节点连接。关联层的作用是通过联接记忆将上一个时刻的隐层状态连同当前时刻的网络输入一起作为隐层的输入, 相当于状态反馈。隐层的传递函数仍为某种非线性函数, 一般为 Sigmoid函数, 输出层为线性函数, 关联层也为线性函数。
3.ELMAN算法流程图



4.ELMAN小结
ELMAN是动态网络，适应时变特性，有短期记忆功能，能够内部反馈、存储和利用过去时刻输出信息，在计算能力和网络稳定性上比BP网络更好，但与BP神经网络一样，算法都是采用基于梯度下降法，会出现训练速度慢和容易陷入局部极小点的缺点，对神经网络的训练较难达到全局最优。
参考文献：
（1）https://wenku.baidu.com/view/5d67944b52d380eb62946d62.html
（2）https://blog.csdn.net/fengzhimohan/article/details/80847979
（3）https://blog.csdn.net/vendetta_gg/article/details/106444482