【智能算法第一期】Elman神经网络基本原理

1. Elman神经网络概述

根据神经网络运行过程中的信息流向，可将神经网络可分为前馈式和反馈式两种基本类型。前馈式网络通过引人隐藏层以及非线性转移函数可以实现复杂的非线性映射功能。但前馈式网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出结果无关。反馈型神经网络也称递归网络或回归网络。反馈神经网络的输入包括有延迟的输入或者输出数据的反馈，由于存在有反馈的输入，所以它是一种反馈动力学系统；这种系统的学习过程就是它的神经元状态的变化过程，这个过程最终会达到一个神经元状态不变的稳定态，也标志着学习过程的结束。
反馈网络的动态学习特征，主要由网络的反馈形式决定。反馈网络的反馈形式是比较多样化的，有输入延迟、单层输出反惯、神经元自反馈、两层之间互相反馈等类型。常见的反馈型神经网络有Elman 神经网络、Hopfield 神经网络和与离散Hopfield 结构相似的Boltzmann 神经网络等。El man 神经网络是Elman 于1990 年提出的，该模型在前馈式网络的隐含层中增加了一个承接层，作为一步延时的算子，以达到记忆的目的，从而使系统具有适应时变特性的能力，能直接动态反映动态过程系统的特性。

2.Elman神经网络结构

Elman 型神经网络一般分为四层：输入层、隐含层（中间层〉、承接层和输出层。如图2-1所示，输入层、隐含层、输出层的连接类似于前馈式网络，输入层的单元仅起信号传输作用，输出层单元起线性加权作用。隐含层单元的传递函数可采用线性或非线性函数，承接层又称上下文层或状态层，它用来记忆隐含层单元前一时刻的输出值并返回给网络的输入， 可以认为是一个一步延时算子。

Elman 神经网络的特点是隐含层的输出通过承接层的延迟与存储，自联到隐含层的输入。这种自联方式使其对历史状态的数据具有敏感性，内部反馈网络的加入增强了网络本身处理动态信息的能力，从而达到动态建模的目的。此外， Elman 神经网络能够以任意精度逼近任意非线性映射，可以不考虑外部噪声对系统影响的具体形式，如果给出系统的输入输出数据对，就可以对系统进行建模。

 3.Elman神经网络学习过程

以上图为例，Elman神经网络的非线性状态空间表达式为：

式中，y为m维输出结点向量；x为n维中间层结点单元向量；u为r维输入向量；为n维反馈状态向量，为中间层到输出层连接全职；为输入层到中间层连接权值；为承接层到中间层到连接权值；g(*)为输出神经元的传递函数，是中间层输出的线性组合；f(*)为中间层神经元的传递函数，常采用S函数。

Elman神经网络同样也采用Bp神经网络算法相似的方法进行权值修正，学习指标函数采用误差平方和函数。

式中，为目标输入向量。

 

如有交流，可联系博主QQ: 491052175