人工神经网络的典型模型

 转自学研网http://bbs.matwav.com/viewthread.php?tid=105273&highlight=ART

 

迄今为止，有30多种人工神经网络模型被开发和应用。下面是它们之中有代表性的一些模型。
（１）自适应谐振理论(ART) 由Grossberg提出的，是一个根据可选参数对输入数据进行粗略分类的网络。ART-1用于二值输入，而ART-2用于连续值输入。ART的不足之处在于过份敏感，输入有小的变化时，输出变化很大。
（２）双向联想存储器(BAM) 由Kosko开发的，是一种单状态互连网络，具有学习能力。BAM的缺点为存储密度较低，且易于振荡。
（３）Boltzmann机(BM) 由Hinton等提出的，是建立在Hopfield网基础上的，具有学习能力，能够通过一个模拟退火过程寻求解答。不过，其训练时间比BP网络要长。
（４）反向传播(BP)网络 最初由Werbos开发的反向传播训练算法是一种迭代梯度算法，用于求解前馈网络的实际输出与期望输出间的最小均方差值。BP网是一种反向传递并能修正误差的多层映射网络。当参数适当时，此网络能够收敛到较小的均方差，是目前应用最广的网络之一。BP网的短处是训练时间较长，且易陷于局部极小。
（５）对流传播网络(CPN) 由Hecht-Nielson提出的，是一个通常由五层组成的连接网。CPN可用于联想存储，其缺点是要求较多的处理单元。
（６）Hopfield网 由Hopfield提出的，是一类不具有学习能力的单层自联想网络。Hopfield网模型由一组可使某个能量函数最小的微分方程组成。其短处为计算代价较高，而且需要对称连接。
（７）Madaline算法 是Adaline算法的一种发展，是一组具有最小均方差线性网络的组合，能够调整权值使得期望信号与输出间的误差最小。此算法是自适应信号处理和自适应控制的得力工具，具有较强的学习能力，但是输入输出之间必须满足线性关系。
（８）认知机(Neocogntion) 由Fukushima提出的，是至今为止结构上最为复杂的多层网络[20]。通过无师学习，认知机具有选择能力，对样品的平移和旋转不敏感。不过，认知机所用节点及其互连较多，参数也多且较难选取。
（９）感知器（Perceptron） 由Rosenblatt开发的，是一组可训练的分类器,为最古老的ANN之一，现已很少使用。
（１０）自组织映射网(SOM) 由Kohonen提出的，是以神经元自行组织以校正各种具体模式的概念为基础的。SOM能够形成簇与簇之间的连续映射，起到矢量量化器的作用。
根据W.T.Illingworth提供的综合资料，最典型的ＡＮＮ模型（算法）及其学习规则和应用领域如表5.1所列。

表5.1 人工神经网络的典型模型

模型名称 有师或无师 学习规则 正向或反向传播 应用领域
AG 无 Hebb律 反向 数据分类
SG 无 Hebb律 反向 信息处理
ART-I无 竞争律 反向 模式分类
DH 无 Hebb律 反向 语音处理
CH 无 Hebb/竞争律 反向 组合优化
BAM 无 Hebb/竞争律 反向 图象处理
AM 无 Hebb律 反向 模式存储
ABAM 无 Hebb律 反向 信号处理
CABAM 无 Hebb律 反向 组合优化
FCM 无 Hebb律 反向 组合优化
LM 有 Hebb律 正向 过程监控
DR 有 Hebb律 正向 过程预测，控制
LAM 有 Hebb律 正向 系统控制
OLAM 有 Hebb律 正向 信号处理
FAM 有 Hebb律 正向 知识处理
BSB 有 误差修正 正向 实时分类
Perceptron 有 误差修正 正向 线性分类，预测
Adaline/Madaline 有 误差修正 反向 分类，噪声抑制
BP 有 误差修正 反向 分类
AVQ 有 误差修正 反向 数据自组织
CPN 有 Hebb律 反向 自组织映射
BM 有 Hebb/模拟退火 反向 组合优化
CM 有 Hebb/模拟退火 反向 组合优化
AHC 有 误差修正 反向 控制
ARP 有 随机增大 反向 模式匹配，控制
SNMF 有 Hebb律 反向 语音/图象处理

    神经网络理论是巨量信息并行处理和大规模平行计算的基础，神经网络既是高度非线性动力学系统，又是自适应组织系统，可用来描述认知、决策及控制的智能行为．它的中心问题是:智能的认知和模拟．更重要的是它具有“认知”“意识”和“感情”等高级脑功能 ．它再一次拓展了计算概念的内涵，使神经计算、进化计算成为新的学科，神经网络的软件模拟得到了广泛的应用。
    第一个神经计算模型，即神经元的阈值元件模型，简称MP模型，他们认识到了模拟大脑可用于逻辑运行的网络，有一些结点，及结点与结点之间相互联系，构成一个简单神经网络模型．其主要贡献在于，结点的并行计算能力很强，为计算神经行为的某此方面提供了可能性 ，从而开创了神经网络的研究．这一革命性的思想，产生了很大影响． 发现了神经膜中所发生的非线性现象：自激振荡、混沌及多重稳定性等，
    在神经网络中，出现一种持续不衰减的周期性兴奋波，称为回响(reverberation)现象 ．人们关心的问题是产生回响的条件，网络的参数对回响的周期、幅度等性质的影响，以及 如何通过外部来控制回响波．从而利用神经网络的节律性，并解释脑电波中的α节律。
    1961 年意大利科学家Caianiello基于神经元模型，引入了不应期特性，提出一个神经方程式中1［.］是单位阶跃函数，Si是第i个神经元所受到的外界刺激，θi是第i个神经元的阈值，t-r是过去的某一时刻，H是影响网络所持续的最长时间，Wij(r)是影响权重，它有兴奋性和抑制性两种输入．该方程同时考虑神经元的空间和时间性质，而且取离散值，用网络内部结构不变的方式来描述神经网络中的回响现象．它的局限性在于，不能反映学习和记忆过程．由于该方程中出现一个非线性函数，所以用它研究回响现象时，就会遇到一个在非线性系统中求周期解的问题，而这是一个相当复杂的问题．随后，Caianiello根据Hebb假说，发展了他自己的模型，描述了学习和记忆过程中重复强化因素，以及遗忘过程为饱和性质，给出了一种记忆方程
    Willshaw等人提出了一种模型：存贮输入信号和只给出部分输入，恢复较完整的信号，即全息音( holophone)模型．这为利用光学原理实现神经网络奠定了理论基础，为全息图与联想记忆关系的本质问题的研究开辟了一条新途径．他认为网络计算过程实质上是一种坐标变换或是一种映射．他已对这类系统的结构和功能有比较清楚的认识．
    遗传算法是一种借鉴生物界自然选择和自然遗传机制的高度并行、随机、自适应搜索算法，从而开拓了神经网络理论的一个新的研究方向．
    1976年Grossberg提出自适应共振理论(ART)，这是感知器较完善的模型，即superrised学习方式．他与Carpen ter一起研究ART网络，它有两种结构ART1和ART2，能够识别或分类任意多个复杂的二元输入图像，其学习过程有自组织和自稳定的特征，一般认为它是一种先进的学习模型．
    Kohonen提出了自组织映射网络模型，映射具有拓扑性质，对一维、二维是正确的，并在计算机上进行了模拟，通过实例 所展示的自适应学习效果显著．他认为有可能推广到更高维的情况
    由于理想的神经元连接组成的理论模型也具有联想存储功能，因此特别有意义．Poggio等人以Marr视觉理论为基础，对视觉算法进行了研究，在1984 年和1985年他提出了初级视觉的正则化方法，使视觉计算的研究有了突破性进展．我国生物物理学家汪云九提出了视觉神经元的广义Gabor函数(EG)模型，以及有关立体视觉、纹理检测、运动方向检测、超视觉度现象的计算模型．汪云九等人还建立了初级视觉神经动力学框架，他们开辟了一条新的途径．提出了一种进化系统理论的形式模型，是一种遗传神经网络模型．他采用了Hebb权值修正规则，当一定的运动刺激模式作用后，系统通过进化，学会扫描和跟踪目标．该系统中关于群(group)的 作用，他早在1984年就阐述了，即神经模式的选择阶段是群限制、群选择和群竞争．
    神经网络的光学方法，能充分发挥光学强大的互连能力和并行处理能力，提高神经网络实现的规模，从而加强网络的自适应功能和学习功能，
    Wunsch 在90 OSA年会提出一种Annual Meeting，用光电执行ART，它的主要计算强度由光学硬件完成，光电ART单元的基本构件为双透镜组光学相关器，并采用光空间调节器完成二值纯相位滤波和输入图象的二维Fourier变换，它的学习过程有自适应滤波和推理功能，可以把光学有机组合在其中，具有快速和稳定的学习的特点，网络所需神经元数目大量减少，而且人为调节参数也减少很多．1995年Jenkins等人研究了光学神经网络(PNN)，建立了光学二维并行互连与电子学混合的光学神经网络系统，实现了光学神经元，它是解决光学实现相减和取阈问题的新动向．
    对于不变性模式识别机制的理解，是对理论家的一大挑战，尤其是对于多目标的旋转不变分类识别问题的研究，具有广泛的应用前景．最近，申金媛、母国光等人提出 一种新方法，即基于联想存储级联WTA模型的旋转不变识别．当识别多个模式时就可联想出一个模式，针对该问题，他们采用了全单极形式，对互连权重进行二值化截取，并把联想存储模型与WTA模型级联起来，从而提高了存储容量和容错性，实现了多目标旋转不变分类识别．他们选择四大类型飞行器作为仿真模拟，其方法可行和有效．
    Haken在1991年出版了一本论著Synergetic and Cognition：A Top-Down Approac h to Neural Nets．他把协同学引入神经网络．正如他认为的，这是研究和设计神经网络的一种新颖方法．在他的理论框架中，强调整体性，认知过程是自发模式形成的，并断言：模式识别就是模式形成．他提出了一个猜测：感知发动机模式的形成问题可以绕开模式识别．他仍在摸索着如何才能使这种方法识别情节性景象和处理多意模式．
    吴佑寿等人提出了一种激励函数可调的神经网络模型，对神经网络理论的发展有重要意义．可以认为，先验知识不充分利用岂不可惜 ，但问题是先验知识有时不一定抓住了实质，存在一定局限性．因此，在设计激励函数可调网络(TAF)时要谨慎．对模式识别中的手写汉字识别问题研究，有重要的理论和应用价值．郝红卫和戴汝为把统计识别方法与多层感知器网络综合起来，他们提出了一种网络集成法，对4个不同手写汉字分类器进行集成．这个方法有一定的推广性，对其它类似问题提供了一个范例．
    用积分器或微分器来体现系统的动态特性，并结合线性系统理论和方法，从而构成一种满足系统要求的复合控制器．可以说，这种控制策略具有一定代表性和启发性．
    1993年Yip和Pao提出了一种带区域指引的进化模拟退火算法，他们将进化策略引入区域指引，它经过选优过程，最终达到求解问题的目的．
    现有的一些神经网络模型并没有攻克组合爆炸问题，只是把计算量转交给了学习算法来完成。
    光学神经计算机具有神经元之间的连接不仅数量巨大而且结合强度可以动态控制，因为光波的传播无交叉失真，传播容量大，并可能实现超高速运算，这是一个重要的发展领域，其基础科学涉及到激光物理学、非线性光学、光紊乱现象分析等，这些与神经网络之间在数学构造上存在着类似性．近年来，人们采用交叉光互连技术，保证了它们之间没有串扰，它有着广阔的发展前景．在技术上主要有超高速、大规模的光连接问题和学习的收敛以及稳定性问题，可望使之得到突破性进展；
作者简介：刘永红，男，35岁，硕士生，讲师．研究领域为神经网络理论、智能控制等．
作者单位：武汉工业大学自动化系　武汉　430070
  [原创]关于BP网络优缺点的讨论  



关于BP网络优缺点的讨论

多层前向BP网络是目前应用最多的一种神经网络形式, 但它也不是非常完美的, 为了更好的理解应用神经网络进行问题求解, 这里对它的优缺点展开讨论:

多层前向BP网络的优点：
①网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能。这使得它特别适合于求解内部机制复杂的问题；
②网络能通过学习带正确答案的实例集自动提取“合理的”求解规则，即具有自学习能力；
③网络具有一定的推广、概括能力。

多层前向BP网络的问题：
①BP算法的学习速度很慢，其原因主要有：
a 由于BP算法本质上为梯度下降法，而它所要优化的目标函数又非常复杂，因此，必然会出现“锯齿形现象”，这使得BP算法低效；
b 存在麻痹现象，由于优化的目标函数很复杂，它必然会在神经元输出接近0或1的情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿；
c 为了使网络执行BP算法，不能用传统的一维搜索法求每次迭代的步长，而必须把步长的更新规则预先赋予网络，这种方法将引起算法低效。
②网络训练失败的可能性较大，其原因有：
a 从数学角度看，BP算法为一种局部搜索的优化方法，但它要解决的问题为求解复杂非线性函数的全局极值，因此，算法很有可能陷入局部极值，使训练失败；
b 网络的逼近、推广能力同学习样本的典型性密切相关，而从问题中选取典型样本实例组成训练集是一个很困难的问题。
③难以解决应用问题的实例规模和网络规模间的矛盾。这涉及到网络容量的可能性与可行性的关系问题，即学习复杂性问题；
④网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定。为此，有人称神经网络的结构选择为一种艺术。而网络的结构直接影响网络的逼近能力及推广性质。因此，应用中如何选择合适的网络结构是一个重要的问题；
⑤新加入的样本要影响已学习成功的网络，而且刻画每个输入样本的特征的数目也必须相同；
⑥网络的预测能力（也称泛化能力、推广能力）与训练能力（也称逼近能力、学习能力）的矛盾。一般情况下，训练能力差时，预测能力也差，并且一定程度上，随训练能力地提高，预测能力也提高。但这种趋势有一个极限，当达到此极限时，随训练能力的提高，预测能力反而下降，即出现所谓“过拟合”现象。此时，网络学习了过多的样本细节，而不能反映样本内含的规律。