国内外神经网络研究现状,神经网络的发展现状

神经网络的发展历史

1943年，心理学家W·Mcculloch和数理逻辑学家W·Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型。此模型沿用至今，并且直接影响着这一领域研究的进展。

因而，他们两人可称为人工神经网络研究的先驱。1945年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。

1948年，他在研究工作中比较了人脑结构与存储程序式计算机的根本区别，提出了以简单神经元构成的再生自动机网络结构。

但是，由于指令存储式计算机技术的发展非常迅速，迫使他放弃了神经网络研究的新途径，继续投身于指令存储式计算机技术的研究，并在此领域作出了巨大贡献。

虽然，冯·诺依曼的名字是与普通计算机联系在一起的，但他也是人工神经网络研究的先驱之一。50年代末，F·Rosenblatt设计制作了“感知机”，它是一种多层的神经网络。

这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。当时，世界上许多实验室仿效制作感知机，分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研究。

然而，这次人工神经网络的研究高潮未能持续很久，许多人陆续放弃了这方面的研究工作，这是因为当时数字计算机的发展处于全盛时期，许多人误以为数字计算机可以解决人工智能、模式识别、专家系统等方面的一切问题，使感知机的工作得不到重视；其次，当时的电子技术工艺水平比较落后，主要的元件是电子管或晶体管，利用它们制作的神经网络体积庞大，价格昂贵，要制作在规模上与真实的神经网络相似是完全不可能的；另外，在1968年一本名为《感知机》的著作中指出线性感知机功能是有限的，它不能解决如异或这样的基本问题，而且多层网络还不能找到有效的计算方法，这些论点促使大批研究人员对于人工神经网络的前景失去信心。

60年代末期，人工神经网络的研究进入了低潮。另外，在60年代初期，Widrow提出了自适应线性元件网络，这是一种连续取值的线性加权求和阈值网络。后来，在此基础上发展了非线性多层自适应网络。

当时，这些工作虽未标出神经网络的名称，而实际上就是一种人工神经网络模型。随着人们对感知机兴趣的衰退，神经网络的研究沉寂了相当长的时间。

80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平，完全付诸实用化，此外，数字计算机的发展在若干应用领域遇到困难。这一背景预示，向人工神经网络寻求出路的时机已经成熟。

美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响。人们重新认识到神经网络的威力以及付诸应用的现实性。

随即，一大批学者和研究人员围绕着Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。

谷歌人工智能写作项目：小发猫

神经网络的发展趋势如何？

rfid。

神经网络的云集成模式还不是很成熟，应该有发展潜力，但神经网络有自己的硬伤，不知道能够达到怎样的效果，所以决策支持系统中并不是很热门，但是神经网络无视过程的优点也是无可替代的，云网络如果能够对神经网络提供一个互补的辅助决策以控制误差的话，也许就能使神经网络成熟起来1人工神经网络产生的背景自古以来，关于人类智能本源的奥秘，一直吸引着无数哲学家和自然科学家的研究热情。

生物学家、神经学家经过长期不懈的努力，通过对人脑的观察和认识，认为人脑的智能活动离不开脑的物质基础，包括它的实体结构和其中所发生的各种生物、化学、电学作用，并因此建立了神经元网络理论和神经系统结构理论，而神经元理论又是此后神经传导理论和大脑功能学说的基础。

在这些理论基础之上，科学家们认为，可以从仿制人脑神经系统的结构和功能出发，研究人类智能活动和认识现象。

另一方面，19世纪之前，无论是以欧氏几何和微积分为代表的经典数学，还是以牛顿力学为代表的经典物理学，从总体上说，这些经典科学都是线性科学。

然而，客观世界是如此的纷繁复杂，非线性情况随处可见，人脑神经系统更是如此。复杂性和非线性是连接在一起的，因此，对非线性科学的研究也是我们认识复杂系统的关键。

为了更好地认识客观世界，我们必须对非线性科学进行研究。人工神经网络作为一种非线性的、与大脑智能相似的网络模型，就这样应运而生了。

所以，人工神经网络的创立不是偶然的，而是20世纪初科学技术充分发展的产物。2人工神经网络的发展人工神经网络的研究始于40年代初。半个世纪以来，经历了兴起、高潮与萧条、高潮及稳步发展的远为曲折的道路。

1943年，心理学家W.S.Mcculloch和数理逻辑学家W.Pitts提出了M—P模型，这是第一个用数理语言描述脑的信息处理过程的模型，虽然神经元的功能比较弱，但它为以后的研究工作提供了依据。

1949年，心理学家提出突触联系可变的假设，根据这一假设提出的学习规律为神经网络的学习算法奠定了基础。

1957年，计算机科学家Rosenblatt提出了著名的感知机模型，它的模型包含了现代计算机的一些原理，是第一个完整的人工神经网络，第一次把神经网络研究付诸工程实现。

由于可应用于模式识别，联想记忆等方面，当时有上百家实验室投入此项研究，美国军方甚至认为神经网络工程应当比“原子弹工程”更重要而给予巨额资助，并在声纳信号识别等领域取得一定成绩。

1960年，B.Windrow和E.Hoff提出了自适应线性单元，它可用于自适应滤波、预测和模式识别。至此，人工神经网络的研究工作进入了第一个高潮。

1969年，美国著名人工智能学者M.Minsky和S.Papert编写了影响很大的Perceptron一书，从理论上证明单层感知机的能力有限，诸如不能解决异或问题，而且他们推测多层网络的感知机能力也不过如此，他们的分析恰似一瓢冷水，很多学者感到前途渺茫而纷纷改行，原先参与研究的实验室纷纷退出，在这之后近10年，神经网络研究进入了一个缓慢发展的萧条期。

这期间，芬兰学者T.Kohonen提出了自组织映射理论，反映了大脑神经细胞的自组织特性、记忆方式以及神经细胞兴奋刺激的规律；美国学者S.A.Grossberg的自适应共振理论（ART）；日本学者K.Fukushima提出了认知机模型；ShunIchimari则致力于神经网络有关数学理论的研究等，这些研究成果对以后的神经网络的发展产生了重要影响。

美国生物物理学家J.J.Hopfield于1982年、1984年在美国科学院院刊发表的两篇文章，有力地推动了神经网络的研究，引起了研究神经网络的又一次热潮。

1982年，他提出了一个新的神经网络模型——hopfield网络模型。他在这种网络模型的研究中，首次引入了网络能量函数的概念，并给出了网络稳定性的判定依据。

1984年，他又提出了网络模型实现的电子电路，为神经网络的工程实现指明了方向，他的研究成果开拓了神经网络用于联想记忆的优化计算的新途径，并为神经计算机研究奠定了基础。

1984年Hinton等人将模拟退火算法引入到神经网络中，提出了Boltzmann机网络模型，BM网络算法为神经网络优化计算提供了一个有效的方法。

1986年，D.E.Rumelhart和J.LMcclelland提出了误差反向传播算法，成为至今为止影响很大的一种网络学习方法。

1987年美国神经计算机专家R.Hecht—Nielsen提出了对向传播神经网络，该网络具有分类灵活，算法简练的优点，可用于模式分类、函数逼近、统计分析和数据压缩等领域。

1988年L.Ochua等人提出了细胞神经网络模型，它在视觉初级加工上得到了广泛应用。为适应人工神经网络的发展，1987年成立了国际神经网络学会，并决定定期召开国际神经网络学术会议。

1988年1月NeuralNetwork创刊。1990年3月IEEETransactiononNeuralNetwork问世。

我国于1990年12月在北京召开了首届神经网络学术大会，并决定以后每年召开一次。1991年在南京成立了中国神经网络学会。IEEE与INNS联合召开的IJCNN92已在北京召开。

这些为神经网络的研究和发展起了推波助澜的作用，人工神经网络步入了稳步发展的时期。90年代初，诺贝尔奖获得者Edelman提出了Darwinism模型，建立了神经网络系统理论。

同年，Aihara等在前人推导和实验的基础上，给出了一个混沌神经元模型，该模型已成为一种经典的混沌神经网络模型，该模型可用于联想记忆。

Wunsch在90OSA年会上提出了一种AnnualMeeting，用光电执行ART，学习过程有自适应滤波和推理功能，具有快速和稳定的学习特点。

1991年，Hertz探讨了神经计算理论，对神经网络的计算复杂性分析具有重要意义；Inoue等提出用耦合的混沌振荡子作为某个神经元，构造混沌神经网络模型，为它的广泛应用前景指明了道路。

1992年，Holland用模拟生物进化的方式提出了遗传算法，用来求解复杂优化问题。1993年方建安等采用遗传算法学习，研究神经网络控制器获得了一些结果。

1994年Angeline等在前人进化策略理论的基础上，提出一种进化算法来建立反馈神经网络，成功地应用到模式识别，自动控制等方面；廖晓昕对细胞神经网络建立了新的数学理论和方法，得到了一系列结果。

HayashlY根据动物大脑中出现的振荡现象，提出了振荡神经网络。

1995年Mitra把人工神经网络与模糊逻辑理论、生物细胞学说以及概率论相结合提出了模糊神经网络，使得神经网络的研究取得了突破性进展。

Jenkins等人研究光学神经网络，建立了光学二维并行互连与电子学混合的光学神经网络，它能避免网络陷入局部最小值，并最后可达到或接近最理想的解；SoleRV等提出流体神经网络，用来研究昆虫社会，机器人集体免疫系统，启发人们用混沌理论分析社会大系统。

1996年，ShuaiJW’等模拟人脑的自发展行为，在讨论混沌神经网络的基础上提出了自发展神经网络。

1997、1998年董聪等创立和完善了广义遗传算法，解决了多层前向网络的最简拓朴构造问题和全局最优逼近问题。

随着理论工作的发展，神经网络的应用研究也取得了突破性进展，涉及面非常广泛，就应用的技术领域而言有计算机视觉，语言的识别、理解与合成，优化计算，智能控制及复杂系统分析，模式识别，神经计算机研制，知识推理专家系统与人工智能。

涉及的学科有神经生理学、认识科学、数理科学、心理学、信息科学、计算机科学、微电子学、光学、动力学、生物电子学等。美国、日本等国在神经网络计算机软硬件实现的开发方面也取得了显著的成绩，并逐步形成产品。

在美国，神经计算机产业已获得军方的强有力支持，国防部高级研究计划局认为“神经网络是解决机器智能的唯一希望”，仅一项8年神经计算机计划就投资4亿美元。

在欧洲共同体的ESPRIT计划中，就有一项特别项目：“神经网络在欧洲工业中的应用”，单是生产神经网络专用芯片这一项就投资2200万美元。据美国资料声称，日本在神经网络研究上的投资大约是美国的4倍。

我国也不甘落后，自从1990年批准了南开大学的光学神经计算机等3项课题以来，国家自然科学基金与国防预研基金也都为神经网络的研究提供资助。

另外，许多国际著名公司也纷纷卷入对神经网络的研究，如Intel、IBM、Siemens、HNC。神经计算机产品开始走向商用阶段，被国防、企业和科研部门选用。

在举世瞩目的海湾战争中，美国空军采用了神经网络来进行决策与控制。在这种刺激和需求下，人工神经网络定会取得新的突破，迎来又一个高潮。自1958年第一个神经网络诞生以来，其理论与应用成果不胜枚举。

人工神经网络是一个快速发展着的一门新兴学科，新的模型、新的理论、新的应用成果正在层出不穷地涌现出来。

3人工神经网络的发展前景针对神经网络存在的问题和社会需求，今后发展的主要方向可分为理论研究和应用研究两个方面。（1）利用神经生理与认识科学研究大脑思维及智能的机理、计算理论，带着问题研究理论。

人工神经网络提供了一种揭示智能和了解人脑工作方式的合理途径，但是由于人类起初对神经系统了解非常有限，对于自身脑结构及其活动机理的认识还十分肤浅，并且带有某种“先验”。

例如，Boltzmann机引入随机扰动来避免局部极小，有其卓越之处，然而缺乏必要的脑生理学基础，毫无疑问，人工神经网络的完善与发展要结合神经科学的研究。

而且，神经科学，心理学和认识科学等方面提出的一些重大问题，是向神经网络理论研究提出的新挑战，这些问题的解决有助于完善和发展神经网络理论。

因此利用神经生理和认识科学研究大脑思维及智能的机理，如有新的突破，将会改变智能和机器关系的认识。

利用神经科学基础理论的研究成果，用数理方法探索智能水平更高的人工神经网络模型，深入研究网络的算法和性能，如神经计算、进化计算、稳定性、收敛性、计算复杂性、容错性、鲁棒性等，开发新的网络数理理论。

由于神经网络的非线性，因此非线性问题的研究是神经网络理论发展的一个最大动力。

特别是人们发现，脑中存在着混沌现象以来，用混沌动力学启发神经网络的研究或用神经网络产生混沌成为摆在人们面前的一个新课题，因为从生理本质角度出发是研究神经网络的根本手段。

（2）神经网络软件模拟，硬件实现的研究以及神经网络在各个科学技术领域应用的研究。

由于人工神经网络可以用传统计算机模拟，也可以用集成电路芯片组成神经计算机，甚至还可以用光学的、生物芯片的方式实现，因此研制纯软件模拟，虚拟模拟和全硬件实现的电子神经网络计算机潜力巨大。

如何使神经网络计算机与传统的计算机和人工智能技术相结合也是前沿课题；如何使神经网络计算机的功能向智能化发展，研制与人脑功能相似的智能计算机，如光学神经计算机，分子神经计算机，将具有十分诱人的前景。

4哲理（1）人工神经网络打开了认识论的新领域认识与脑的问题，长期以来一直受到人们的关注，因为它不仅是有关人的心理、意识的心理学问题，也是有关人的思维活动机制的脑科学与思维科学问题，而且直接关系到对物质与意识的哲学基本问题的回答。

人工神经网络的发展使我们能够更进一步地既唯物又辩证地理解认识与脑的关系，打开认识论的新领域。

人脑是一个复杂的并行系统，它具有“认知、意识、情感”等高级脑功能，用人工进行模拟，有利于加深对思维及智能的认识，已对认知和智力的本质的研究产生了极大的推动作用。

在研究大脑的整体功能和复杂性方面，人工神经网络给人们带来了新的启迪。

由于人脑中存在混沌现象，混沌可用来理解脑中某些不规则的活动，从而混沌动力学模型能用作人对外部世界建模的工具，可用来描述人脑的信息处理过程。

混沌和智能是有关的，神经网络中引入混沌学思想有助于提示人类形象思维等方面的奥秘。

人工神经网络之所以再度兴起，关键在于它反映了事物的非线性，抓住了客观世界的本质，而且它在一定程度上正面回答了智能系统如何从环境中自主学习这一最关键的问题，从认知的角度讲，所谓学习，就是对未知现象或规律的发现和归纳。

由于神经网络具有高度的并行性，高度的非线性全局作用，良好的容错性与联想记忆功能以及十分强的自适应、自学习功能，而使得它成为揭示智能和了解人脑工作方式的合理途径。

但是，由于认知问题的复杂性，目前，我们对于脑神经网的运行和神经细胞的内部处理机制，如信息在人脑是如何传输、存贮、加工的？记忆、联想、判断是如何形成的？大脑是否存在一个操作系统？

还没有太多的认识，因此要制造人工神经网络来模仿人脑各方面的功能，还有待于人们对大脑信息处理机理认识的深化。

（2）人工神经网络发展的推动力来源于实践、理论和问题的相互作用随着人们社会实践范围的不断扩大，社会实践层次的不断深入，人们所接触到的自然现象也越来越丰富多彩、纷繁复杂，这就促使人们用不同的原因加以解释不同种类的自然现象，当不同种类的自然现象可以用同样的原因加以解释，这样就出现了不同学科的相互交叉、综合，人工神经网络就这样产生了。

在开始阶段，由于这些理论化的网络模型比较简单，还存在许多问题，而且这些模型几乎没有得到实践的检验，因而神经网络的发展比较缓慢。

随着理论研究的深入，问题逐渐地解决特别是工程上得到实现以后，如声纳识别成功，才迎来了神经网络的第一个发展高潮。

可Minisky认为感知器不能解决异或问题，多层感知器也不过如此，神经网络的研究进入了低谷，这主要是因为非线性问题没得到解决。

随着理论的不断丰富，实践的不断深入，现在已证明Minisky的悲观论调是错误的。今天，高度发达的科学技术逐渐揭示了非线性问题是客观世界的本质。

问题、理论、实践的相互作用又迎来了人工神经网络的第二次高潮。目前人工神经网络的问题是智能水平不高，还有其它理论和实现方面的问题，这就迫使人们不断地进行理论研究，不断实践，促使神经网络不断向前发展。

总之，先前的原因遇到了解释不同的新现象，促使人们提出更加普遍和精确的原因来解释。

理论是基础，实践是动力，但单纯的理论和实践的作用还不能推动人工神经网络的发展，还必须有问题提出，才能吸引科学家进入研究的特定范围，引导科学家从事相关研究，从而逼近科学发现，而后实践又提出新问题，新问题又引发新的思考，促使科学家不断思考，不断完善理论。

人工神经网络的发展无不体现着问题、理论和实践的辩证统一关系。

（3）人工神经网络发展的另一推动力来源于相关学科的贡献及不同学科专家的竞争与协同人工神经网络本身就是一门边缘学科，它的发展有更广阔的科学背景，亦即是众多科研成果的综合产物，控制论创始人Wiener在其巨著《控制论》中就进行了人脑神经元的研究；计算机科学家Turing就提出过B网络的设想；Prigogine提出非平衡系统的自组织理论，获得诺贝尔奖；Haken研究大量元件联合行动而产生宏观效果，非线性系统“混沌”态的提出及其研究等，都是研究如何通过元件间的相互作用建立复杂系统，类似于生物系统的自组织行为。

脑科学与神经科学的进展迅速反映到人工神经网络的研究中，例如生物神经网络理论，视觉中发现的侧抑制原理，感受野概念等，为神经网络的发展起了重要的推动作用。

从已提出的上百种人工神经网络模型中，涉及学科之多，令人目不暇接，其应用领域之广，令人叹为观止。不同学科专家为了在这一领域取得领先水平，存在着不同程度的竞争，所有这些有力地推动了人工神经网络的发展。

人脑是一个功能十分强大、结构异常复杂的信息系统，随着信息论、控制论、生命科学，计算机科学的发展，人们越来越惊异于大脑的奇妙，至少到目前为止，人类大脑信号处理机制对人类自身来说，仍是一个黑盒子，要揭示人脑的奥秘需要神经学家、心理学家、计算机科学家、微电子学家、数学家等专家的共同努力，对人类智能行为不断深入研究，为人工神经网络发展提供丰富的理论源泉。

另外，还要有哲学家的参与，通过哲学思想和自然科学多种学科的深层结合，逐步孕育出探索人类思维本质和规律的新方法，使思维科学从朦胧走向理性。

而且，不同领域专家的竞争与协调同有利于问题清晰化和寻求最好的解决途径。纵观神经网络的发展历史，没有相关学科的贡献，不同学科专家的竞争与协同，神经网络就不会有今天。

当然，人工神经网络在各个学科领域应用的研究反过来又推动其它学科的发展，推动自身的完善和发展。

人工神经网络的发展

现代意义上对神经网络（特指人工神经网络）的研究一般认为从1943年美国芝加哥大学的生理学家W.S.McCulloch和W.A.Pitts提出M-P神经元模型开始，到今年正好六十年。

在这六十年中，神经网络的发展走过了一段曲折的道路。

1965年M.Minsky和S.Papert在《感知机》一书中指出感知机的缺陷并表示出对这方面研究的悲观态度，使得神经网络的研究从兴起期进入了停滞期，这是神经网络发展史上的第一个转折。

到了20世纪80年代初，J.J.Hopfield的工作和D.Rumelhart等人的PDP报告显示出神经网络的巨大潜力，使得该领域的研究从停滞期进入了繁荣期，这是神经网络发展史上的第二个转折。

到了20世纪90年代中后期，随着研究者们对神经网络的局限有了更清楚的认识，以及支持向量机等似乎更有前途的方法的出现，“神经网络”这个词不再象前些年那么“火爆”了。

很多人认为神经网络的研究又开始陷入了低潮，并认为支持向量机将取代神经网络。

有趣的是，著名学者C.-J.Lin于2003年1月在德国马克斯·普朗克研究所所做的报告中说，支持向量机虽然是一个非常热门的话题，但目前最主流的分类工具仍然是决策树和神经网络。

由著名的支持向量机研究者说出这番话，显然有一种特殊的意味。事实上，目前神经网络的境遇与1965年之后真正的低潮期相比有明显的不同。

在1965年之后的很长一段时期里，美国和前苏联没有资助任何一项神经网络的研究课题，而今天世界各国对神经网络的研究仍然有大量的经费支持；1965年之后90%以上的神经网络研究者改变了研究方向，而今天无论是国际还是国内都有一支相对稳定的研究队伍。

实际上，神经网络在1965年之后陷入低潮是因为当时该领域的研究在一定意义上遭到了否定，而今天的相对平静是因为该领域已经走向成熟，很多技术开始走进生产和生活，从而造成了原有研究空间的缩小。

在科学研究中通常有这么一个现象，当某个领域的论文大量涌现的时候，往往正是该领域很不成熟、研究空间很大的时候，而且由于这时候人们对该领域研究的局限缺乏清楚的认识，其热情往往具有很大的盲目性。

从这个意义上说，过去若干年里各领域研究者一拥而上、各种专业刊物满眼“神经网络”的风光，其实是一种畸形繁荣的景象，而对神经网络的研究现在才进入了一个比较理智、正常的发展期。

在这段时期中，通过对以往研究中存在的问题和局限进行反思，并适当借鉴相关领域的研究进展，将可望开拓新的研究空间，为该领域的进一步发展奠定基础。

人工神经网络的发展趋势

人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。

人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。

近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。

将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。

神经网络在很多领域已得到了很好的应用，但其需要研究的方面还很多。

其中，具有分布存储、并行处理、自学习、自组织以及非线性映射等优点的神经网络与其他技术的结合以及由此而来的混合方法和混合系统，已经成为一大研究热点。

由于其他方法也有它们各自的优点，所以将神经网络与其他方法相结合，取长补短，继而可以获得更好的应用效果。

目前这方面工作有神经网络与模糊逻辑、专家系统、遗传算法、小波分析、混沌、粗集理论、分形理论、证据理论和灰色系统等的融合。下面主要就神经网络与小波分析、混沌、粗集理论、分形理论的融合进行分析。

与小波分析的结合1981年，法国地质学家Morlet在寻求地质数据时，通过对Fourier变换与加窗Fourier变换的异同、特点及函数构造进行创造性的研究，首次提出了小波分析的概念，建立了以他的名字命名的Morlet小波。

1986年以来由于YMeyer、S.Mallat及IDaubechies等的奠基工作，小波分析迅速发展成为一门新兴学科。

Meyer所著的小波与算子，Daubechies所著的小波十讲是小波研究领域最权威的著作。小波变换是对Fourier分析方法的突破。

它不但在时域和频域同时具有良好的局部化性质，而且对低频信号在频域和对高频信号在时域里都有很好的分辨率，从而可以聚集到对象的任意细节。

小波分析相当于一个数学显微镜，具有放大、缩小和平移功能，通过检查不同放大倍数下的变化来研究信号的动态特性。因此，小波分析已成为地球物理、信号处理、图像处理、理论物理等诸多领域的强有力工具。

小波神经网络将小波变换良好的时频局域化特性和神经网络的自学习功能相结合，因而具有较强的逼近能力和容错能力。

在结合方法上，可以将小波函数作为基函数构造神经网络形成小波网络，或者小波变换作为前馈神经网络的输入前置处理工具，即以小波变换的多分辨率特性对过程状态信号进行处理，实现信噪分离，并提取出对加工误差影响最大的状态特性，作为神经网络的输入。

小波神经网络在电机故障诊断、高压电网故障信号处理与保护研究、轴承等机械故障诊断以及许多方面都有应用，将小波神经网络用于感应伺服电机的智能控制，使该系统具有良好的跟踪控制性能，以及好的鲁棒性，利用小波包神经网络进行心血管疾病的智能诊断，小波层进行时频域的自适应特征提取，前向神经网络用来进行分类，正确分类率达到94%。

小波神经网络虽然应用于很多方面，但仍存在一些不足。从提取精度和小波变换实时性的要求出发，有必要根据实际情况构造一些适应应用需求的特殊小波基，以便在应用中取得更好的效果。

另外，在应用中的实时性要求，也需要结合DSP的发展，开发专门的处理芯片，从而满足这方面的要求。混沌神经网络混沌第一个定义是上世纪70年代才被Li-Yorke第一次提出的。

由于它具有广泛的应用价值，自它出现以来就受到各方面的普遍关注。

混沌是一种确定的系统中出现的无规则的运动，混沌是存在于非线性系统中的一种较为普遍的现象，混沌运动具有遍历性、随机性等特点，能在一定的范围内按其自身规律不重复地遍历所有状态。

混沌理论所决定的是非线性动力学混沌，目的是揭示貌似随机的现象背后可能隐藏的简单规律，以求发现一大类复杂问题普遍遵循的共同规律。

1990年Kaihara、T.Takabe和M.Toyoda等人根据生物神经元的混沌特性首次提出混沌神经网络模型，将混沌学引入神经网络中，使得人工神经网络具有混沌行为，更加接近实际的人脑神经网络，因而混沌神经网络被认为是可实现其真实世界计算的智能信息处理系统之一，成为神经网络的主要研究方向之一。

与常规的离散型Hopfield神经网络相比较，混沌神经网络具有更丰富的非线性动力学特性，主要表现如下：在神经网络中引入混沌动力学行为；混沌神经网络的同步特性；混沌神经网络的吸引子。

当神经网络实际应用中，网络输入发生较大变异时，应用网络的固有容错能力往往感到不足，经常会发生失忆现象。

混沌神经网络动态记忆属于确定性动力学运动，记忆发生在混沌吸引子的轨迹上，通过不断地运动(回忆过程)一一联想到记忆模式，特别对于那些状态空间分布的较接近或者发生部分重叠的记忆模式，混沌神经网络总能通过动态联想记忆加以重现和辨识，而不发生混淆，这是混沌神经网络所特有的性能，它将大大改善Hopfield神经网络的记忆能力。

混沌吸引子的吸引域存在，形成了混沌神经网络固有容错功能。这将对复杂的模式识别、图像处理等工程应用发挥重要作用。

混沌神经网络受到关注的另一个原因是混沌存在于生物体真实神经元及神经网络中，并且起到一定的作用，动物学的电生理实验已证实了这一点。

混沌神经网络由于其复杂的动力学特性，在动态联想记忆、系统优化、信息处理、人工智能等领域受到人们极大的关注。

针对混沌神经网络具有联想记忆功能，但其搜索过程不稳定，提出了一种控制方法可以对混沌神经网络中的混沌现象进行控制。研究了混沌神经网络在组合优化问题中的应用。

为了更好的应用混沌神经网络的动力学特性，并对其存在的混沌现象进行有效的控制，仍需要对混沌神经网络的结构进行进一步的改进和调整，以及混沌神经网络算法的进一步研究。

基于粗集理论粗糙集(RoughSets)理论是1982年由波兰华沙理工大学教授Z.Pawlak首先提出，它是一个分析数据的数学理论，研究不完整数据、不精确知识的表达、学习、归纳等方法。

粗糙集理论是一种新的处理模糊和不确定性知识的数学工具，其主要思想就是在保持分类能力不变的前提下，通过知识约简，导出问题的决策或分类规则。

目前，粗糙集理论已被成功应用于机器学习、决策分析、过程控制、模式识别与数据挖掘等领域。

粗集和神经网络的共同点是都能在自然环境下很好的工作，但是，粗集理论方法模拟人类的抽象逻辑思维，而神经网络方法模拟形象直觉思维，因而二者又具有不同特点。

粗集理论方法以各种更接近人们对事物的描述方式的定性、定量或者混合性信息为输入，输入空间与输出空间的映射关系是通过简单的决策表简化得到的，它考虑知识表达中不同属性的重要性确定哪些知识是冗余的，哪些知识是有用的，神经网络则是利用非线性映射的思想和并行处理的方法，用神经网络本身结构表达输入与输出关联知识的隐函数编码。

在粗集理论方法和神经网络方法处理信息中，两者存在很大的两个区别：其一是神经网络处理信息一般不能将输入信息空间维数简化，当输入信息空间维数较大时，网络不仅结构复杂，而且训练时间也很长；而粗集方法却能通过发现数据间的关系，不仅可以去掉冗余输入信息，而且可以简化输入信息的表达空间维数。

其二是粗集方法在实际问题的处理中对噪声较敏感，因而用无噪声的训练样本学习推理的结果在有噪声的环境中应用效果不佳。而神经网络方法有较好的抑制噪声干扰的能力。

因此将两者结合起来，用粗集方法先对信息进行预处理，即把粗集网络作为前置系统，再根据粗集方法预处理后的信息结构，构成神经网络信息处理系统。

通过二者的结合，不但可减少信息表达的属性数量，减小神经网络构成系统的复杂性，而且具有较强的容错及抗干扰能力，为处理不确定、不完整信息提供了一条强有力的途径。

目前粗集与神经网络的结合已应用于语音识别、专家系统、数据挖掘、故障诊断等领域，将神经网络和粗集用于声源位置的自动识别，将神经网络和粗集用于专家系统的知识获取中，取得比传统专家系统更好的效果，其中粗集进行不确定和不精确数据的处理，神经网络进行分类工作。

虽然粗集与神经网络的结合已应用于许多领域的研究，为使这一方法发挥更大的作用还需考虑如下问题：模拟人类抽象逻辑思维的粗集理论方法和模拟形象直觉思维的神经网络方法更加有效的结合；二者集成的软件和硬件平台的开发，提高其实用性。

与分形理论的结合自从美国哈佛大学数学系教授BenoitB.Mandelbrot于20世纪70年代中期引入分形这一概念，分形几何学(Fractalgeometry)已经发展成为科学的方法论--分形理论，且被誉为开创了20世纪数学重要阶段。

现已被广泛应用于自然科学和社会科学的几乎所有领域，成为现今国际上许多学科的前沿研究课题之一。由于在许多学科中的迅速发展，分形已成为一门描述自然界中许多不规则事物的规律性的学科。

它已被广泛应用在生物学、地球地理学、天文学、计算机图形学等各个领域。

用分形理论来解释自然界中那些不规则、不稳定和具有高度复杂结构的现象，可以收到显著的效果，而将神经网络与分形理论相结合，充分利用神经网络非线性映射、计算能力、自适应等优点，可以取得更好的效果。

分形神经网络的应用领域有图像识别、图像编码、图像压缩，以及机械设备系统的故障诊断等。

分形图像压缩/解压缩方法有着高压缩率和低遗失率的优点，但运算能力不强，由于神经网络具有并行运算的特点，将神经网络用于分形图像压缩/解压缩中，提高了原有方法的运算能力。

将神经网络与分形相结合用于果实形状的识别，首先利用分形得到几种水果轮廓数据的不规则性，然后利用3层神经网络对这些数据进行辨识，继而对其不规则性进行评价。

分形神经网络已取得了许多应用，但仍有些问题值得进一步研究：分形维数的物理意义；分形的计算机仿真和实际应用研究。随着研究的不断深入，分形神经网络必将得到不断的完善，并取得更好的应用效果。?。

神经网络的历史是什么？

沃伦·麦卡洛克和沃尔特·皮茨（1943）基于数学和一种称为阈值逻辑的算法创造了一种神经网络的计算模型。这种模型使得神经网络的研究分裂为两种不同研究思路。

一种主要关注大脑中的生物学过程，另一种主要关注神经网络在人工智能里的应用。一、赫布型学习二十世纪40年代后期，心理学家唐纳德·赫布根据神经可塑性的机制创造了一种对学习的假说，现在称作赫布型学习。

赫布型学习被认为是一种典型的非监督式学习规则，它后来的变种是长期增强作用的早期模型。从1948年开始，研究人员将这种计算模型的思想应用到B型图灵机上。

法利和韦斯利·A·克拉克（1954）首次使用计算机，当时称作计算器，在MIT模拟了一个赫布网络。纳撒尼尔·罗切斯特（1956）等人模拟了一台IBM704计算机上的抽象神经网络的行为。

弗兰克·罗森布拉特创造了感知机。这是一种模式识别算法，用简单的加减法实现了两层的计算机学习网络。罗森布拉特也用数学符号描述了基本感知机里没有的回路，例如异或回路。

这种回路一直无法被神经网络处理，直到保罗·韦伯斯(1975)创造了反向传播算法。在马文·明斯基和西摩尔·派普特（1969）发表了一项关于机器学习的研究以后，神经网络的研究停滞不前。

他们发现了神经网络的两个关键问题。第一是基本感知机无法处理异或回路。第二个重要的问题是电脑没有足够的能力来处理大型神经网络所需要的很长的计算时间。

直到计算机具有更强的计算能力之前，神经网络的研究进展缓慢。二、反向传播算法与复兴后来出现的一个关键的进展是保罗·韦伯斯发明的反向传播算法（Werbos1975）。

这个算法有效地解决了异或的问题，还有更普遍的训练多层神经网络的问题。在二十世纪80年代中期，分布式并行处理（当时称作联结主义）流行起来。

戴维·鲁姆哈特和詹姆斯·麦克里兰德的教材对于联结主义在计算机模拟神经活动中的应用提供了全面的论述。神经网络传统上被认为是大脑中的神经活动的简化模型，虽然这个模型和大脑的生理结构之间的关联存在争议。

人们不清楚人工神经网络能多大程度地反映大脑的功能。

支持向量机和其他更简单的方法（例如线性分类器）在机器学习领域的流行度逐渐超过了神经网络，但是在2000年代后期出现的深度学习重新激发了人们对神经网络的兴趣。

三、2006年之后的进展人们用CMOS创造了用于生物物理模拟和神经形态计算的计算设备。最新的研究显示了用于大型主成分分析和卷积神经网络的纳米设备具有良好的前景。

如果成功的话，这会创造出一种新的神经计算设备，因为它依赖于学习而不是编程，并且它从根本上就是模拟的而不是数字化的，虽然它的第一个实例可能是数字化的CMOS设备。

在2009到2012年之间，JürgenSchmidhuber在SwissAILabIDSIA的研究小组研发的循环神经网络和深前馈神经网络赢得了8项关于模式识别和机器学习的国际比赛。

例如，AlexGravesetal.的双向、多维的LSTM赢得了2009年ICDAR的3项关于连笔字识别的比赛，而且之前并不知道关于将要学习的3种语言的信息。

IDSIA的DanCiresan和同事根据这个方法编写的基于GPU的实现赢得了多项模式识别的比赛，包括IJCNN2011交通标志识别比赛等等。

他们的神经网络也是第一个在重要的基准测试中（例如IJCNN2012交通标志识别和NYU的扬·勒丘恩（YannLeCun）的MNIST手写数字问题）能达到或超过人类水平的人工模式识别器。

类似1980年KunihikoFukushima发明的neocognitron和视觉标准结构（由DavidH.Hubel和TorstenWiesel在初级视皮层中发现的那些简单而又复杂的细胞启发）那样有深度的、高度非线性的神经结构可以被多伦多大学杰弗里·辛顿实验室的非监督式学习方法所训练。

2012年，神经网络出现了快速的发展，主要原因在于计算技术的提高，使得很多复杂的运算变得成本低廉。以AlexNet为标志，大量的深度网络开始出现。

2014年出现了残差神经网络，该网络极大解放了神经网络的深度限制，出现了深度学习的概念。

构成典型的人工神经网络具有以下三个部分：1、结构（Architecture）结构指定了网络中的变量和它们的拓扑关系。

例如，神经网络中的变量可以是神经元连接的权重（weights）和神经元的激励值（activitiesoftheneurons）。

2、激励函数（ActivationRule）大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。

一般激励函数依赖于网络中的权重（即该网络的参数）。3、学习规则（LearningRule）学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。

一般情况下，学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。例如，用于手写识别的一个神经网络，有一组输入神经元。输入神经元会被输入图像的数据所激发。

在激励值被加权并通过一个函数（由网络的设计者确定）后，这些神经元的激励值被传递到其他神经元。这个过程不断重复，直到输出神经元被激发。最后，输出神经元的激励值决定了识别出来的是哪个字母。

神经网络计算机的发展历程

早在40年代，McCulloch和Pitts就已开始了以神经元作为逻辑器件的研究。

60年代，Rosenblatt提出了模拟学习和识别功能的“感知机”模型，其构造和规则曾轰动一时，但终因此类机器严格的局限性而很快冷落下来。到1982年，Hopfield提出了一种新的理论模型。

这一模型简明地反映了大脑神经系统的分布式记忆存储、内容寻址、联想以及局部细胞损坏不灵敏等特性。

与此同时，神经网络在解决“推销员旅行”问题、语音识别、音乐片断的学习创作、英语智能读音系统等方面，都取得了令人鼓舞的结果。

因此人工神经网络的研究热潮在80年代初期又重新兴起，成为多学科共同关注的跨学科新领域。不同学科研究神经网络的方法虽不尽相同，但目的都是为了探索大脑智能的机制和实现智能计算机。

人工神经网络研究的进展，使研制神经网络计算机的历史任务落到了现代高科技的面前。这是社会对智能计算机的迫切需要。

国内外人工神经网络的研究现状

基于人工神经网络的土坝病害诊断知识获取方法摘要：以土坝测压管水位异常诊断为实例，对反向传播(BP)神经网络进行训练，然后通过典型示例经网络计算生成显式的诊断规则，为专家系统诊断推理时直接调用。

该方法是土坝病害诊断知识获取的一种新方法，是对传统知识获取方式的拓展和补充。

关键词：土坝；病害诊断；测压管异常；神经网络；知识获取我国目前已修建各种类型水库8.6万余座（是世界水库最多的国家之一），大中型水闸7.6万座，河道堤防20多万公里。

这些水利工程和设施所发挥的巨大作用和效益大大促进了社会和经济的发展。

然而从另一方面还应看到，在已建的水利工程中尚存许多不安全因素，由于修建当时的经济、技术条件限制以及其它一些因素的影响，使很多工程存在病害或隐患，另外，由于长期受各种自然或人为因素影响，加之年久失修，管理跟不上，老化现象也很严重，很大程度上影响了工程正常运行和效益的发挥，有些工程因此而失事。

仅就土石坝而，历年累积溃坝率就高达3.4%。因此如何准确、及时地诊断出建筑物的隐患和病害，并对建筑物的安全性做出合理科学的评价意义十分重大。是当前水利工程管理中亟待解决的一项重要课题。

水工建筑物的病害诊断是一项非常复杂的工作，需要有丰富经验的专家才能胜任。

解决上述问题的一个好的办法是在做好监测的基础上，把专家经验、人工智能（AI）技术、计算机应用技术以及数值分析计算等有机结合起来，建造专家系统（ExpertSystem简称：ES）。

而专家系统开发中最关键的“瓶颈”问题就是知识获取，它既包括知识的体系结构、内容等难于获取，也包括推理规则中的推理参数（如可信度）难以确定等。

笔者以土坝为研究对象开发了具有学习功能的土坝病害诊断专家系统ESLEDFDS[1,2]，在系统开发中为解决知识获取问题，采取了传统的访谈（Interview）式的知识获取与从病害工程实例中抽取知识（事例学习）相结合的形式。

实践证明该形式效果良好。论文将以土坝测压管水位异常诊断知识的获取为例，介绍一种基于人工神经网络事例学习的土坝病害诊断知识的获取方法。

1知识源分析及知识获取方法的选择土坝病害诊断的知识源主要有3个：（1）坝工诊断专家。大量的经验性知识存在于专家的大脑中，具有专有性和潜在性等特点。

有时连专家本人也不容易系统地总结、归纳自己的知识，而且不易做出解释。这也就决定了它的难于获取，但它是ES知识的主要来源。（2）相关文献资料。文献资料作为一种信息载体，包含了大量理论和经验知识。

其特点是量大、分散。而且，由于不同的文献来源于不同的著者，对同一问题的看法和分析结果可能有所差异，甚至相悖，所以有助于消除单个专家知识的片面性。

但从大量分散的文献中抽取ES知识库所需的知识和方法，需经反复分析比较。（3）实例。

一般情况下，专家头脑中知识的存储往往是片断的、非系统的，以访谈的形式，让专家叙述自己的知识时，一个个片断很难一下子系统地组织起来。

而一旦真正面对实际问题（实例）坝工诊断专家却能够作很好的分析，说明这种刺激能使专家自觉或不自觉地去组织自己的知识。

所以，同专家一同分析实例，可以了解专家的推理过程及所用知识，同时，经过专家分析的工程实例中蕴涵了专家的经验知识和推理判断，并且大多实例分析结果的正确与否已经得到实际验证。

因此，实例是一种非常重要的知识源，可以通过一些模型、方法对实例进行学习，提炼出蕴涵在实例中的诊断知识。笔者在ESLEDFDS的知识获取中综合利用了以上3种知识源。

通过走访专家、同专家一起分析文献资料，把诊断知识整理成一条条规则，存储于外部知识库中。此外，为补充专家经验知识的不足，还对收集的80余例土坝病害实例，应用人工神经元网络进行了事例学习和新规则生成。

......。

我国人工智能的发展现状

经过多年的持续积累，我国在人工智能领域取得重要进展，国际科技论文发表量和发明专利授权量已居世界第二，部分领域核心关键技术实现重要突破。

语音识别、视觉识别技术世界领先，自适应自主学习、直觉感知、综合推理、混合智能和群体智能等初步具备跨越发展的能力，中文信息处理、智能监控、生物特征识别、工业机器人、服务机器人、无人驾驶逐步进入实际应用，人工智能创新创业日益活跃，一批龙头骨干企业加速成长，在国际上获得广泛关注和认可。

加速积累的技术能力与海量的数据资源、巨大的应用需求、开放的市场环境有机结合，形成了我国人工智能发展的独特优势。

与此同时，我国人工智能整体发展水平与发达国家相比仍存在差距，缺少重大原创成果，在基础理论、核心算法以及关键设备、高端芯片、重大产品与系统、基础材料、元器件、软件与接口等方面差距较大。

科研机构和企业尚未形成具有国际影响力的生态圈和产业链，缺乏系统的超前研发布局；人工智能尖端人才远远不能满足需求；适应人工智能发展的基础设施、政策法规、标准体系亟待完善。

人工智能领域技术能力全面提升为人机协同奠定基础 随着大数据、云计算、互联网、物联网等信息技术的发展，以深度神经网络为代表的人工智能技术飞速发展，人工智能领域科学与应用的鸿沟正在被突破。

图像分类、语音识别、知识问答、人机对弈、无人驾驶等人工智能技术能力快速提升，技术的产业化进程得以开启，人工智能迎来爆发式增长的新高潮。

机器在人工智能技术的应用下，在“视觉”“听觉”“触觉”等人体感官的感知能力不断增强。

例如计算机视觉领域中深受关注的ImageNet图像识别挑战赛获奖结果表明，2015年，计算机对于图像的识别能力已经超过人类水平，这意味着计算机能够在多种场景下一定程度上替代人类视觉的工作，更高效地完成任务。

同时得益于深度学习算法能力的提升，语音识别、自然语言处理等人工智能算法的不断革新助推计算机视觉产业持续向前。人工智能技术能力的不断成熟使得机器能够实现越来越人性化的操作。

人工智能技术能力的全面提升为人机系统的能力实现奠定了坚实的基础。

神经网络发展的前景怎样？人工智能能不能在深入发展？

人工神经网络的预测发展现状？

。

这个问题问得好,人工神经网络是将来的一个趋势,但是,这也不是一个近期能够做得完善的一件事情.虹膜显示器，也就是人工神经网络的一个结晶，所谓虹膜就是在人的眼晴的视网膜上显示计算机的数据，从而取代显示器．这是美国现在已经正在开发过程中的一项基于人工神经网络的技术．。