脉冲神经网络原理及应用,脉冲神经网络发展前景

脉冲神经网络的简介

脉冲神经网络（SNN-SpikingNeuronNetworks)经常被誉为第三代人工神经网络。第一代神经网络是感知器，它是一个简单的神经元模型并且只能处理二进制数据。

第二代神经网络包括比较广泛，包括应用较多的BP神经网络。但是从本质来讲，这些神经网络都是基于神经脉冲的频率进行编码(ratecoded）。

脉冲神经网络，其模拟神经元更加接近实际，除此之外，把时间信息的影响也考虑其中。

思路是这样的，动态神经网络中的神经元不是在每一次迭代传播中都被激活（而在典型的多层感知机网络中却是），而是在它的膜电位达到某一个特定值才被激活。

当一个神经元被激活，它会产生一个信号传递给其他神经元，提高或降低其膜电位。

在脉冲神经网络中，神经元的当前激活水平（被建模成某种微分方程）通常被认为是当前状态，一个输入脉冲会使当前这个值升高，持续一段时间，然后逐渐衰退。

出现了很多编码方式把这些输出脉冲序列解释为一个实际的数字，这些编码方式会同时考虑到脉冲频率和脉冲间隔时间。借助于神经科学的研究，人们可以精确的建立基于脉冲产生时间神经网络模型。

这种新型的神经网络采用脉冲编码(spikecoding)，通过获得脉冲发生的精确时间，这种新型的神经网络可以进行获得更多的信息和更强的计算能力。

谷歌人工智能写作项目：爱发猫

脉冲神经网络的应用

脉冲神经网络大体上可以和传统的人工神经网络一样被用在信息处理中，而且脉冲神经网络可以对一个虚拟昆虫寻找食物的问题建模，而不需要环境的先验知识A8U神经网络。

并且，由于它更加接近现实的性能，使它可以用来学习生物神经系统的工作，电生理学的脉冲和脉冲神经网络在电脑上的模拟输出相比，决定了拓扑学和生物神经学的假说的可能性。

在实践中脉冲神经网络和已被证明的理论之间还存在一个主要的不同点。

脉冲神经网络已被证明在神经科学系统中有作用，而在工程学中还无建树，一些大规模的神经网络已经被审计来利用脉冲神经网络中发现的脉冲编码，这些网络根据储备池计算的原则，但是现实中，大规模的脉冲神经网络计算由于所需计算资源多而产能小被限制了，造成了只有很少的大规模脉冲神经网络被用来解决复杂的计算问题，而这些之前都是由第二代神经网络解决的。

第二代神经网络模型中难以加入时间，脉冲神经网络（特备当算法定义为离散时间时）相当容易观察其动力学特征。我们很难建立一个具有稳定行为的模型来实现一个特定功能。

脉冲神经网络的历史

AlanLloydHodgkin和AndrewHuxley在1952年提出了第一个脉冲神经网络模型，这个模型描述了动作电位是怎样产生并传播的。

但是，脉冲并不是在神经元之间直接传播的，它需要在突触间隙间交换一种叫“神经递质”的化学物质。这种生物体的复杂性和可变性导致了许多不同的神经元模型。

从信息论的观点来看，找到一种可以解释脉冲，也就是动作电位的模型是个问题。所以，神经科学的一个基本问题就是确定神经元是否通过时间编码来交流。时间编码表明单一的神经元可以取代上百个S型隐藏层节点。

脉冲神经网络和非脉冲神经网络各有什么优缺点

度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习的概念由Hinton等人于2006年提出，基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

系统地论述了神经网络的基本原理、方法、技术和应用，主要内容包括：神经信息处理的基本原理、感知器、反向传播网络、自组织网络、递归网络、径向基函数网络、核函数方法、神经网络集成、模糊神经网络、概率神经网络、脉冲耦合神经网络、神经场理论、神经元集群以及神经计算机。

每章末附有习题，书末附有详细的参考文献。神经网络是通过对人脑或生物神经网络的抽象和建模，研究非程序的、适应性的、大脑风格的信息处理的本质和能力。

它以脑科学和认知神经科学的研究成果为基础，拓展智能信息处理的方法，为解决复杂问题和智能控制提供有效的途径，是智能科学和计算智能的重要部分。

神经网络的发展趋势如何？

。

神经网络的云集成模式还不是很成熟，应该有发展潜力，但神经网络有自己的硬伤，不知道能够达到怎样的效果，所以决策支持系统中并不是很热门，但是神经网络无视过程的优点也是无可替代的，云网络如果能够对神经网络提供一个互补的辅助决策以控制误差的话，也许就能使神经网络成熟起来1人工神经网络产生的背景自古以来，关于人类智能本源的奥秘，一直吸引着无数哲学家和自然科学家的研究热情。

生物学家、神经学家经过长期不懈的努力，通过对人脑的观察和认识，认为人脑的智能活动离不开脑的物质基础，包括它的实体结构和其中所发生的各种生物、化学、电学作用，并因此建立了神经元网络理论和神经系统结构理论，而神经元理论又是此后神经传导理论和大脑功能学说的基础。

在这些理论基础之上，科学家们认为，可以从仿制人脑神经系统的结构和功能出发，研究人类智能活动和认识现象。

另一方面，19世纪之前，无论是以欧氏几何和微积分为代表的经典数学，还是以牛顿力学为代表的经典物理学，从总体上说，这些经典科学都是线性科学。

然而，客观世界是如此的纷繁复杂，非线性情况随处可见，人脑神经系统更是如此。复杂性和非线性是连接在一起的，因此，对非线性科学的研究也是我们认识复杂系统的关键。

为了更好地认识客观世界，我们必须对非线性科学进行研究。人工神经网络作为一种非线性的、与大脑智能相似的网络模型，就这样应运而生了。

所以，人工神经网络的创立不是偶然的，而是20世纪初科学技术充分发展的产物。2人工神经网络的发展人工神经网络的研究始于40年代初。半个世纪以来，经历了兴起、高潮与萧条、高潮及稳步发展的远为曲折的道路。

1943年，心理学家W.S.Mcculloch和数理逻辑学家W.Pitts提出了M—P模型，这是第一个用数理语言描述脑的信息处理过程的模型，虽然神经元的功能比较弱，但它为以后的研究工作提供了依据。

1949年，心理学家提出突触联系可变的假设，根据这一假设提出的学习规律为神经网络的学习算法奠定了基础。

1957年，计算机科学家Rosenblatt提出了著名的感知机模型，它的模型包含了现代计算机的一些原理，是第一个完整的人工神经网络，第一次把神经网络研究付诸工程实现。

由于可应用于模式识别，联想记忆等方面，当时有上百家实验室投入此项研究，美国军方甚至认为神经网络工程应当比“原子弹工程”更重要而给予巨额资助，并在声纳信号识别等领域取得一定成绩。

1960年，B.Windrow和E.Hoff提出了自适应线性单元，它可用于自适应滤波、预测和模式识别。至此，人工神经网络的研究工作进入了第一个高潮。

1969年，美国著名人工智能学者M.Minsky和S.Papert编写了影响很大的Perceptron一书，从理论上证明单层感知机的能力有限，诸如不能解决异或问题，而且他们推测多层网络的感知机能力也不过如此，他们的分析恰似一瓢冷水，很多学者感到前途渺茫而纷纷改行，原先参与研究的实验室纷纷退出，在这之后近10年，神经网络研究进入了一个缓慢发展的萧条期。

这期间，芬兰学者T.Kohonen提出了自组织映射理论，反映了大脑神经细胞的自组织特性、记忆方式以及神经细胞兴奋刺激的规律；美国学者S.A.Grossberg的自适应共振理论（ART）；日本学者K.Fukushima提出了认知机模型；ShunIchimari则致力于神经网络有关数学理论的研究等，这些研究成果对以后的神经网络的发展产生了重要影响。

美国生物物理学家J.J.Hopfield于1982年、1984年在美国科学院院刊发表的两篇文章，有力地推动了神经网络的研究，引起了研究神经网络的又一次热潮。

1982年，他提出了一个新的神经网络模型——hopfield网络模型。他在这种网络模型的研究中，首次引入了网络能量函数的概念，并给出了网络稳定性的判定依据。

1984年，他又提出了网络模型实现的电子电路，为神经网络的工程实现指明了方向，他的研究成果开拓了神经网络用于联想记忆的优化计算的新途径，并为神经计算机研究奠定了基础。

1984年Hinton等人将模拟退火算法引入到神经网络中，提出了Boltzmann机网络模型，BM网络算法为神经网络优化计算提供了一个有效的方法。

1986年，D.E.Rumelhart和J.LMcclelland提出了误差反向传播算法，成为至今为止影响很大的一种网络学习方法。

1987年美国神经计算机专家R.Hecht—Nielsen提出了对向传播神经网络，该网络具有分类灵活，算法简练的优点，可用于模式分类、函数逼近、统计分析和数据压缩等领域。

1988年L.Ochua等人提出了细胞神经网络模型，它在视觉初级加工上得到了广泛应用。为适应人工神经网络的发展，1987年成立了国际神经网络学会，并决定定期召开国际神经网络学术会议。

1988年1月NeuralNetwork创刊。1990年3月IEEETransactiononNeuralNetwork问世。

我国于1990年12月在北京召开了首届神经网络学术大会，并决定以后每年召开一次。1991年在南京成立了中国神经网络学会。IEEE与INNS联合召开的IJCNN92已在北京召开。

这些为神经网络的研究和发展起了推波助澜的作用，人工神经网络步入了稳步发展的时期。90年代初，诺贝尔奖获得者Edelman提出了Darwinism模型，建立了神经网络系统理论。

同年，Aihara等在前人推导和实验的基础上，给出了一个混沌神经元模型，该模型已成为一种经典的混沌神经网络模型，该模型可用于联想记忆。

Wunsch在90OSA年会上提出了一种AnnualMeeting，用光电执行ART，学习过程有自适应滤波和推理功能，具有快速和稳定的学习特点。

1991年，Hertz探讨了神经计算理论，对神经网络的计算复杂性分析具有重要意义；Inoue等提出用耦合的混沌振荡子作为某个神经元，构造混沌神经网络模型，为它的广泛应用前景指明了道路。

1992年，Holland用模拟生物进化的方式提出了遗传算法，用来求解复杂优化问题。1993年方建安等采用遗传算法学习，研究神经网络控制器获得了一些结果。

1994年Angeline等在前人进化策略理论的基础上，提出一种进化算法来建立反馈神经网络，成功地应用到模式识别，自动控制等方面；廖晓昕对细胞神经网络建立了新的数学理论和方法，得到了一系列结果。

HayashlY根据动物大脑中出现的振荡现象，提出了振荡神经网络。

1995年Mitra把人工神经网络与模糊逻辑理论、生物细胞学说以及概率论相结合提出了模糊神经网络，使得神经网络的研究取得了突破性进展。

Jenkins等人研究光学神经网络，建立了光学二维并行互连与电子学混合的光学神经网络，它能避免网络陷入局部最小值，并最后可达到或接近最理想的解；SoleRV等提出流体神经网络，用来研究昆虫社会，机器人集体免疫系统，启发人们用混沌理论分析社会大系统。

1996年，ShuaiJW’等模拟人脑的自发展行为，在讨论混沌神经网络的基础上提出了自发展神经网络。

1997、1998年董聪等创立和完善了广义遗传算法，解决了多层前向网络的最简拓朴构造问题和全局最优逼近问题。

随着理论工作的发展，神经网络的应用研究也取得了突破性进展，涉及面非常广泛，就应用的技术领域而言有计算机视觉，语言的识别、理解与合成，优化计算，智能控制及复杂系统分析，模式识别，神经计算机研制，知识推理专家系统与人工智能。

涉及的学科有神经生理学、认识科学、数理科学、心理学、信息科学、计算机科学、微电子学、光学、动力学、生物电子学等。美国、日本等国在神经网络计算机软硬件实现的开发方面也取得了显著的成绩，并逐步形成产品。

在美国，神经计算机产业已获得军方的强有力支持，国防部高级研究计划局认为“神经网络是解决机器智能的唯一希望”，仅一项8年神经计算机计划就投资4亿美元。

在欧洲共同体的ESPRIT计划中，就有一项特别项目：“神经网络在欧洲工业中的应用”，单是生产神经网络专用芯片这一项就投资2200万美元。据美国资料声称，日本在神经网络研究上的投资大约是美国的4倍。

我国也不甘落后，自从1990年批准了南开大学的光学神经计算机等3项课题以来，国家自然科学基金与国防预研基金也都为神经网络的研究提供资助。

另外，许多国际著名公司也纷纷卷入对神经网络的研究，如Intel、IBM、Siemens、HNC。神经计算机产品开始走向商用阶段，被国防、企业和科研部门选用。

在举世瞩目的海湾战争中，美国空军采用了神经网络来进行决策与控制。在这种刺激和需求下，人工神经网络定会取得新的突破，迎来又一个高潮。自1958年第一个神经网络诞生以来，其理论与应用成果不胜枚举。

人工神经网络是一个快速发展着的一门新兴学科，新的模型、新的理论、新的应用成果正在层出不穷地涌现出来。

3人工神经网络的发展前景针对神经网络存在的问题和社会需求，今后发展的主要方向可分为理论研究和应用研究两个方面。（1）利用神经生理与认识科学研究大脑思维及智能的机理、计算理论，带着问题研究理论。

人工神经网络提供了一种揭示智能和了解人脑工作方式的合理途径，但是由于人类起初对神经系统了解非常有限，对于自身脑结构及其活动机理的认识还十分肤浅，并且带有某种“先验”。

例如，Boltzmann机引入随机扰动来避免局部极小，有其卓越之处，然而缺乏必要的脑生理学基础，毫无疑问，人工神经网络的完善与发展要结合神经科学的研究。

而且，神经科学，心理学和认识科学等方面提出的一些重大问题，是向神经网络理论研究提出的新挑战，这些问题的解决有助于完善和发展神经网络理论。

因此利用神经生理和认识科学研究大脑思维及智能的机理，如有新的突破，将会改变智能和机器关系的认识。

利用神经科学基础理论的研究成果，用数理方法探索智能水平更高的人工神经网络模型，深入研究网络的算法和性能，如神经计算、进化计算、稳定性、收敛性、计算复杂性、容错性、鲁棒性等，开发新的网络数理理论。

由于神经网络的非线性，因此非线性问题的研究是神经网络理论发展的一个最大动力。

特别是人们发现，脑中存在着混沌现象以来，用混沌动力学启发神经网络的研究或用神经网络产生混沌成为摆在人们面前的一个新课题，因为从生理本质角度出发是研究神经网络的根本手段。

（2）神经网络软件模拟，硬件实现的研究以及神经网络在各个科学技术领域应用的研究。

由于人工神经网络可以用传统计算机模拟，也可以用集成电路芯片组成神经计算机，甚至还可以用光学的、生物芯片的方式实现，因此研制纯软件模拟，虚拟模拟和全硬件实现的电子神经网络计算机潜力巨大。

如何使神经网络计算机与传统的计算机和人工智能技术相结合也是前沿课题；如何使神经网络计算机的功能向智能化发展，研制与人脑功能相似的智能计算机，如光学神经计算机，分子神经计算机，将具有十分诱人的前景。

4哲理（1）人工神经网络打开了认识论的新领域认识与脑的问题，长期以来一直受到人们的关注，因为它不仅是有关人的心理、意识的心理学问题，也是有关人的思维活动机制的脑科学与思维科学问题，而且直接关系到对物质与意识的哲学基本问题的回答。

人工神经网络的发展使我们能够更进一步地既唯物又辩证地理解认识与脑的关系，打开认识论的新领域。

人脑是一个复杂的并行系统，它具有“认知、意识、情感”等高级脑功能，用人工进行模拟，有利于加深对思维及智能的认识，已对认知和智力的本质的研究产生了极大的推动作用。

在研究大脑的整体功能和复杂性方面，人工神经网络给人们带来了新的启迪。

由于人脑中存在混沌现象，混沌可用来理解脑中某些不规则的活动，从而混沌动力学模型能用作人对外部世界建模的工具，可用来描述人脑的信息处理过程。

混沌和智能是有关的，神经网络中引入混沌学思想有助于提示人类形象思维等方面的奥秘。

人工神经网络之所以再度兴起，关键在于它反映了事物的非线性，抓住了客观世界的本质，而且它在一定程度上正面回答了智能系统如何从环境中自主学习这一最关键的问题，从认知的角度讲，所谓学习，就是对未知现象或规律的发现和归纳。

由于神经网络具有高度的并行性，高度的非线性全局作用，良好的容错性与联想记忆功能以及十分强的自适应、自学习功能，而使得它成为揭示智能和了解人脑工作方式的合理途径。

但是，由于认知问题的复杂性，目前，我们对于脑神经网的运行和神经细胞的内部处理机制，如信息在人脑是如何传输、存贮、加工的？记忆、联想、判断是如何形成的？大脑是否存在一个操作系统？

还没有太多的认识，因此要制造人工神经网络来模仿人脑各方面的功能，还有待于人们对大脑信息处理机理认识的深化。

（2）人工神经网络发展的推动力来源于实践、理论和问题的相互作用随着人们社会实践范围的不断扩大，社会实践层次的不断深入，人们所接触到的自然现象也越来越丰富多彩、纷繁复杂，这就促使人们用不同的原因加以解释不同种类的自然现象，当不同种类的自然现象可以用同样的原因加以解释，这样就出现了不同学科的相互交叉、综合，人工神经网络就这样产生了。

在开始阶段，由于这些理论化的网络模型比较简单，还存在许多问题，而且这些模型几乎没有得到实践的检验，因而神经网络的发展比较缓慢。

随着理论研究的深入，问题逐渐地解决特别是工程上得到实现以后，如声纳识别成功，才迎来了神经网络的第一个发展高潮。

可Minisky认为感知器不能解决异或问题，多层感知器也不过如此，神经网络的研究进入了低谷，这主要是因为非线性问题没得到解决。

随着理论的不断丰富，实践的不断深入，现在已证明Minisky的悲观论调是错误的。今天，高度发达的科学技术逐渐揭示了非线性问题是客观世界的本质。

问题、理论、实践的相互作用又迎来了人工神经网络的第二次高潮。目前人工神经网络的问题是智能水平不高，还有其它理论和实现方面的问题，这就迫使人们不断地进行理论研究，不断实践，促使神经网络不断向前发展。

总之，先前的原因遇到了解释不同的新现象，促使人们提出更加普遍和精确的原因来解释。

理论是基础，实践是动力，但单纯的理论和实践的作用还不能推动人工神经网络的发展，还必须有问题提出，才能吸引科学家进入研究的特定范围，引导科学家从事相关研究，从而逼近科学发现，而后实践又提出新问题，新问题又引发新的思考，促使科学家不断思考，不断完善理论。

人工神经网络的发展无不体现着问题、理论和实践的辩证统一关系。

（3）人工神经网络发展的另一推动力来源于相关学科的贡献及不同学科专家的竞争与协同人工神经网络本身就是一门边缘学科，它的发展有更广阔的科学背景，亦即是众多科研成果的综合产物，控制论创始人Wiener在其巨著《控制论》中就进行了人脑神经元的研究；计算机科学家Turing就提出过B网络的设想；Prigogine提出非平衡系统的自组织理论，获得诺贝尔奖；Haken研究大量元件联合行动而产生宏观效果，非线性系统“混沌”态的提出及其研究等，都是研究如何通过元件间的相互作用建立复杂系统，类似于生物系统的自组织行为。

脑科学与神经科学的进展迅速反映到人工神经网络的研究中，例如生物神经网络理论，视觉中发现的侧抑制原理，感受野概念等，为神经网络的发展起了重要的推动作用。

从已提出的上百种人工神经网络模型中，涉及学科之多，令人目不暇接，其应用领域之广，令人叹为观止。不同学科专家为了在这一领域取得领先水平，存在着不同程度的竞争，所有这些有力地推动了人工神经网络的发展。

人脑是一个功能十分强大、结构异常复杂的信息系统，随着信息论、控制论、生命科学，计算机科学的发展，人们越来越惊异于大脑的奇妙，至少到目前为止，人类大脑信号处理机制对人类自身来说，仍是一个黑盒子，要揭示人脑的奥秘需要神经学家、心理学家、计算机科学家、微电子学家、数学家等专家的共同努力，对人类智能行为不断深入研究，为人工神经网络发展提供丰富的理论源泉。

另外，还要有哲学家的参与，通过哲学思想和自然科学多种学科的深层结合，逐步孕育出探索人类思维本质和规律的新方法，使思维科学从朦胧走向理性。

而且，不同领域专家的竞争与协调同有利于问题清晰化和寻求最好的解决途径。纵观神经网络的发展历史，没有相关学科的贡献，不同学科专家的竞争与协同，神经网络就不会有今天。

当然，人工神经网络在各个学科领域应用的研究反过来又推动其它学科的发展，推动自身的完善和发展。

脉冲耦合神经网络被称为第三代神经网络，那么第一代和第二代分别是什么？

如何评价浙大研制出国内首款支持脉冲神经网络的类脑芯片

第一，并没有太多的创新性。且不说国际上早有‘SNN（spikingneuralnetwork）’芯片，仅在国内，是不是国内首例都不好说，据我所知，清华也有课题组在做类似的芯片。

第二，在功能上没有大的突破。看浙大官方的新闻，该芯片“实现”的功能是“手写数字的识别和脑电波的解码”。业内人士应该都知道，这两项功能是机器学习领域已经玩儿烂的了，和SNN几乎没有一毛钱的关系。

第三，在算法上没有大的突破。具体的算法没有报道，但新闻上说，“最多可支持2048个神经元、400多万个神经突触及15个不同的突触延迟。

”我一看这神经元和突触比例吓一跳，原来是做了一个全连接的网络啊……并没有什么真实神经网络的算法引进。

而在制作工艺上，本研究采用传统的CMOS工艺，显然和IBM的研究不在一个时代（TrueNorth芯片里的神经元是百万级的）。

清华大学开发出的异构融合类脑计算芯片登上《自然》杂志的封面，这个芯片为什么那么厉害？

近日，清华大学类脑计算研究中心施路平教授团队展示了一辆自动驾驶自行车。这不是全球第一辆自动驾驶自行车。但它配备了一种人工智能芯片——神经形态计算机芯片——它可能是最接近于独立思考的机器。

该芯片是面向人工通用智能的世界首款异构融合类脑计算芯片，由清华大学依托精密仪器系的类脑计算研究中心的施路平教授团队研发，是世界上首个既支持脉冲神经网络又支持人工神经网路的人工智能芯片。

基于此研究成果的论文"面向人工通用智能的异构天机芯片架构"（TowardsartificialgeneralintelligencewithhybridTianjicchiparchitecture）作为封面文章登上了8月1日《自然》（Nature）杂志。

据了解，当前人工智能芯片主流研究方向可概括为深度学习加速器(支持人工神经网络)和类脑芯片(主要支持脉冲神经网络)。

但是由于算法和模型的差别，当前人工智能芯片均只支持人工神经网络或者脉冲神经网络，难以发挥计算机和神经科学两个领域的交叉优势。

而"天机芯"是世界首款异构融合类脑芯片，也是世界上第一个既可支持脉冲神经网络又可支持人工神经网络的人工智能芯片。

其实早在2015年，清华团队就完成了第一代"天机"芯片，2017年进化为第二代，速度更快，性能更高，功耗更低，相比于当前世界先进的IBMTrueNorth，也具备功能更全、灵活性、扩展更好的优点，密度高出20%，速度高出至少10倍，带宽高出至少100倍。