施路平教授：面向人工通用智能的类脑计算

在2019年10月31日的北京智源大会“智能体系架构与芯片专题论坛”中，清华大学类脑计算研究中心主任施路平教授为我们分享了题为《面向人工通用智能的类脑计算》的主题演讲。

在演讲中，施路平将天机芯背后的机理——类脑计算，作为实现通用人工智能的解决方案，即将脑的基本原理同现有计算机体系结构相整合，从而实现了：既充分挖掘了现有计算机系统利用时间复杂性处理结构化问题的优势，同时整合了脑计算中利用时空复杂性的优势，来解决通用人工智能中的“非结构化”和“不确定性”问题。

回顾2019年的中国智能芯片领域，施路平团队“天机芯”荣登自然杂志封面无疑是最具影响力的事件之一，而施路平的这次演讲，也是他去年为数不多的公开亮相中，阐释天机芯、类脑计算原理以及相关研究心路历程较为详细的一次，在2020年新年已来之际，我们特别整理了这次演讲的精彩要点，希望为大家思考类脑芯片在未来的发展脉络提供有益的参考。接下来，让我们以施路平的演讲逻辑和要点为线索，步入类脑计算的世界吧。

图1：北京智源大会上的施路平

整理：小蔡

编辑：王炜强

01

人工通用智能

是未来的发展方向

图2：柯洁与Alphago围棋对弈（左）Project Debater对战世界级辩手（右）

众所周知，人工智能正在加速发展。从2017年Google的人工智能围棋程序AlphaGo碾压人类顶尖棋手柯洁[1]，到2018年IBM的人工智能辩论程序Project Debater击败来自以色列的世界级辩手Dan Zafrir和Noa Ovadia[2]，人们已经开始担心：人工智能是否会超越人类智能？但施路平指出，尽管人工智能已取得很大成绩，仍然存在很多的瓶颈，离赶超人类智能还有漫长的距离。主要原因在于，目前的人工智能成果大都是“狭隘”的，即面向特定任务，只能解决特定问题，而且须满足张钹院士所总结的5个约束条件：充足的数据、确定性问题、完备的知识、静态的环境、单一的系统。 这 5 个条件里任何一个条件不满足，目前的人工智能做起来就非常困难了。施路平举例说，如果让一个智能机器人从这里出去，如果不进行事先编程，它是做不到的，为什么？因为人用了几年的时间建立起这些概念：“在哪里”、“怎么出去”、“走门还是窗”等，都与我们人类的通用智能有关。因此，施路平指出，人工智能的未来发展必将从“狭隘”的弱人工智能走向更具鲁棒性与通用性的人工通用智能（Artificial General Intelligence，简称AGI）。

图3：人工智能的挑战与未来方向

关于人工通用智能，据编辑了解，它来源于早期人工智能研究者提出的“制造可与人类相媲美的思维机器”这一终极目标，研究内容主要包括科学理论与工程技术两个方面，即关于人工通用智能的基础理论、形式化模型与计算机实现等。自上个世纪50年代以来，有不少野心勃勃的研究项目试图在不同的抽象层次上实现这一目标，但都失败了，其中包括通用问题求解器（General Problem Solver）、日本的第五代机系统（5thGeneration Computer Systems）等。后来，主流人工智能研究逐渐避离以通用智能系统为目标，转向为特定领域和特定问题寻求解决方案并取得不少研究成果。但这些人工智能成果大都依赖于事先编程与人工采集训练数据来掌握某种特定任务，并没有太多其他的能力。直到2008年左右才又陆续出现一些具有相似研究愿景的人工智能团队，如Google的子公司DeepMind。

施路平认为，DeepMind是目前在人工通用智能方面做得最好的人工智能公司。该公司强调智能系统的通用性特质，试图用10年时间打造可媲美人类智能的人工通用智能框架，赋能各行各业。公司创始人戴密斯·哈萨比斯(Demis Hassabis)是一个难得的多学科复合型人才，17岁进入剑桥大学攻读数学、计算机科学双学位，之后又进入伦敦大学攻读神经科学博士。通过创始人的背景和视野，我们也不难理解缘何DeepMind公司从一开始就采用了脑科学、神经科学与计算机科学交叉融合的思路，来推动人工智能算法与系统研究，并取得了突破性的研究成果。

图4：Deepmind创始人戴密斯·哈萨比斯(DemisHassabis)

关于发展人工通用智能的方法，施路平介绍说，目前主流研究思路有两种：一是从计算机科学的角度出发，借鉴大脑的分层处理机制与学习训练特性，基于冯诺依曼体系结构的人工神经网络与深度学习方法；二是从脑科学研究出发，采用微纳光电器件模拟生物神经元和突触的信息处理特性，采用神经形态芯片与脉冲神经网络替代冯诺依曼体系结构，基于众核分布并行与存储处理一体化架构的类脑计算方法。相对而言，目前前者是研究热点，但后者在施路平看来更具优势，意义更深远。

图5：类脑计算的优势

施路平认为，与计算机方法相比，类脑计算方法在能耗、多路并行与处理不确定性问题等方面具有更大的优势。目前生物大脑的解析步伐正在加快，未来10年有望实现高等动物全脑解析。而在类脑计算机实现方面，纳米级别的人造突触和人造神经元的出现,有望掀起一场计算机的新革命。最近图灵奖得主、计算机体系结构宗师DavidPatterson与John Hennessy在Communicationsof the ACM上发表长文指出“在摩尔定律走向终点的同时，体系结构正在闪耀新的活力——以TPU为代表的领域特定架构(Domain Specific Architectures, DSA) 兴起...未来将是计算机体系结构的黄金十年。”[3]施路平坚信，类脑计算将成为人工通用智能的基石。

图6：图灵奖得主、计算机体系结构宗师David Patterson与John Hennessy

02

类脑计算

是人工通用智能的基石

类脑计算的概念最早是由加州理工Carver Mead于1989年出的，但当时摩尔定律持续发展（基于冯诺依曼架构的处理器主频与性能持续增长），相关研究并没有引起太多关注。直到2004年单核处理器主频停止增长，人们开始转向多核，寻求非冯诺依曼架构的替代技术，类脑计算才开始引起关注。随后，世界各国相继开展脑计划研究并取得一系列阶段性成果。

2004年，美国Stanford大学教授Kwabena Boahen(Carver Mead的学生)研制出基于模拟电路的类脑芯片Neurogrid[4]；2005年欧盟启动FACETS项目，德国海德堡大学牵头研制基于模拟混合信号(AMS)神经形态芯片；同年，英国曼彻斯特大学基于ARM开始研制支持脉冲神经网络的多核超级计算机SpiNNaker[5]。美国DARPA启动SyNAPSE项目，支持IBM与多家合作单位联合研发类脑芯片模拟大规模仿生神经网络；2008年惠普公司实现忆阻器(memristor)原型，能够模拟神经突触功能,并展示了首个忆阻器与硅材料的混合电路, 全球人造突触热潮兴起。

2011年欧盟启动BrainScaleS[6]项目研发大规模并行类脑计算机，后来又启动了人类大脑计划HBP，该计划包括6个平台：神经信息学平台、医学信息学平台、脑仿真平台、高性能计算平台、类脑计算平台与神经机器人平台等。2014年IBM的 SyNAPSE项目推出TrueNorth芯片[7]，包含54亿个半导体，功耗只有 70mW，比半导体数量相当的传统CPU功耗低5000倍左右。实现的一个用于视觉对象检测的应用系统,包含300万个神经元,功耗只有200mW。2016年3月欧盟宣布把刚刚建成的两套类脑计算机通过互联网对外开放使用，以支持神经微回路模拟以及在机器学习和认知计算中应用类脑原理的相关研究。这两套系统即德国海德堡大学的BrainScaleS系统[7]和英国曼彻斯特大学的SpiNNaker系统[6]。

图7：类脑计算系统

施路平指出，如果从历史上往回看，2016年实际上是类脑计算机发展的元年，全球有三套类脑计算系统上线，但每个系统都采用了不同的研究思路与研究架构。由于这个领域正处于飞速发展的阶段，目前还没有形成公认的技术方案。因此，从做研究的角度来说，现在是最好的研究切入点。

图8：典型类脑计算研究团队

不理解人脑凭什么可以制造出类脑计算机？施路平分享经验说，“关于这个问题我们思考了很久，后来我们得到答案“。计算机是把一个多元空间的信息转换成“010101”这样一种信息，用计算来解决，那么计算的CPU主频越来越快，换句话说，用的是时间复杂度的问题，当你缩维度的时候相关性会丢失。我们不知道脑的基本原理，但我们知道一个神经元接一千到一万个神经元，换句话说，我们在这里把信息扩充了，把相关性增强了，我们用的是空间复杂度。另外我们脑还有脉冲来编码，引进了时间的因素，我们还利用了时空复杂度，所以我们设想保持现在的计算机所有的优点，保持时间复杂度的同时，增加一块类脑芯片，即增加了空间复杂度。如果我们以这种观点来看现在的技术就会发现，现在的神经网络加速器，是面向深度人工神经网络，利用的就是空间复杂度；而向脑一样工作的神经形态计算，面向的是脉冲神经网络，利用的是时空复杂度，那何不把两种结合起来？这就是2019年 8 月 1 日发表在《Nature》上的“天机芯”类脑计算架构，即融合脑科学与计算机科学的异构融合类脑计算架构。[8]

、

图9：基于空间复杂性和时空复杂性芯片路线

 

03

天机芯—融合脑科学

与计算机科学的新型类脑计算架构

图10：天机芯片单片（左）和5x5阵列扩展板（右）

施路平介绍说，深度学习加速器 (支持人工神经网络) 和类脑芯片(支持脉冲神经网络)已成为当前人工智能芯片代表性工作的两个主流方向，但由于算法和模型的巨大差别，当前人工智能芯片均只支持人工神经网络或者脉冲神经网络，难以发挥计算机和神经科学两个领域的交叉优势。“天机芯”作为世界首款异构融合类脑芯片，采用了多层次异构融合的类脑计算芯片架构，用现有计算机处理结构化信息，采用类脑计算处理非结构化信息，整体设计既体现了脑与电脑的异构融合、计算与存储的异构融合，又体现编码了的多样性、精确与近似的统一等人脑思维特性，可同时高效运行计算机科学和神经科学导向的绝大多数神经网络模型，支持异构网络的混合建模，形成浑然一体的空域和时空域协调调度系统，既能降低能耗，提高速度，又能保持高准确度。相比于IBM的TrueNorth 芯片，TrueNorth的面积为 430平方毫米，内置 100 万个模拟神经元。“天机芯”的面积为14.4平方毫米，内置4万个神经元，密度提升了20%，速度提高至少10倍，带宽提高至少100倍，能更好地满足人工智能计算的需求。

图11：天机异构融合类脑计算架构

基于“天机芯”的处理能力，清华类脑研究中心研制了一辆自主行驶自行车。这辆自行车借助模型和算法，不仅可以识别语音指令、实现自平衡控制，还能对前方行人进行探测和跟踪，并自动过障、避障。这辆自行车的语音识别使用的是脉冲神经网络，目标和障碍探测使用的是机器学习中的卷积神经网络。施路平介绍说，“传统的人工智能芯片只能支持单一类别的模型，很难要让这些多模态的模型实时高效交互”。兼容多种算法后，芯片不仅可以提高信息处理速度，还能大幅度降低功耗。同时，仅用一个芯片，就可以在自主行驶自行车系统中同时处理多种算法和模型，实现实时目标检测、跟踪、语音控制、避障和平衡控制，可以为学界提供了一个发展人工通用智能的平台和思路。施路平表示，目前只是初步的尝试。“天机芯”还有非常大的优化改进空间，团队正在为此而努力，希望相关研究能为面向人工通用智能计算平台的进一步发展起到促进作用。

图12：清华类脑研究中心研制基于“天机芯”的自主行驶自行车

同时，施路平也回顾了“天机芯”计算架构研究过程中遇到的挑战。施路平说，做类脑计算研究，真正的挑战既不是科学也不是技术，而是如何用多学科融合推动研究。因为它的跨度很大，从计算机转到脑科学，完全是“两条道上跑的车”。比如搞计算机的人研究深度学习，虽然到现在也不理解为什么它这么有用，但是深度学习确实能够解决问题，就可以用它来开公司、解决问题、赚钱；搞脑科学的人则不同，他们的研究道路，是用最先进的仪器发现新现象、拿诺贝尔奖等。换句话说，两者属于不同的文化、不同的语言、不同的目标，所以很难强行合在一起。因此，施路平在组建清华大学类脑计算研究中心时组合了脑科学、计算机、微电子、电子、精仪、自动化、材料等七个院系形成团队，而且七年时间就做了一件事情就是“融合，融合，再融合”。

图13：清华大学类脑计算研究中心组织结构

后记：类脑研究的发展与前景

关于未来的打算，施路平表示他们会做一个“类脑云脑”。关于“类脑云脑“与云计算的差别，施路平解释说，云计算是把很多的技术整合起来，而“类脑云脑”是面向人工通用智能的。因为大家知道，人工通用智能的研究，从根本上来讲，不同于把很多的窄人工智能加在一起。其主要研究思路是把类脑的弹性和计算机的刚性结合起来，把数据驱动和知识推动结合起来，把通用知识和推理结合起来，当然这是一个非常有挑战的长期的研究。但施路平坚信，在碳基上已经发展出来现有人类智能，基于硅芯片已经发展出强大的机器智能，一旦实现人类的全脑解析，采用类脑计算构建人工通用智能是完全没有障碍的。[9]

 

参考文献

[1].   AlphaGoZero横空出世，人机围棋大战正式收官：以后不会再有这样的战争了https://36kr.com/p/5098333

[2].   “AI首次在辩论上赢了人类高手，但“舌头”还不够灵活”https://www.roboticschina.com/news/2018062017AI.html

[3].   JohnL. Hennessy and David A. Patterson. 2019. A new golden age for computerarchitecture. Commun. ACM 62, 2 (January 2019), 48-60. DOI: https://doi.org/10.1145/3282307

[4].   B VBenjamin,…,K Boahen, Neurogrid: A Mixed-Analog-Digital Multichip System forLarge-Scale Neural Simulations,Proceedings of the IEEE, vol 102, no 5, pp699-716, 2014.

[5].  S B Furber et al. TheSpiNNaker project. Proc. IEEE 102 652–65, 2014

[6].  K. Meier. A mixed-signal universalneuromorphic computing system. 2015 IEEE International Electron Devices Meeting(IEDM), pp. 4.6.1-4.6.4, 2015.

[7].  P A Merolla et al. A million spiking-neuronintegrated circuit with a scalable communication network and interface. Science345 668–73, 2014.

[8].  Pei, J., Deng, L., Song, S. et al. Towardsartificial general intelligence with hybrid Tianjic chip architecture. Nature572, 106–111 (2019) doi:10.1038/s41586-019-1424-8

[9].  清华施路平：碳基上能够实现的智能，硅基上也一定能实现https://new.qq.com/omn/20191104/20191104A0BD9U00.html

- 往期文章 -