开源项目推荐 | 中科院自动化所历时9年打造的类脑认知智能引擎“智脉”正式开源部署至OpenI启智社区

​人脑能够自组织地协同数百项认知功能，灵活适应复杂多变的环境。如何整合多尺度生物可塑性法则来构建具有生物合理性和计算高效性的神经网络模型是类脑人工智能和计算神经科学领域共同关注和面临的重要挑战。

中国科学院自动化研究所类脑认知智能研究组历时9年，打造全脉冲神经网络的类脑认知智能引擎(Brain-inspired Cognitive Intelligence Engine，简写为BrainCog，中文名“智脉”)，并进行全面开源开放，助力自然智能的计算本质探索和新一代人工智能的发展。

目前，智脉已正式开源部署至OpenI启智社区，欢迎全球的研究人员共同努力、贡献智慧，打造面向未来的人工智能，探索智能的计算本质。

欢迎大家访问智脉开源社区主页链接：

https://openi.pcl.ac.cn/BrainCogLab/braincog

智脉详细的使用文档也可访问以下链接：

http://www.brain-cog.network/docs/

一、类脑认知智能引擎“智脉”研究背景：脑模拟与类脑人工智能的交汇

脉冲神经网络（Spiking Neural Network, SNN）作为第三代神经网络，从编码方式、学习法则、信息传递和处理机制等多个角度模拟了生物脑，具有更强的生物可解释性，更加适合建模大脑的各项认知功能。

另一方面，由于脉冲序列的稀疏表征，也使得脉冲神经网络具有潜在的低能耗特征。现有的脉冲神经网络平台有的涉及到精细的生物神经元模型，大规模神经网络模拟，神经网络动力学等较为细节的脑认知功能和结构模拟，有的关注于生物突触可塑性启发的脉冲神经网络建模，有的从深度学习领域借鉴经验来提升深度脉冲神经网络的性能。

已有框架并没有能够更好地整合共性，同时具备面向人工智能的高效学习与决策，以及对脑认知功能建模和脑结构模拟的能力。

而中国科学院自动化研究所类脑认知智能研究组认为，探索智能的计算本质与构建类脑人工智能的科学探索应深度融合，因此构建了类脑认知智能引擎“智脉”。

智脉致力于通过几十年不懈的努力，探索智能的计算本质，为人工智能学者和创新者提供“智能的脉络”，为未来AI打造“智慧的经脉”。

二、智脉：认知智能体系与计算组件

类脑认知智能引擎(BrainCog)“智脉”以多尺度生物可塑性原理为基础，支持全脉冲神经网络建模，具备脑启发的人工智能模型以及脑功能和结构模拟能力。智脉为类脑人工智能和计算神经科学的研究者提供了一套完整的、系统化的接口组件。

智脉涵盖了不同精细程度的神经元模型、多种脉冲编码方式、丰富的突触可塑性学习模型，以这些基本组件为基础，实现了不同脑区及神经环路，并在此基础上实现了不同类型的认知功能、对多个物种的生物脑进行了不同尺度的模拟。

智脉分别从类脑人工智能计算模型（目前发布约20个算法模型及源代码）、脑结构和功能模拟（覆盖鼠脑、猴脑、人脑模拟）方面提供了相当数量的应用案例，这为研发基于脉冲神经网络的人工智能和计算神经科学研究提供了强有力的基础设施。

• 智脉整合不同精细程度的神经元计算模型（IF、LIF、H-H、多房室神经元等）、丰富的类脑学习与可塑性法则（Hebb、STP、STDP、基于代理梯度的反向传播等）、不同类型的神经网络连接模式与编码方式（频率、时序、群体、量子编码等）；

• 基于脉冲神经网络实现感知和学习、决策、运动控制、知识表征和推理、社会认知等五大类面向人工智能应用的智能模型，可以映射到28个关键功能性脑区；

• 类脑学习机制：结合局部和全局可塑性实现了更具生物合理性的类脑可塑性前馈反馈融合模型。基于BrainCog实现的具有生物合理性的时间空间调节算法，理论上与相同结构的人工神经网络相比，只用约3%的能量就能达到有相当竞争力的分类精度。基于BrainCog构建的ANN-SNN转换模型充分结合了反向传播算法与脉冲神经网络的优势，使SNN能以其他算法1/10和1/50的仿真时间几乎无损地完成图像分类和目标检测任务。由BrainCog支持的基于STDP算法的无监督脉冲神经网络模型，借由具有生物可解释性的优化算法和多种自适应机制，达到基于STDP无监督算法中的目前最好性能，同时实现了在极端少量样本下相同模型结构下优于ANN 4%-5%的性能；

• 社会认知脉冲神经网络模型赋能人形机器人通过镜像测试自我感知实验，使智能体帮助其他智能体避免潜在风险，表现出初步类道德行为；

• 对不同类型哺乳动物脑进行多尺度模拟，构建了包含不同类型点神经元的鼠脑模拟器、猴脑模拟器(12.1亿神经元、1.3万亿突触，1/5猴脑规模)、人脑模拟器(规模达8.6亿脉冲神经元，2.5 万亿突触，1/100人脑规模)；

• 基于智脉BrainCog的创生(BORN)人工智能引擎展示基于情感识别的乐曲创作与演奏能力。

三、基于“智脉”的类脑人工智能模型

智脉(BrainCog)允许研究者通过调用并连接基础模块，自由地设计所需要的网络以及相应的功能，为实现专用、通用的类脑人工智能模型提供基础支持。在类脑人工智能方面，智脉协同多个脑区形成不同的神经环路，初步实现了五大类认知功能：感知和学习、知识表征和推理、决策、运动控制、社会认知(如心里揣测、认知与情感共情)，发布约20个基于脉冲神经网络的算法模型。这些组件共同形成了与哺乳动物大脑中28个脑区相对应的神经环路。

目前，类脑脉冲神经网络领域缺乏一个公开、公平的平台， 在同一环境下评估算法的性能。智脉集成了丰富的高性能、易修改的SNN模型，并对其在多个静态数据集、神经形态数据集（如DVSGesture, DVSCIFAR10, NCALTECH101, ES-ImageNet等）、以及N-Omniglot神经形态小样本数据集上进行了基准测试。

用户可以在同一环境中评估自己的算法，并与其他方法进行比较。可以使用BrainCog提供的组件轻松实现自己的算法， 并与其他最先进的方法进行公平比较。

1、感知和学习

智脉支持多种有监督和无监督的训练法则，如基于突触可塑性的STDP，基于代理梯度的反向传播算法，和基于ANN到SNN的转换算法。同时在小样本以及噪声环境下取得突出的适应性。该引擎还提供了仿照人类进行概念学习的多感觉融合框架。

（1）基于BrainCog完成的前馈连接与反馈连接结合的SNN，通过反馈连接引入全局的误差信号，提升了基于局部优化法则的脉冲神经网络在深层网络结构上的性能与稳定性，达到了与基于反向传播算法训练相抗衡的性能。

（2）基于BrainCog实现的具有生物合理性的时间空间调节算法，能够训练深层的SNN模型，并在MNIST，CIFAR10，ImageNet等图像分类任务上，以及DVS-CIFAR10，DVS-Gesture等事件分类任务上， 与其他的SNN相比， 有先进性能的同时，展现出明显的低能耗。

（3）基于BrainCog构建的ANN-SNN转换模型充分结合了反向传播算法与脉冲神经网络的优势，使SNN能以更少的能耗和更高的效率在图像分类、目标检测和语义分割等任务中完成同ANN相媲美的性能。

（4）使用BrainCog构建的基于STDP算法的无监督脉冲神经网络模型，借由具有生物可解释性的优化算法和多种自适应机制，极大提升了网络性能与效率。实现了在少量样本下相同模型结构下优于ANN的性能。

2、决策

智脉提供了多脑区协同的决策脉冲神经网络、深度强化学习脉冲神经网络、以及自然启发的无人机集群自组织决策脉冲神经网络。

（1）基于BrainCog 实现的具有生物合理性的类脑决策模型在Flappy bird游戏上实现了类人的学习能力，并具备支持无人机在线决策的能力，能够实现类果蝇的线性和非线性决策以及反转学习。

（2）基于BrainCog构建的Spiking-DQN模型实现了深度脉冲神经网路和强化学习的结合，在Atari游戏上的得分超过传统DQN模型。

（3）基于BrainCog实现的奖励调控类脑脉冲神经网络可以赋能无人机集群使其实现基于自然启发的自组织避障。

3、运动控制

智脉初步实现了利用脉冲神经网络控制人形机器人运动。受大脑运动控制机制的启发，智脉构建了包括前运动皮层（PMC），辅助运动区（SMA）、基底神经节和小脑功能的多脑区协同机器人运动脉冲神经网络模型，并应用于人形机器人弹奏钢琴。

4、知识表征与推理

智脉通过融合多神经可塑性和群体编码机制进行知识表征和推理。利用类脑的音乐记忆和风格创作模型实现了音符序列的知识表征和记忆，可以生成具有不同风格的乐曲。序列生成SNN实现了对符号序列的表征与记忆，并可根据不同的规则对符号序列进行重构。常识表征SNN将常识知识库编码进SNN，可据此网络完成概念化知识生成后续认知任务。因果推理SNN将因果图编码为脉冲神经网络，实现了演绎推理、溯因推理等认知任务。

5、社会认知

智脉支持以人形机器人为载体的自我建模、心理揣测、认知与情感共情等高等认知功能，实现了一种具有生物合理性的脑启发的社会认知脉冲神经网络模型。该模型使得智能体初步地具备了理解自我和他人的能力，能够通过多机器人镜像自我识别测试并且降低了智能体交互过程中的安全风险。前者是社会认知中自我感知的经典实验，后者则是社会认知中思维揣测实验的变体。

四、基于“智脉”的脑模拟

智脉可以支持不同尺度的脑结构与认知功能模拟，从而为在局部和全脑尺度计算验证科学猜想和科学解释提供强有力的支持。

1、脑认知功能模拟

BrainCog实现了果蝇线性、非线性决策和PFC工作记忆功能的模拟。

在果蝇线性和非线性决策模拟中，BrainCog验证了非线性抉择环路在两难抉择下的赢者通吃行为，得到了与果蝇生物学实验一致的结论，相应算法还应用到了无人机平台使其获得类脑决策能力。

用BrainCog实现的PFC网络，在不改变网络结构的情况下，使用人类神经元代替啮齿类动物神经元可以显著提高图像输出的准确性和完整性，这证明了生物脑结构的演化不仅仅体现在神经元和脑区尺度连接结构的演化，还体现在神经元这个基本计算单元的信息处理能力方面的优化。

2、脑结构模拟

智脉可以模拟不同规模的生物脑结构，从微环路到皮质柱到全脑结构模拟。从解剖到成像的多尺度连接数据使鼠脑，猴脑和人脑建模更具有生物合理性。

3、基于“智脉”的人工智能引擎创生(BORN)

人工智能研究者可以基于“智脉(BrainCog)”平台提供的计算与认知组件实现专用和通用的人工智能模型。

为了进一步说明和验证BrainCog支持人工智能引擎研发的能力，接下来介绍基于BrainCog框架开发的致力于获得通用智能的脉冲神经网络人工智能引擎—创生(BORN)，并展示了BORN引擎实现多项认知功能协同的能力。

创生(BORN)的高层架构是整合时空可塑性，使人工智能具备感知与学习、决策、运动控制、工作记忆、长时记忆、注意力和意识、情感、知识表征和推理、社会认知等大脑认知功能。空间可塑性结合了微观、介观和宏观尺度的神经可塑性原理。时间可塑性考虑了处于不同时间尺度的学习、发育和演化可塑性。BORN的学习框架包括多任务连续学习、小样本学习、多模态概念学习、在线学习、终身学习、示教学习、迁移学习等，并致力于在不久的将来实现不同学习模型的深度融合。

为了展示BORN的能力和原理，研究组提供了一个相对复杂的依赖于情感的人形机器人乐曲创作与演奏应用。该应用程序需要人形机器人根据情感识别来进行音乐创作和演奏。该应用要求BORN提供视觉情感识别、序列学习与生成、知识表征与推理、运动控制等认知功能。基于这些功能，BrainCog支持人形机器人实现了视觉（情感）识别、情感依赖的音乐创作模块和人形机器人乐曲演奏。

五、BrainCog团队介绍

类脑认知智能研究组（BrainCog Lab）隶属于中国科学院自动化研究所，研究组成立于2013年，是从事类脑人工智能前沿理论和脑与智能交叉创新的研究团队。由脑图谱与类脑智能实验室副主任曾毅研究员担任团队负责人。

类脑认知智能研究组近年来主要围绕类脑脉冲神经网络模型与前沿技术探索为主要研究内容，特别是在类脑脉冲神经网络学习机理与模型、类脑可塑性理论体系、伦理道德的类脑自主学习模型等方面开展研究。

研究组研制的类脑认知智能引擎“智脉（BrainCog）”致力于为新一代人工智能前沿探索打造基于脉冲神经网络的通用智能引擎，服务于人类与人工智能的和谐共生。

BrainCog主要开发团队介绍

曾毅

中国科学院自动化研究所研究员、类脑认知智能研究组负责人、脑图谱与类脑智能实验室副主任、人工智能伦理与治理研究中心主任；中国科学院大学岗位教授、博士生导师；中国人工智能学会心智计算专委会主任；国家新一代人工智能治理专委会委员；联合国教科文组织人工智能伦理特设专家组专家。研究方向为：类脑人工智能、人工智能伦理、治理与可持续发展。其中类脑人工智能研究专注于类脑认知智能基础理论以及类脑脉冲神经网络机理与模型研究，与此相关代表性成果发表在Cell出版社旗下期刊Patterns、iScience，Nature出版社旗下期刊Scientific Data, Scientific Reports, 与Science出版社旗下期刊Science Advances， IEEE Transactions以及国际会议IJCAI、AAAI等。

赵东城

中国科学院自动化研究所类脑认知智能研究组助理研究员。研究方向为类脑脉冲神经网络、类脑深度神经网络。目前已在Scientific Data，Patterns，Neural Networks，Information Sciences，AAAI，IJCAI等发表论文多篇。

赵菲菲

中国科学院自动化研究所类脑认知智能研究组副研究员。研究方向为类脑决策、发育及演化脉冲神经网络。目前已在Patterns、IEEE Transactions on Cognitive and Developmental Systems、Neural Computation、Scientific Reports、Cognitive Computation、Frontiers in Neuroscience等发表论文多篇。

申国斌

中国科学院自动化研究所类脑认知智能研究组2021级博士研究生。主要研究方向为类脑脉冲神经网络可塑性建模。目前已在Patterns，ACM ToMM等发表论文多篇。

董一廷

中国科学院自动化研究所类脑认知智能研究组2020级博士生。研究方向为类脑脉冲神经网络优化方法。目前已在Scientific Data发表论文。

鲁恩萌

中国科学院自动化研究所类脑认知智能研究组研究工程师。主要研究方向为类脑具身认知智能、类脑伦理道德决策等。目前已在AAAI、AI and Ethics、Cognitive Computation、Frontiers in Neurorobotics/Neuroscience/Computational Neuroscience等发表论文多篇。

张倩

中国科学院自动化研究所类脑认知智能研究组副研究员，主要研究方向为记忆、意识的神经计算模拟。目前已经在Scientific Reports，Frontiers in System Neuroscience，Information Sciences等期刊上发表多篇论文。

孙胤乾

中国科学院自动化研究所类脑认知智能研究组2018级博士生。研究方向为类脑感知决策脉冲神经网络。目前已在iScience，Frontiers in Neuroscience上发表多篇论文。

梁倩

中国科学院自动化研究所类脑认知智能研究组副研究员。研究方向为类脑脉冲神经网络，类脑音乐学习，类脑音乐创作。目前已在Frontiers等期刊上发表论文。

赵宇轩

中国科学院自动化研究所类脑认知智能研究组副研究员。研究方向为类脑认知计算建模、高等认知功能模拟。目前已在iScience、Cognitive Computation 、Frontiers in Neuroscience、Frontiers in Neurorobotics等发表论文多篇。

赵卓雅

中国科学院自动化研究所类脑认知智能研究组2019级博士研究生。研究方向为类脑心理揣测模型。目前已在Patterns、Frontiers in Neuroscience发表过论文。

王寓巍

中国科学院自动化研究所类脑认知智能研究组工程师。研究方向为类人概念学习计算模型、类脑脉冲神经网络。目前已在Cognitive Computation, Frontiers in Computational Neuroscience, Frontiers in Systems Neuroscience, IEEE SMC等发表论文多篇。

李杨

中国科学院自动化研究所类脑认知智能研究组2019级博士生。研究方向为类脑脉冲神经网络优化方法。目前已在Scientific Data，Neural Networks，Information Sciences，Frontiers in Computational Neuroscience，IJCAI等发表论文多篇。

杜骋骋

中国科学院自动化研究所类脑认知智能研究组2021级硕士研究生，研究方向为类脑认知计算，基于生物结论的大规模网络建模实现高级认知功能并为人工智能的发展提供启示。

孔庆群

中国科学院自动化研究所类脑认知智能研究组副研究员。研究方向为类脑视觉，连续学习等。目前已在 Neural Networks，Frontiers in Computational Neuroscience 等发表论文多篇。

阮子喆

中国科学院自动化研究所类脑认知智能研究组研究工程师。研究方向为类脑认知智能相关平台构建。

冯慧 

中国科学院自动化研究所类脑认知智能研究组2018级硕博生。研究方向为基于脉冲神经网络的类脑情感共情以及利他行为计算模型。目前已在Frontiers in Computational Neuroscience、Frontiers in Neurorobotics上发表论文多篇。

何翔

中国科学院自动化研究所类脑认知智能研究组2021级硕士生。研究方向为类脑脉冲神经网络模型与优化方法。

王纪航

中国科学院自动化研究所类脑认知智能研究组2021级硕士研究生。主要研究方向为脉冲神经网络中的隐私攻击与隐私保护。

李金东

中国科学院自动化研究所类脑认知智能研究组2022级硕士研究生。主要研究方向为脉冲神经网络硬件加速与神经拟态硬件等。

六、结语

类脑认知智能引擎“智脉(BrainCog)”是支撑研发基于脉冲神经网络的人工智能引擎和脑模拟平台的基础设施。无论是通用人工智能还是全脑神经计算模拟都是长远的愿景并需要持之以恒的科学探索，更重要的是需要学术和产业界持续不断地共同推进。

我们期待与学术界、产业界共同推进揭示智能本质的研究，实现对人类和生态有益的通用人工智能。期待群智的贡献，共同构建人与人工智能和谐共生的未来。

1、BrainCog相关链接

开源主页：

https://github.com/BrainCog-X/Brain-Cog

https://openi.pcl.ac.cn/BrainCogLab/braincog

BrainCog使用文档

http://www.brain-cog.network/docs/

官方网站

http://www.braincog.ai/

Bilibili

https://space.bilibili.com/506818367

YouTube

https://www.youtube.com/@brain-inspiredcognitiveint1490/featured

公众号

智能的本质与未来（团队会定期在公众号分享最新进展）

微信号

BrainCog（添加微信号，会由小助手拉您进入BrainCog研发者群）

2、附录 团队论文发布列表

1. Yang Li, Yiting Dong, Dongcheng Zhao, Yi Zeng. N-Omniglot: a Large-scale Neuromorphic Dataset for Spatio-temporal Sparse Few-shot Learning. Scientific Data, 9(746), Nature Publishing Group, 2022.

2. Feifei Zhao, Yi Zeng, Bing Han, Hongjian Fang, Zhuoya Zhao. Nature-inspired Self-organizing Collision Avoidance for Drone Swarm Based on Reward-modulated Spiking Neural Network, Patterns, Cell Press, 2022.

3. Dongcheng Zhao, Yi Zeng, Yang Li, Jihang Wang, Qian Zhang. Spiking CapsNet: A spiking neural network with a biologically plausible routing rule between capsules. Information Sciences, 2022.

4. Dongcheng Zhao, Yi Zeng, Yang Li. BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and Balanced Excitatory-Inhibitory Neurons, Neural Networks, Volume 154, 68-77, 2022.

5. Guobin Shen, Dongcheng Zhao, Yi Zeng. Backpropagation with Biologically Plausible Spatiotemporal Adjustment for Training Deep Spiking Neural Networks. Patterns, Cell Press, 2022.

6. Zhuoya Zhao, Enmeng Lu, Feifei Zhao, Yi Zeng, and Yuxuan Zhao. A Brain-Inspired Theory of Mind Spiking Neural Network for Reducing Safety Risks of Other Agents. Frontiers in Neuroscience, 2022.

7. Yang Li, Yi Zeng. Efficient and Accurate Conversion of Spiking Neural Network with Burst Spikes. Proceedings of the 31st International Joint Conferences on Artificial Intelligence (IJCAI-22), 2022.

8. Yuwei Wang, Yi Zeng. Multisensory Concept Learning Framework Based on Spiking Neural Networks. Frontiers in Systems Neuroscience, 16:845177, 2022.

9. Yuwei Wang, Yi Zeng. Statistical Analysis of Multisensory and Text-Derived Representations on Concept Learning. Frontiers in Computational Neuroscience, 16:861265, 2022.

10. Yinqian Sun, Yi Zeng, Tielin Zhang. Quantum Superposition Inspired Spiking Neural Network. iScience, 24(8), 102880, Cell Press, 2021.

11. Yuxuan Zhao, Yi Zeng, Guang Qiao. Brain-Inspired Classical Conditioning Model. iScience, 24(1), 101980, Cell Press, 2021.

12. Qian Liang, Yi Zeng. Stylistic Composition of Melodies based on a Brain-inspired Spiking Neural Network. Frontiers in Systems Neuroscience, 15:639484, 2021.

13. Hongjian Fang, Yi Zeng, Feifei Zhao. Brain Inspired Sequences Production by Spiking Neural Networks With Reward-Modulated STDP. Frontiers in Computational Neuroscience, 15:612041, 2021.

14. Feifei Zhao, Yi Zeng, Aike Guo, Haifeng Su, Bo Xu. A Neural Algorithm for Drosophila Linear and Nonlinear Decision-making. Scientific Reports, 10: 18660, Nature Publishing Group, 2020.

15. Yi Zeng, Yuxuan Zhao, Tielin Zhang, Dongcheng Zhao, Feifei Zhao, and Enmeng Lu. A Brain-Inspired Model of Theory of Mind. Frontiers in Neurorobotics, 2020.

16. Qian Zhang, Yi Zeng, Taoyi Yang. Computational Investigation of Contributions from Different Subtypes of Interneurons in Prefrontal Cortex for Information Maintenance. Scientific Reports, 10: 4671, Nature Publishing Group, 2020.