宝马「试水」神经形态芯片

作为高性能计算的下一个发展阶段，神经形态技术被认为能够大幅提升传统数据处理和机器学习能力。比如，IBM公司2014年8月所公布的百万神经元级别的TrueNorth芯片，在执行某些任务时，其能效可达传统中央处理器的数百倍。

而在汽车行业，神经形态处理器可以更好地应对复杂图像信号的高效处理。此前，特斯拉CEO马斯克也表示，FSD和Autopilot的性能瓶颈在于，需要对周围环境的快速理解来提高准确性，关键是要从现有图像处理技术（2D，或者2.5D）升级到视频的4D处理模式。

“这就像思考，传统的处理方式是对孤立的图片进行图像识别，这些图片在时间上紧密相关，但效果不是很好。然后，我们需要过渡到4D，本质上就是视频实时处理。”马斯克强调。

马斯克于2016年创立了一家名为Neuralink的公司，专注于脑机对接技术的研发：通过植入脑机接口设备（数千个电极探头监视神经元活动），实时读取脑部信号。

如今，宝马公司抢先入局，宣布与SynSense（时识科技）达成合作，推进神经形态芯片和智能座舱的集成，并与宝马共同探索相关领域的技术应用。这标志着，SynSense（神经形态智能和解决方案提供商）的技术将首次应用于智能汽车。

“与传统的解决方案不同，神经形态技术模拟生物神经系统。这是芯片架构上的一项创新，具有端到端低延迟、极低功耗、实时传感和计算等特点。”SynSense的创始成员来自苏黎世的神经信息学研究所(INI)，2017年在瑞士苏黎世成立，公司总部于2020年迁至中国成都。

英特尔正在发力

自从计算机出现以来，工程师一直致力于增加晶体管的密度，并通过软件算法来实现机器智能，也是目前实现AI计算的主要方式，简单的理解，就是主要由一长串IF…THEN…ELSE…语句组成。

随着算法和算力的提升，最终形成一个带有大型规则表的基于规则的软件库。相反，神经学家正在研究人类大脑是如何工作的。他们发现大脑由细胞（神经元）组成，通过线（轴突和树突）连接到其他神经元。利用这些线程，神经元以电子或化学方式向其他细胞发送信号。

和目前的计算机神经网络不同，这些脑组织被称为生物神经网络。目前，人工智能技术公司试图用软件来复制人脑的工作方式，但进展缓慢，并且还要借助于大型服务器。此外，计算机神经网络还需要大量数据的投喂，归根结底还是由程序员决定对给定事件（输入）的反应（输出）。

当训练有素的计算机神经网络被输入一个新事件时，它将其分解成可识别的特征，并根据这些特征的权重，决定如何对事件作出反应。要想追踪一件事为什么会引起特定的反应，通常几乎是不可能的。

这意味着，人工神经网络靠的是正向和反向传播来更新神经元，从而形成一个好的神经系统。本质上，这是一个能让计算机处理和优化的数学模型。而生物神经网络是通过刺激，产生新的联结，让信号能够通过新的联结传递而形成反馈。

在神经形态芯片行业，目前全球不少芯片巨头也在重点研发。

去年10月，英特尔发布了第二代神经拟态芯片（Loihi 2），计算任务是由许多小单元进行的，单元之间通过类似生物神经的尖峰信号相互通信，并通过尖峰调整其行为。

目前，英特尔已经将这种芯片用于机械臂、神经拟态皮肤、机器嗅觉等场景。由于使用了全新工艺，Loihi 2相比前代面积缩小了一半，但仍然包含100万个神经元，数量是前代的8倍，处理速度是前代的10倍。

与普通的CPU和GPU不同，神经拟态没有外部内存。每个神经元都有一小部分内存供其专用。主要作用是分配给不同神经元输入的权重、最近活动的缓存以及峰值发送到的所有其他神经元的列表。

英特尔神经形态计算实验室主任Mike Davies表示，Loihi在某些特定工作负载上，可以比传统处理器效率高出2000倍，此外，神经拟态计算还能实现动态学习行为。

宝马看好未来

本次与宝马合作的SynSense时识科技，同样有自己的专利储备：DYNAP技术（Dynamic Neurormorphic Asynchronous Processor），帮助可配置、通用、实时响应的神经网络在脉冲神经元中的实现。

与宝马在神经形态技术领域的合作，将集中在SynSense的动态视觉智能SoC—Speck上，通过低功耗SNN视觉处理器与基于事件的传感器集成在一个单芯片中，同时执行神经形态的感知和计算，并采用全异步电路设计。它可以捕获实时的视觉信息，识别和检测物体，以及其他基于视觉的检测和交互功能。

动态视觉技术的本质在于基于事件的视觉。它不通过静态帧率记录整个场景，而是捕捉场景中的变化。得到的图像只包含操作相关的数据，视觉处理只在事件触发计算时消耗能量，从而减少了数据冗余和延迟，同时也保护了隐私。

“Speck不需要缓存或额外的摄像头。它可以捕捉视觉事件信息，处理实时信息计算，并进行智能场景分析，功耗不到1毫瓦，端到端延迟为5-10毫秒。”宝马相关负责人表示，期待神经形态智能带来全新的未来驾驶体验。

从SynSense官网获取的信息显示，Speck是一个完备的、多核的脉冲神经网络处理器芯片，实现了基于异步逻辑范式的大规模脉冲卷积神经网络（SCNN）芯片架构。芯片最多可配置高达32万脉冲神经元并且芯片内部集成了动态视觉传感器（DVS）为其提供实时高效的动态视觉输入。

在传统应用场景下， Speck可在mW级的超低功耗、mS级的实时响应下，完成智能场景分析；可以广泛应用于移动设备、物联网（IOT）、智能家电、智能安防、智慧养殖等领域。

在开发套件方面，该公司提供DYNAP™-CNN开发套件，提供毫瓦级可编程卷积视频处理能力。该套件可以在毫瓦级功耗内完成实时面部检测、 实时手势识别、实时目标分类等视觉任务。

DYNAP™-CNN开发套件支持直连或通过PC连接DVS相机。利用时识科技开源Python库SINABS轻松搭建高达9层的卷积神经网络， 并且最少仅需一行代码即可在DYNAP™CNN开发套件上完成网络部署。

此外，这项技术还可以用于低功耗的语音识别与口令识别，通过连续监测可穿戴设备的心电信号、肌电信号等，实现低功率（sub mW）边缘感测处理和异常的瞬时检测。

颠覆传统视觉感知

而在智能驾驶应用上，事件相机正在进入行业视野。这块细分市场，同样也是神经形态芯片的擅长领域。

众所周知，目前市场采用的基于帧检测的视觉感知，与卷积神经网络配合可以部署识别和分类物体，包括人、动物、车辆、道路标志和各种其他障碍物。

但弊端也比较明显，比如，系统通常成本高昂，并且需要高能耗的CPU或者GPU。其次，以预定的帧率捕获视觉信息，增加了图像处理的数据吞吐量要求。

而基于事件的成像原理，传感器仅跟踪场景中的变化，不会传输在摄像头视场中保持不变的任何事物。它与传统摄像头不同，没有帧，每当单个像素中光强发生变化时，它就会累积。

“基于事件成像的主要优势是，在检测和跟踪应用中，能够以比基于帧的图像传感器快1000倍的速度捕获运动图像。”一家研发相关技术的公司负责人表示。

在事件相机的感知中，对于每一个像素，当灰度值的变化超过一定的阈值之后，该像素位置就会产生一个输出，然后根据灰度是增加还是减少输出对应的极性。

目前，一些汽车制造商也已经盯上了这项技术可能带来的巨大潜在机会。去年初，戴姆勒与驾驶辅助系统开发商Terranet AB签署了一份开发采购协议，看中的就是后者推出的突破性3D动作感知技术VoxelFlow。

VoxelFlow采用的就是基于事件的感知技术，使用非常低的计算能力以极低的延迟对动态移动对象进行分类，每秒产生1000万个3D点，从而在没有运动模糊的情况下快速检测到移动物体。

此外，基于事件的传感器系统可自动持续校准，同时也可以提供自动驾驶系统所需的角度和距离分辨率。与激光雷达系统相比，在大雨、雪和雾等恶劣天气也表现良好。

一些行业人士表示，潜伏多年的事件感知（属于神经形态技术）视觉传感器行业最近几年又开始卷土重来。此外，面对数据带宽的限制和不断上升的计算需求，长期来看，传感和计算也必须通过模仿神经生物学架构来重构技术路径。

此前，时识科技的一篇CVPR联合发文就是聚焦：基于事件流与图像帧的合成孔径成像，通过对遮挡场景进行多视角观拍摄，并通过对焦与合成实现对被遮挡目标的成像。

为了解决事件流与图像帧存在的数据模态差异问题，该论文提出了一种混合网络（脉冲神经网络+卷积神经网络），从多模态数据中提取目标特征并互补地进行融合与亮度重建，从而实现了对遮挡场景鲁棒的高质量合成孔径成像系统。

就在今年3月份，SynSense时识科技联合创始人、苏黎世大学及苏黎世联邦理工终身教授Giacomo Indiveri的联合署名发表在线学习类脑芯片最新成果的文章，录入芯片顶级学术会议ISSCC 2022，这也是具有在线学习能力的类脑芯片第一次发表于ISSCC。

这篇文章提出了全新的类脑在线学习仿生算法，将在线学习时间长度提升到秒级，并通过芯片实现得到验证。该解决方案无需外部存储、无需网络预训练，可以有效胜任多种复杂在线学习任务。

同时，基于事件驱动及稀松计算特性，该类脑芯片在不高于150uW功耗下，可以实现10种动态手势的学习和识别，准确率达到87.3%；在关键词识别任务精度可以达到90.7%；二进制决策导航精度高达96.4%。

目前，GPU主导人工智能应用市场，但许多人认为，下一代AI芯片（包括可能的类脑芯片）可能很快会取代GPU。“人工智能还处于非常早期的发展阶段，下一代硬件和软件组合最终可能会取代现有的市场领导者。”