宝马「试水」神经形态芯片

作为高性能计算的下一个发展阶段,神经形态技术被认为能够大幅提升传统数据处理和机器学习能力。比如,IBM公司2014年8月所公布的百万神经元级别的TrueNorth芯片,在执行某些任务时,其能效可达传统中央处理器的数百倍。

而在汽车行业,神经形态处理器可以更好地应对复杂图像信号的高效处理。此前,特斯拉CEO马斯克也表示,FSD和Autopilot的性能瓶颈在于,需要对周围环境的快速理解来提高准确性,关键是要从现有图像处理技术(2D,或者2.5D)升级到视频的4D处理模式。

“这就像思考,传统的处理方式是对孤立的图片进行图像识别,这些图片在时间上紧密相关,但效果不是很好。然后,我们需要过渡到4D,本质上就是视频实时处理。”马斯克强调。

马斯克于2016年创立了一家名为Neuralink的公司,专注于脑机对接技术的研发:通过植入脑机接口设备(数千个电极探头监视神经元活动),实时读取脑部信号。

如今,宝马公司抢先入局,宣布与SynSense(时识科技)达成合作,推进神经形态芯片和智能座舱的集成,并与宝马共同探索相关领域的技术应用。这标志着,SynSense(神经形态智能和解决方案提供商)的技术将首次应用于智能汽车。

“与传统的解决方案不同,神经形态技术模拟生物神经系统。这是芯片架构上的一项创新,具有端到端低延迟、极低功耗、实时传感和计算等特点。”SynSense的创始成员来自苏黎世的神经信息学研究所(INI),2017年在瑞士苏黎世成立,公司总部于2020年迁至中国成都。

英特尔正在发力

自从计算机出现以来,工程师一直致力于增加晶体管的密度,并通过软件算法来实现机器智能,也是目前实现AI计算的主要方式,简单的理解,就是主要由一长串IF…THEN…ELSE…语句组成。

随着算法和算力的提升,最终形成一个带有大型规则表的基于规则的软件库。相反,神经学家正在研究人类大脑是如何工作的。他们发现大脑由细胞(神经元)组成,通过线(轴突和树突)连接到其他神经元。利用这些线程,神经元以电子或化学方式向其他细胞发送信号。

和目前的计算机神经网络不同,这些脑组织被称为生物神经网络。目前,人工智能技术公司试图用软件来复制人脑的工作方式,但进展缓慢,并且还要借助于大型服务器。此外,计算机神经网络还需要大量数据的投喂,归根结底还是由程序员决定对给定事件(输入)的反应(输出)。

当训练有素的计算机神经网络被输入一个新事件时,它将其分解成可识别的特征,并根据这些特征的权重,决定如何对事件作出反应。要想追踪一件事为什么会引起特定的反应,通常几乎是不可能的。

这意味着,人工神经网络靠的是正向和反向传播来更新神经元,从而形成一个好的神经系统。本质上,这是一个能让计算机处理和优化的数学模型。而生物神经网络是通过刺激,产生新的联结,让信号能够通过新的联结传递而形成反馈。

在神经形态芯片行业,目前全球不少芯片巨头也在重点研发。

去年10月,英特尔发布了第二代神经拟态芯片(Loihi 2),计算任务是由许多小单元进行的,单元之间通过类似生物神经的尖峰信号相互通信,并通过尖峰调整其行为。

宝马「试水」神经形态芯片_第1张图片

目前,英特尔已经将这种芯片用于机械臂、神经拟态皮肤、机器嗅觉等场景。由于使用了全新工艺,Loihi 2相比前代面积缩小了一半,但仍然包含100万个神经元,数量是前代的8倍,处理速度是前代的10倍。

与普通的CPU和GPU不同,神经拟态没有外部内存。每个神经元都有一小部分内存供其专用。主要作用是分配给不同神经元输入的权重、最近活动的缓存以及峰值发送到的所有其他神经元的列表。

英特尔神经形态计算实验室主任Mike Davies表示,Loihi在某些特定工作负载上,可以比传统处理器效率高出2000倍,此外,神经拟态计算还能实现动态学习行为。

宝马看好未来

本次与宝马合作的SynSense时识科技,同样有自己的专利储备:DYNAP技术(Dynamic Neurormorphic Asynchronous Processor),帮助可配置、通用、实时响应的神经网络在脉冲神经元中的实现。

宝马「试水」神经形态芯片_第2张图片

与宝马在神经形态技术领域的合作,将集中在SynSense的动态视觉智能SoC—Speck上,通过低功耗SNN视觉处理器与基于事件的传感器集成在一个单芯片中,同时执行神经形态的感知和计算,并采用全异步电路设计。它可以捕获实时的视觉信息,识别和检测物体,以及其他基于视觉的检测和交互功能。

动态视觉技术的本质在于基于事件的视觉。它不通过静态帧率记录整个场景,而是捕捉场景中的变化。得到的图像只包含操作相关的数据,视觉处理只在事件触发计算时消耗能量,从而减少了数据冗余和延迟,同时也保护了隐私。

“Speck不需要缓存或额外的摄像头。它可以捕捉视觉事件信息,处理实时信息计算,并进行智能场景分析,功耗不到1毫瓦,端到端延迟为5-10毫秒。”宝马相关负责人表示,期待神经形态智能带来全新的未来驾驶体验。

从SynSense官网获取的信息显示,Speck是一个完备的、多核的脉冲神经网络处理器芯片,实现了基于异步逻辑范式的大规模脉冲卷积神经网络(SCNN)芯片架构。芯片最多可配置高达32万脉冲神经元并且芯片内部集成了动态视觉传感器(DVS)为其提供实时高效的动态视觉输入。

在传统应用场景下, Speck可在mW级的超低功耗、mS级的实时响应下,完成智能场景分析;可以广泛应用于移动设备、物联网(IOT)、智能家电、智能安防、智慧养殖等领域。

宝马「试水」神经形态芯片_第3张图片

在开发套件方面,该公司提供DYNAP™-CNN开发套件,提供毫瓦级可编程卷积视频处理能力。该套件可以在毫瓦级功耗内完成实时面部检测、 实时手势识别、实时目标分类等视觉任务。

DYNAP™-CNN开发套件支持直连或通过PC连接DVS相机。利用时识科技开源Python库SINABS轻松搭建高达9层的卷积神经网络, 并且最少仅需一行代码即可在DYNAP™CNN开发套件上完成网络部署。

此外,这项技术还可以用于低功耗的语音识别与口令识别,通过连续监测可穿戴设备的心电信号、肌电信号等,实现低功率(sub mW)边缘感测处理和异常的瞬时检测。

颠覆传统视觉感知

而在智能驾驶应用上,事件相机正在进入行业视野。这块细分市场,同样也是神经形态芯片的擅长领域。

众所周知,目前市场采用的基于帧检测的视觉感知,与卷积神经网络配合可以部署识别和分类物体,包括人、动物、车辆、道路标志和各种其他障碍物。

但弊端也比较明显,比如,系统通常成本高昂,并且需要高能耗的CPU或者GPU。其次,以预定的帧率捕获视觉信息,增加了图像处理的数据吞吐量要求。

而基于事件的成像原理,传感器仅跟踪场景中的变化,不会传输在摄像头视场中保持不变的任何事物。它与传统摄像头不同,没有帧,每当单个像素中光强发生变化时,它就会累积。

“基于事件成像的主要优势是,在检测和跟踪应用中,能够以比基于帧的图像传感器快1000倍的速度捕获运动图像。”一家研发相关技术的公司负责人表示。

在事件相机的感知中,对于每一个像素,当灰度值的变化超过一定的阈值之后,该像素位置就会产生一个输出,然后根据灰度是增加还是减少输出对应的极性。

目前,一些汽车制造商也已经盯上了这项技术可能带来的巨大潜在机会。去年初,戴姆勒与驾驶辅助系统开发商Terranet AB签署了一份开发采购协议,看中的就是后者推出的突破性3D动作感知技术VoxelFlow。

VoxelFlow采用的就是基于事件的感知技术,使用非常低的计算能力以极低的延迟对动态移动对象进行分类,每秒产生1000万个3D点,从而在没有运动模糊的情况下快速检测到移动物体。

此外,基于事件的传感器系统可自动持续校准,同时也可以提供自动驾驶系统所需的角度和距离分辨率。与激光雷达系统相比,在大雨、雪和雾等恶劣天气也表现良好。

一些行业人士表示,潜伏多年的事件感知(属于神经形态技术)视觉传感器行业最近几年又开始卷土重来。此外,面对数据带宽的限制和不断上升的计算需求,长期来看,传感和计算也必须通过模仿神经生物学架构来重构技术路径。

此前,时识科技的一篇CVPR联合发文就是聚焦:基于事件流与图像帧的合成孔径成像,通过对遮挡场景进行多视角观拍摄,并通过对焦与合成实现对被遮挡目标的成像。

为了解决事件流与图像帧存在的数据模态差异问题,该论文提出了一种混合网络(脉冲神经网络+卷积神经网络),从多模态数据中提取目标特征并互补地进行融合与亮度重建,从而实现了对遮挡场景鲁棒的高质量合成孔径成像系统。

就在今年3月份,SynSense时识科技联合创始人、苏黎世大学及苏黎世联邦理工终身教授Giacomo Indiveri的联合署名发表在线学习类脑芯片最新成果的文章,录入芯片顶级学术会议ISSCC 2022,这也是具有在线学习能力的类脑芯片第一次发表于ISSCC。

这篇文章提出了全新的类脑在线学习仿生算法,将在线学习时间长度提升到秒级,并通过芯片实现得到验证。该解决方案无需外部存储、无需网络预训练,可以有效胜任多种复杂在线学习任务。

同时,基于事件驱动及稀松计算特性,该类脑芯片在不高于150uW功耗下,可以实现10种动态手势的学习和识别,准确率达到87.3%;在关键词识别任务精度可以达到90.7%;二进制决策导航精度高达96.4%。

目前,GPU主导人工智能应用市场,但许多人认为,下一代AI芯片(包括可能的类脑芯片)可能很快会取代GPU。“人工智能还处于非常早期的发展阶段,下一代硬件和软件组合最终可能会取代现有的市场领导者。”

你可能感兴趣的:(自动驾驶)