突破帧率天花板，超速全时视觉感知芯片重塑机器视觉技术体系

“

允许失败，鼓励探索——北京是一个对颠覆性技术有很大宽容度的城市。作为全国科技创新中心，这里诞生出一系列领先世界的原创性科技成果。以超速全时视觉感知芯片为例，该芯片由智源研究院院长、北京大学教授黄铁军团队，在北京市科委的支持下历时五年研发完成，超速人眼千倍，能够“看清”高速旋转叶片的文字，重塑了机器视觉技术体系。

”

近日，由北京市科委和北京广播电视台联合推出的系列报道《创新成果》第二季，对超速全时视觉感知芯片这一项目进行了报道。

采用视频表示视觉信息的处理方法，从源头上就限制了机器视觉的发展。

视频存在“帧率天花板”。在机器视觉系统采用视频表示视觉信息的情况下，时间灵敏度受限于帧率，机器视觉无法看到比帧率更快的物理现象。而生物视觉系统则不会受此困扰，因为生物视觉过程中本就没有“视频”这一人造概念，生物用脉冲流保留了更为精细的时间信息。

因此，要实现真正的机器视觉，需要借鉴生物视觉系统的神经网络结构和信息加工机理，建立起一套新的视觉信息处理理论、技术、标准、芯片和应用系统——类脑视觉。实现类脑视觉，首先要有类似眼睛的新型视觉传感器和摄像装置，为此，黄铁军团队研制了超速全时视觉感知芯片SpikeOne（思湃客壹号），它能够像灵长类生物一样感知光线变化并编码为高速脉冲序列。

相较于传统视频芯片，超速全时视觉感知芯片的颠覆性主要体现在“超速”和“全时”：

• “全时”：从芯片采集的脉冲序列中重构出任意时刻的画面，从而实现连续视觉感知。这颗芯片模仿的就是灵长类视网膜中央凹，具有全时视觉感知能力。

• “超速”：由于生理限制，灵长类视网膜神经节细胞每秒发放的神经脉冲数往往只有几个，少有达到几十个。这颗芯片采用光电器件，脉冲发放频率达4万赫兹，“超速”人眼千倍，能够“看清”高速旋转叶片的文字。

超速全时视觉感知芯片外，项目团队还开发了功能类似人眼、性能超越人眼的新型成像系统，能够看清人类视觉看不到的高速运动过程，有望重塑包括表示、编码、检测、跟踪、识别在内的整个视觉信息处理体系，为无人驾驶、机器人、视频监控等领域带来重大变革。

关于我们

北京智源人工智能研究院（Beijing Academy of Artificial Intelligence，简称BAAI）成立于2018年11月，是在科技部和北京市委市政府的指导和支持下，由北京市科委和海淀区政府推动成立的新型研发机构。

//智源研究院简介

/// 

学术思想 | 基础理论 | 顶尖人才 | 企业创新 | 发展政策