无人驾驶算法学习（七）：基于事件的视觉里程计

参与泡泡机器人新闻社翻译的第一篇文章

标题:Event-based Vision: A Survey

作者:Guillermo Gallego, Tobi Delbr¨uck, Garrick Orchard, Chiara Bartolozzi, Brian Taba, Andrea Censi, Stefan Leutenegger, Andrew Davison, J¨org Conradt, Kostas Daniilidis, Davide Scaramuzza
编译:蒋成
论文下载

摘要：

事件相机是受生物启发的传感器，其工作原理与传统相机截然不同。它们不是以固定的速率拍摄图像，而是异步地测量每个像素的亮度变化。这将引起一系列事件，这些事件将编码亮度变化的时间、位置和符号。事件相机比传统相机相机拥有绝佳的属性:非常高的动态范围(140 db比60 db),高瞬时分辨率(达到微妙级别),低功耗,不要受到运动模糊的干扰。因此，在高速、高动态范围等对于传统相机具有挑战性的场景中，事件相机在机器人和计算机视觉方面更具很大的潜力。然而，需要新的方法来处理这些传感器不同于普通相机的输出图像，以释放它们的潜力。本文对基于事件的视觉这一新兴领域进行了全面的概述，重点介绍了开发用于解锁事件相机突出特点的应用程序和算法。我们从事件相机的工作原理、可用的实际传感器以及它们所完成的任务，从基础视觉算法(特征检测与跟踪、光流等)到高级视觉任务(重建、分割、识别等)来介绍事件相机。我们还讨论了为处理事件而开发的技术，包括基于学习的技术，以及这些新型传感器的专用处理器，如spiking神经网络。此外，我们强调在寻找一种更有效、更具有生物灵感的方式让机器感知世界并与世界互动的过程中仍有许多挑战有待解决，也有许多机遇摆在面前。
关键词：事件相机，仿生视觉，异步传感器，低延迟，高动态范围，低功耗

1. 介绍和应用

“大脑是具有想象力的，这让我很兴奋;我想制造一种能想象出某些东西的芯片” 这就是1986年加州理工学院的一名研究生Misha Mahowald开始和Carver Mead教授合作从生物学和工程学的角度研究了立体视觉问题的原因。几年后，也就是1991年， “Scientific American”杂志[1]封面上的一只猫的照片，展示了一种新的、强大的计算方法，引发了神经形态工程学的新兴领域。这张照片是由模仿人眼神经结构的新型“硅视网膜”拍摄的。今天，我们仍然在追求同样的梦想挑战:理解大脑是如何工作的，并在计算机芯片上构建一个大脑模型。目前的努力包括耗资数十亿美元的旗舰船项目，比如在欧洲、美国的“人脑项目”(Human Brain Project)和“蓝色大脑项目”(Blue Brain Project)由美国总统提出的“大脑创新神经技术研究”计划，以及中国和日本的大脑项目。本文综述了生物启发的硅视网膜或“事件相机”技术，如[2]、[3]、[4]、[5]，重点介绍了它们在医学、新计算机视觉和机器人任务中的应用。近年来，该技术引起了学术界和工业界的广泛关注。这是由于原型事件相机的可用性，以及这些设备提供的优势，以解决基于标准框架的普通相机(提供频闪同步序列的2D图像)无法解决的问题。
事件相机是一种异步传感器，它可以改变获取视觉信息的方式。它们的优点是:非常高的时间分辨率和低延迟(以微秒为单位)、非常高的动态范围(标准相机的140dB和60dB)和低功耗。因此，在高速、高动态范围等标准相机的挑战性场景中，事件相机在机器人和可穿戴应用方面具有巨大的潜力。虽然自2008年以来事件相机已经商用[2],但是最近才有关于这些新型传感器的大量文献，以及公司宣称的大规模生产计划,如Sumsang[5]和Prophesee, 需要强调的是开发这些用于移动机器人、增强和虚拟现实(AR/VR)以及视频游戏应用的新型视觉传感器具有巨大的商业利益。然而，由于事件相机的工作方式与标准相机有着本质的不同，它是异步测量每个像素的亮度变化(称为“事件”)，而不是以恒定的速率测量“绝对”亮度，因此需要新的方法来处理它们的输出并释放它们的潜力。
事件相机应用：与其他传感模式相比，事件相机具有优势的典型场景包括实时交互系统，如机器人或可穿戴电子设备[6]，其中在不受控制的照明条件下运行时延迟和功率是重要的[7]。事件摄像头用于对象跟踪[8], [9]、[10]、[11]、[12]监控[13]、[14]、对象识别[15]、[16]、[17]、[18]以及手势控制[19]、[20]。用于[21]、[22]、[23]、[24]、[25]、[26]、三维全景成像[27]、结构光三维扫描[28]、光流估计[29]、[30]、[31]、[32]、[33]、[34]高动态范围(HDR)图像重建[35]、[36]、[37]、[38]、拼接[39]、视频压缩[40]。在自我运动估计中，事件相机被用于姿态跟踪[41]、[42]、[43]，以及视觉同时定位与建图(SLAM)[44]、[45]、[46]、[47]、[48]、[49]、[50]。基于事件的视觉是一个不断发展的研究领域，随着事件摄像机的广泛应用，诸如图像去模糊[51]或恒星跟踪[52]等其他应用有望出现。
大纲:论文的其余部分组织如下。第二部分介绍了事件相机的工作原理和优点，以及它们作为新型视觉传感器所面临的挑战。第3节讨论了从事件相机输出中提取信息的几种常用方法，并讨论了其中一些方法背后的生物学灵感。第4节回顾了事件相机的应用，从低级到高级的视觉任务，以及一些旨在发掘它们潜力的算法。第5节介绍了神经形态处理器和嵌入式系统。第6节回顾了用于事件摄像机的软件、数据集和模拟器，以及其他信息来源。本文以讨论(第7节)和结论(第8节)结束。