激光雷达融合摄像头会有怎样的结果

最近几年，放在摄像头上的深度学习研究，发展很蓬勃。相比之下， 激光雷达 (LiDAR) 身上的学术进展并不太多。可是，激光雷达采集的数据，有很多优点。比如空间信息丰富，比如光照不足也不影响感知，等等。

当然，也有缺点。激光雷达数据，缺乏RGB图像的原始分辨率、以及高效的阵列结构 (Array Structure) 。并且，3D点云很难在神经网络里编码。

如何“淘汰”摄像头？

激光雷达厂商Ouster，是领域内独角兽Quanergy的前联合创始人Angus Pacala，出走之后建立的新公司。

                                                                     Ouster联合创始人兼CEO

去年11月，公司推出了OS-1激光雷达，想要从这里开始，打破激光雷达与摄像头的界限。中心思想是，只要激光雷达的数据足够好，就算专为处理RGB图像 而生的深度学习算法，也可以拿来用。Pacala说，现在OS-1可以实时输出固定分辨率的深度图像 (Depth Image) ，信号图像 (Signal Image) 以及环境图像 (Ambient Image) 。这些任务都不需要摄像头的参与。

          高速相对运动中，容易产生果冻效应

数据层与数据层之间，是空间相关的。拍摄高速运动的物体，也不容易产生果冻效应 (Shutter Effects) 。另外，OS-1的光圈，比大多数单反相机的光圈要大，适合光照不足的场景。团队还开发了光敏度很低的光子计数ASIC，在低光照的情况下采集环境图像。

自上而下：环境、强度、范围图像，以及点云

设备可以在近红外波段捕捉信号与环境信息，获得的数据，跟普通可见光图像差不太多。这样，分析RGB图像用的算法，也可以处理激光雷达的数据。

小伙伴们还可以用Ouster (刚刚进行了固件升级) 的开源驱动，把数据转换成360度的全景动态：

数据跑一跑

就像刚才说的，只要数据够好，就可以用那些为摄像头开发的算法，来做深度学习。把深度、强度和环境信息，编码成向量。就像RGB图像可以编码成红绿蓝通道一样。所以，OS-1的数据质量究竟怎么样？

数据跑得很开心

Pacala说，他们用过的算法，和激光雷达的合作都很愉快。

举个栗子，他们训练了一个像素语义分类器，来分辨可以行驶的道路，其他汽车，行人，以及自行车。

这里是旧金山，在英伟达GTX 1060上运行分类器，实时生成了这样的**语义分割**效果：

语义分割：路是路车是车

这是团队做的第一个实现。

数据是逐像素的数据，所以能够无缝将2D翻译成3D帧，来做边框估计这类实时处理。

除此之外，团队还把深度、信号和周围环境分开，单独放进神经网络里去跑。一个栗子，用了SuperPoint项目里预训练的神经网络，来跑强度和深度图像。

网络是在RGB图像上训练的，从来没接触过激光雷达/深度数据。初次见面，却一见如故：

不过，融合了摄像头属性的激光雷达，搭载到自动驾驶车上会有怎样的表现，还是未知。