图像、点云以及毫米波雷达之间的区别

---

前言

针对相机得到的图像、激光雷达和毫米波雷达得到的点云数据，在无人驾驶感知领域得到了大量的应用，根据个人搜集得到的现有资料，从观测距离、范围、 数据类型及数据量和对应算法计算复杂度、速度及精度等各方面进行对比。

---

一、激光雷达和相机

下图为激光雷达（Lidar）和相机（Camera）的对比：

ToF（time-of-flight）飞行时间测距法测距：该方法属于双向测距技术，利用数据信号在一对收发机之间往返的飞行时间来测量两点间的距离。将发射端发出数据信号和接收到接收端应答信号的时间间隔记为Tt,接收端收到发射端的数据信号和发出应答信号的时间间隔记为Tr，如下图所示。信号在这对收发机之间的单向飞行时间Tf=(Tt-Tr)/2，则两点间的距离d=c*Tf,其中c表示电磁波传播速度。

图2 time-of-flight测距方法

1. Lidar在Apollo中工作原理：

（1）输入为 Lidar 得到的点云数据，输出为检测到的障碍物
（2）由 HDmap 来确定 ROI (region of interest），过滤 ROI 区域外的点
（3）处理点云数据，探测并识别障碍物 (由 AI 完成)
（4）障碍物追踪

下图为百度Apollo 2.0 感知模块中，相机和激光雷达在Apollo无人驾驶项目中的实际应用场景。

2. Lidar点云目标检测流程

（1）lidar representation：激光雷达点云的特征表达，包括bev图、camera/range view图、point-wise feature、融合特征
（2）network backbone：用于特征提取的主体结构，可以为resnet，vgg等，也包括增强特征的方式，如fpn
（3）detection head：检测网络输出，包括目标的类别、位置、大小和姿态，以及速度预测等，对于two-stage detector来说，roi pooling也是很重要的一个环节。

3. Lidar感知的各个视图

（1） 鸟瞰图（bird’s eye view）表示：
------鸟瞰表达被编码成高度，强度和密度信息。我们离散投影的点云到分辨率为0.1米的二维网格中。对每一个单元格，高度特征被计算为该单元格的最大高度点。要编码更详细的高度信息，点云平分成M片。每个切片都进行高度图计算，因此，我们得到M个高度图。
强度特征是每个单元格中有最大高度的点的映射值。
密度特征表示每个单元格中的点的数目。
（2）前视图表示：
------前视图表示对鸟瞰图表示提供了互补的信息。由于激光雷达点云是非常稀疏的，投影到图像平面会导致在一个稀疏的二维点地图。相反，我们把它投射到一个圆柱体平面上，以产生一个密集的前视图地图。

在3D物体检测中，鸟瞰图相比于前视图/图像平面有几个优点：
1、物体投射到鸟瞰图时，保持了物体的物理尺寸，从而具有较小的尺寸方差，这在前视图/图像平面的情况下不具备的。
2、在鸟瞰图中，物体占据不同的空间，从而避免遮挡问题。
3、道路场景中，由于目标通常位于地面平面上，并在垂直位置的方差较小，鸟瞰图定位在获得准确的3Dbounding box是很重要的。

4. Radar毫米波雷达

即使许多现有的3D目标检测算法主要依赖于摄像头和LiDAR，但camera和LiDAR容易受到恶劣天气和光照条件的影响。radar能够抵抗这种情况。近期研究表明可以将深度神经网路应用于雷达数据。顺便说一下毫米波雷达，下图是我在MOOC上看的一个老师讲的，毫米波雷达的波长一般在1-19mm之间，而且测距较远，但是精度上毫米波雷达不及激光雷达。

根据下图可知，毫米波的波长介于厘米波和光波之间，因此毫米波兼有微波制导和光电制导的优点，且其引导头具有体积小、质量轻和空间分辨率高的特点。此外，毫米波导引头穿透雾、烟、灰尘的能力强，相比于激光雷达是一大优势。

以Delphi ESR毫米波雷达为例，该款毫米波雷达采集到的数据带有距离、速度和角度等信息，经过处理可以用于感知周围物体的距离、方位等信息。

二、Camera && Lidar在感知领域应用对比

1. 观测距离及范围

LiDAR系统可以轻松地探测位于30~200米范围内的物体。看下图，下图为百度L4级自动驾驶纯视觉（长短焦距相机）城市道路闭环解决方案“Apollo Lite（2019 CVPR）。其中左上角为12mm长焦距单目相机，可感知大约200m范围内的目标，左下角为6mm短焦距单目相机，可感知大约120m范围内的目标。

摄像头测距的精度是远不如激光雷达，多普勒雷达的，这是传感器物理属性所致。测量精度随距离增大而降低，这是 camera 本身的问题。可以借助长焦相机，或者通过和多普勒雷达融合，得到精准的距离估算。需要其它传感器帮助，或者借助 tracking 来提高预测精度。更重要的是，单目相机可以感知稍远，如果双目的话感知距离受硬件影响更有限。
-----预测这些参数是为了测距服务，测距的误差大概在 6% ~ 8%，在之后的融合中，借助 radar 的准确测距，可以弥补这些误差。

2. 数据类型及数据量

（1） 深度图像也叫距离影像，是指将从图像采集器到场景中各点的距离（深度）值作为像素值的图像。
（2） 点云：当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。深度图像经过坐标转换可以计算为点云数据；有规则及必要信息的点云数据可以反算为深度图像。
------ 16线的LiDAR每秒钟要处理的点达到了30万。激光雷达的线数和可视范围会逐渐增加。对于目标检测算法来说，高线数激光雷达的数据一定比低线数雷达的要好，但是高线数也对算法的速度有着更高的要求。
------ Apollo Lite是一套纯视觉的解决方案。据介绍，Apollo Lite能够支持对10路摄像头每秒200帧的数据量进行并行处理，实现360°全方位的环境感知，同时单视觉链路最高丢帧率可以控制在5‰以下，前向障碍物的稳定检测视距达到240米。

3. 计算复杂度、速度及精度

核心问题之一：判断物体的远近和光照条件
（1）基于单一摄像头所抓取的2D图像无法得到准确的距离信息。
（2）而基于多摄像头生成深度图的方法又需要很大的计算量，不能很好地满足无人车在实时性上的要求。
----- 以色列的mobileeye就是基于单摄像头，以及机器学习来实现了判断障碍物距离，可以认为是Structure From Motion+机器学习。双目在应用中也有不少难处，但总的来说，探测距离、探测精度、扫描频率、镜面黑洞、寿命和价格，这6个重要的方面可以说是完胜激光雷达。在一些自动驾驶汽车公司里使用的USB3.0工业摄像头，实现1080p甚至4k分辨率，120fps的也不难，也就小几千元的级别。
------至2019年末，全球已有约65W辆Tesla汽车跑在路上。 Elon说，这些车都装有完全自动驾驶所需的硬件。不用LiDAR，不用高精地图，但实际操作时却说只能作为L2使用
------借助LiDAR的特性，我们可以对反射障碍物的远近、高低甚至是表面形状有较为准确的估计，从而大大提高障碍物检测的准确度，而且这种方法在算法的复杂度上低于基于摄像头的视觉算法，因此更能满足无人车的实时性需求。

下表为CVPR2020阿里达摩院自动驾驶新成果，3D物体检测精度与速度的兼得《Structure Aware Single-Stage 3D Object Detection from Point Cloud》论文中，LiDAR与RGB在速度也就是帧率（FPS）上的对比，可以看出纯LiDAR方案比LiDAR+RGB方案处理帧率更高，速度更快，而且精度更高。

声明：以上图片以前截取下来的，忘了出处，若有冒犯到哪位大佬的知识版权，还望告知我注明出处哈，万分感谢！

---

参考

（1）https://blog.csdn.net/CDebyte/article/details/109450441