自动驾驶之心：毫米波雷达-视觉融合感知方法（前融合/特征级融合/数据级融合）

毫米波雷达-视觉融合感知方法（前融合/特征级融合/数据级融合）

分享一个自动驾驶之心的报告：毫米波雷达与视觉融合目标检测。

作者主页为：https://www.zhihu.com/people/nacayu

1. 毫米波雷达与相机融合检测背景

毫米波雷达显著特性有：可以测量目标的位置、速度、角度，此外毫米波雷达能够全天候全天时工作，受天气影响较小。

下面是毫米波雷达工作原理，原始的毫米波雷达数据是RDA数据块，分别表示距离、多普勒和角度，但在实际使用中往往得到的是点云数据。

下面是毫米波雷达和激光雷达的对比：

• 毫米波雷达得到的点云是很稀疏的，同时是不均匀的；而激光雷达是稠密且均匀的；
• 同时激光雷达和毫米波雷达发射方式也不同，激光雷达是射线发射，毫米波雷达是锥形发射；
• 数据格式也完全不同，毫米波除了位置信息，还有RCS和速度信息，而激光雷达只能得到物体形状信息；

2. 主流融合方法

首先介绍多传感器融合的必要性，以及由此而引入的问题。

下面是不同融合方式的优劣势对比及代表工作，RadSegNet是一个用于做3D检测的代表性工作。

这里会重点介绍下面三个红字标出的方法。

首先是CRFNet，这里也给出了复现代码。

第二个就是CenterFusion，很经典的一个融合工作。

第3个工作是CRAFT。

下面是特征融合的总结：

• 如何选择适合Radar的特征表示形式，point表征，voxel表征还是proposal表征等；
• 激光雷达中的特征提取方法能否迁移到Radar中，二者都可以看作是点云数据；
• 如何高效的关联两个模态的数据；
• Radar表征能力不断加强；
• 寻求多阶段的融合方法；
• 引入先验信息；

下面是已有的Radar数据集：

---

3. 其它领域应用简介

4. 未来机遇与挑战

4D毫米波雷达的兴起未来会促进相机与毫米波雷达的感知能力。之前在两个不同的4D毫米波雷达数据集上进行测试发现，一个数据集中平均每帧4D毫米波雷达会包含330个3D点，一个数据集中平均每帧会返回2700个3D点，点数远远多于传统的3D毫米波雷达，且同时还提供高度信息，无疑会大幅提高二者融合感知能力。