多传感器融合 | 详解PointPainting和MVP

作者 | 谷溢  编辑 | 深蓝AI

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心技术交流群

后台回复【多传感器融合综述】获取图像/激光雷达/毫米波雷达融合综述等干货资料！

一提到多传感器融合的工作，就不得不帮深蓝学院打一波广告了，多传感器融合的定位课程是我心目中top3的存在，最近又开设了多传感器融合的感知课程。

多传感器融合相关的理论真的可以非常复杂，而在感知方面，由于可以和深度学习做结合，所以很多工作可以变得简单有效，有时候一个简单的特征融合都会有很好的效果。

本文结合 3D 物体检测，为大家带来两篇工作，一篇是 PointPainting，一篇是Multimodal Virtual Point 3D Detection (后称MVP).

PointPainting

这篇文章并不算久远，但是很适合作为多传感器的入门读物。在当时 3D 物体检测还是以 Lidar-Only 的方式为主，因为融合的算法并不能体现明显的优势，但是很显然，Lidar 的信息有限、检测精度有限。如下图可以看到，在25m远的地方，人和杆子仅根据点云已经很难区分了，但是图像上却很容易区分。

针对Lidar信息有限的问题，解决思路有两个，一个是挖掘更多的信息，但是这条路很难走；另一个思路就是加信息，那么怎么加信息就是我们要关注的点了。

PointPainting的解决思路是为每个点赋上一个语义，这个语义从图像中可以获取，结合论文的流程图加以理解：

在有了带语义的点云之后，再输入到一个现有的点云检测网络当中即可。这是 CVPR 2020 的工作。

工作虽然很简单，但是效果提升很明显。不过我们还是需要有一些思考，虽然这样的方式可以提升性能，但是图像分割不是绝对准确的，如果赋错了怎么办？而且点云依旧是稀疏的，是不是可以像PseudoLidar这类单目3D物体检测的方法，去补一些点呢？我们来看一看 MVP 是怎么思考这些问题的。

MVP

我们首先看一下 3D 物体检测常见的failure case (图像来自MVP github):

在远处的物体往往会出现误检、漏检以及检测不准确的问题。这是由于雷达过于稀疏：

那么按照 PointPainting 的做法我们会为这些稀疏的点赋上语义，如下图：

但是稀疏的问题仍然存在，所以MVP提出的观点是，应当补充适当的点，使得远处的点稠密，又不至于整理计算开销太大：

方法也很简单，其实深度估计都不需要，我们根据图像得到的 Mask，可以先计算一些 Mask 内有多少 Lidar 点，如果满足一定阈值，比如20个点，我们就不做额外操作，如果不满足，我们就在mask内随机选若干个像素，深度依据最近邻原则补上，然后再投影到3D空间，这样做不仅不会增加很大的开销，而且可以大幅提升性能：

可以看到 MVP 的 performance 是远超 PointPainting 的。

我们在选取一帧补充后的点云做可视化：

总结

所以有些时候思想往往更重要，最近很火的 MAE 其实也十分易懂，但是效果却很惊艳，简洁到不知道怎么修改，当然这是开玩笑了。这两篇工作都是非常简单，但是实验都做得非常充分，MVP 还结合了最新的 MaskFormer 做了一些实验。这也给了我们很大启发，有时候分析清楚问题往往比设计一个复杂又不通用的算法要有意义多。

往期回顾

一文尽览 | 基于点云、多模态的3D目标检测算法综述！（Point/Voxel/Point-Voxel）

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、规划控制、模型部署落地、自动驾驶仿真测试、硬件配置、AI求职交流等方向；

加入我们：自动驾驶之心技术交流群汇总！

自动驾驶之心【知识星球】

想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球（三天内无条件退款），日常分享论文+代码，这里汇聚行业和学术界大佬，前沿技术方向尽在掌握中，期待交流！