轻量级多模态3D检测新思路！PointSee：使用图像增强点云

作者 | 王汝嘉  编辑 | 汽车人

原文链接：https://zhuanlan.zhihu.com/p/586824434

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心【3D目标检测】技术交流群

后台回复【3D检测综述】获取最新基于点云/BEV/图像的3D检测综述！

论文思路

融合多模态信息进行三维目标检测(3OD)是一种趋势。然而，在设计多模态融合Newtorks时，仍然没有很好地解决轻量级低、即插即用灵活性差、特征对齐不准确等具有挑战性的问题。本文提出了一种轻量级、灵活有效的多模态融合解决方案PointSee，通过对场景图像拼接的激光雷达点云进行语义特征增强，方便各种3OD网络。除了现有的3OD智能外，PointSee还包括一个隐藏模块(HM)和一个已见模块(SM)：HM以离线融合的方式使用二维图像信息装饰激光雷达点云，导致对现有3OD网络的调整最小甚至没有；SM通过获取具有代表性的点云语义特征，进一步丰富了激光雷达点云，提高了现有3OD网络的性能。除了PointSee的新结构外，本文还提出了一种简单而有效的训练策略，以缓解二维目标检测网络潜在的不准确回归。在流行的室外/室内基准上进行的广泛实验表明，本文的PointSee在22种最先进的技术上有了数值上的改进。

主要贡献

本文提出了一种轻量级即插即用的POINTSEE模块，它由隐藏模块(HM)和SEED模块(SM)组成，可以通过任何数据增强插入到现成的3OD网络中以提高其性能。

本文提出了一个用于离线记录点云的隐藏模块(HM)，使PointSee在几乎不改变网络结构的情况下更加灵活。

本文提出了一个SEEN模块(SM)，用于获取点云的额外代表性语义特征，以获得更好的检测结果。

本文通过3DSSD[21]和POINTRCNN[22]在室外KITTI数据集[23]和F-CONVNET[20]在室内SUN-RGBD数据集[24]上广泛验证了PointSee的有效性。带有PointSee的3DSSD的性能优于最先进的基于PV的方法，如PV-RCNN[25]。

网路设计：

图 1. PointSee的图示。PointSee是一个轻量级、即插即用和有效的多模态融合模块，为先进的3OD网络服务。在PointSee中设计了一个隐藏模块(HM)和一个可见模块(SM)。HM采用离线融合的方式，避免了现有3OD网络的任何调整，而SM则通过向每个点明智地添加额外的语义特征来照亮3OD网络的“眼睛”。具体来说，本文利用任意2OD网络输出的二维bounding box生成截锥面点云。然后将截锥面点云输入HM进行编码，为每个点增加三种标记信息。然后将重新编码的点送入SM中，获取具有代表性的语义特征，用于装饰激光雷达点。最后，装饰后的点可以服务于各种3OD网络。

图 2. PointSee概述。PointSee包括两个部分：（1）隐藏模块；（2）Seen 模块。隐藏模块根据二维网络输出的二维bounding box提取锥面点云，然后对保留点进行三维扩展（语义分割标签、类别标签和目标数）。SEEN模块提取额外的点语义特征来修饰这些保留的点，以获得更好的检测结果。

现有的多模态融合工作往往不能满足轻量级、即插即用的灵活性和特征精确对齐的要求。例如，它们可能有复杂的数据处理和融合管道，导致轻量级低；它们可能为某些3OD网络引入图像特性，难以转移到其他3OD网络，导致即插即用灵活性差；此外，多个激光雷达点可能被投影到图像中的同一像素，导致点到像素特征的不准确对齐。

本文介绍了PointSee，它功能强大，灵活地嵌入到各种3OD网络中。PointSee以点云和图像为输入，增强点的语义特征，提高3OD的性能。如图所示 2，PointSee由一个隐藏模块和一个已见模块组成。隐藏模块是一个离线处理模块，不需要嵌入到3OD网络中。只有SEEN模块嵌入到3OD网络的头部，用于端到端的训练和推理。

实验结果

往期回顾

纯视觉3D检测综述！一文详解3D检测现状、趋势和未来方向！

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、规划控制、模型部署落地、自动驾驶仿真测试、硬件配置、AI求职交流等方向；

添加汽车人助理微信邀请入群

备注：学校/公司+方向+昵称

自动驾驶之心【知识星球】

想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球（三天内无条件退款），日常分享论文+代码，这里汇聚行业和学术界大佬，前沿技术方向尽在掌握中，期待交流！