Sparse Fuse Dense: Towards High Quality 3D Detection with Depth Completion

文献阅读笔记

一、题目：Sparse Fuse Dense: Towards High Quality 3D Detection with Depth Completion

二、提出问题

  点云的的稀疏性导致了仅基于激光雷达的三维目标检测遇到了困难，虽然许多多模态的检测理论被提出为了解决这一问题，但是由于点云和图像的不同表现形式，这类理论在融合这两种数据时遇到了困难，本文主要是解决点云和图像在三维目标检测的融合问题。

三、创新点

1、利用伪点云将图像信息转化为点云信息，并通过一种3D RoI融合策略（3D-GAF）在ROI级别上融合这两种点云特征。
2、本文提出一种用于多模态检测框架的同步增强方法，通过这一增强方法，本文的模型可以使用任何基于点云的数据增强方法。
3、不同于稀疏卷积，作者提出了一种用于直接提取伪点云特征的CPConv结构，它可以同时提取伪点云的二维图像特征和三维几何特征。

四、主要理论

1、模型整体框架如下：

  从上图可以看出模型的核心有三部分：1）对彩色图像进行深度补全，进而生成伪点云，伪点云的特征包含了对应于图像上的原始RGB值和像素坐标，第