3D目标检测综述

简介

主要从技术变更历史、发展路线、数据集、数据融合的方式、当前知名的实验室以及大牛，其中的侧重点等方面介绍。当作是文献阅读的一种记录。有不足之处还请指出。
目前主流的分类方法是根据输入数据是否经过处理来作为判断依据的。其中主要有两大类：point-based和voxel-based两大类。前者保留了点云的全部信息，预测准确度相对较高，但是计算量较大，后者损失了部分点云位置信息，准确度相对较低，计算量较小，但是目前这两者的界限也在慢慢模糊。也有根据2D目标检测划分标准，分为two-stage和one-stage。还有更为详尽的划分。本文也会提到。
随着自动驾驶逐渐落地，3D目标检测受到了科研和工程的双重重视。目前自动驾驶技术哪家强，当然是google的waymo，他们的技术团队成员绝大部分来自于斯坦福，拥有很强的技术积累。当然之前uber将旗下的ATG部门卖给了Aurora，ATG老大是多伦多大学的ATG的Header。也是业内的大佬。从MIT走出的一家初创公司NuTonomy也挺强。毕竟有MIT做背书。现在苹果也来入局，开始和google强人才了。国内的话，百度无疑走到最前列。但是大佬都在香港。比如港中文的Hongsheng Li，他与商汤有着技术深度合作，还有就是jiaya Jia，之前出任腾讯的优图实验室的主任，后来离职又回归学校，也是在这个方向上的大牛。阿里相对入局晚点，达摩院有个自动驾驶实验室，而且还在2020年孵化出了小蛮驴，解决配送终端的无人配送问题。而且已经在去年双十一发挥了不小的作用，有兴趣的可以去浙大学校瞅瞅。

分类

这是截止到2020.4月份的文章脉络。后续会更新最新的文章。

我按照文章的分类（two-stage和single-shot）方法，之后再详细解释每个类别的含义。在Region Proposal-based中，Multi-view Methods是指输入有多种角度，如BEV、front-view（camera view）等。Segmentation-based Methods是基于分割的方法，这里就会用到PointNet和PointNet++。Frustum-based Methods则是先利用2D目标检测提取平头锥状的目标检测区域，之后再进行训练。这个方法无法做到实时性，目前不太看好这个方向。在Other Methods中的R-CNN系列是基于R-CNN进行的改进和迁移。
在single-shot中，BEV-based的方法有着先天的局限性。由于丢失了部分3D空间信息，准确率也不是很高。Discretization-based相对来说类似于voxel，只是处理方式略有不同，如PointPollars，就是将原始点云处理为Pillars，便于2D卷积，同时还能进行3D预测。Point-based则是直接利用点云，如3DSSD和阿里的SA-SSD都是这类方法。在Other中，OHS-Dense和OHS-Direct在输入上引入了hotspot。PointGNN则是引入了GNN结构。

Region Proposal-based Methods

Multi-view based Methods

MV3D

从BEV映射中一组高度精确地3D候选框，并将它们映射到多个视角的特征图中（如LiDAR的前视图，RGB图）。然后结合不同视角的每个区域的特征来预测原始的3D边界框。精度比较高，但是前向推理时间较长。

两个方面的改进：

• 高效融合不同模态信息
• 提取输入数据的鲁棒表示

AVOD

将高分辨率特征提取器和多模态融合RPN结构耦合，对小目标有较高召回率的3D proposal。同时整个推理时间和内存减少。

RT3D

ContFuse

SCANet

MMF

Segmentation-based Methods

IPOD

PointRGCN

PointRCNN

PointRCNN

PointPainting

STD

Frustum-based Methods

F-PointNets

F-PointNets

Point-SENet

PointFusion

RoarNet

F-ConvNet

Patch Refinement

Other Method

Fast Point R-CNN

PV-RCNN

PV-RCNN

Voxel R-CNN

Voxel R-CNN

VoteNet

Part-A^2Net

ImVoteNet

Single Shot Methods

BEV-based

PIXOR

HDNET

Discretization-based Methods

VeloFCN

3D FCN

Vote3Deep

3DBN

VoxelNet

SECOND

SECOND

MVX-Net

PointPillar

SA-SSD

SA-SSD

CIA-SSD

CIA-SSD

Point-based Methods

3DSSD

3DSSD

Other Methods

LaserNet

LaserNet++

OHS-Dense

Point-GNN

文献参考：
Deep Learning for 3D Point Clouds: A Survey—TPAMI2020