PointPillars：基于点云的快速目标检测网络

1 PointPillars简介

PointPillars是一个基于点云的快速目标检测网络，在配置为Intel i7 CPU和1080ti GPU上的预测速度为62Hz，在无人驾驶领域中常常能够使用上它，是一个落地且应用广泛的一个3D快速目标检测网络。

2 PointPillars Network

PointPillars包括3个主要阶段：
(1) 将点云转换为稀疏伪图像的特征编码器网络；(2)2D卷积主干网络，将伪图像处理为高级表示；
(3)检测并会回归3D box的检测头。
1、采用Pillar编码方式编码PointCloud：在点云的俯视图的平面进行投影使之变成伪2D图，对这种投影进行编码用的是Pillar方法，即在投影幕上划分为 H * W 的网格，然后对于每个网格所对应的柱子中的每一个点取原特征（x,y,z,r,x_c,y_c,z_c,x_p,y_p）共9个，再然后每个柱子中点多于N的进行采样，少于N的进行填充0，形成了（9，N，H * W）的特征图。
2、使用2D Convolution进行处理：这一部分算得上是网络中的backbone，backbone包含两个子网络一个是top-down网络，另一个是second网络。其中top-down网络结构为了捕获不同尺度下的特征信息，主要是由卷积层、归一化、非线性层构成的，second网络用于将不同尺度特征信息融合，主要由反卷积来实现。
3、使用SSD的检测头对目标进行检测。

损失函数

 使用localization loss对3D bounding box进行回归，由于box的±Π在localization loss无法被学习到，所以使用direction loss对此进行学习，在classification loss中使用focal loss对分类进行学习。

3 网络训练

https://github.com/nutonomy/second.pytorch
https://github.com/open-mmlab/mmdetection3d
https://github.com/SmallMunich/nutonomy_pointpillars
https://github.com/open-mmlab/OpenPCDet/tree/master