【论文阅读】【三维目标检测】Voxel-FPN

论文题目
Voxel-FPN: multi-scale voxel feature aggregation in 3D object detection from point clouds

该论文由海康威视出品，虽然结构简单，但效果就是好。排到了第三的位置上。

Voxel-FPN

整体框架如下，分为三个部分。

Voxel Feature Extraction

这部分的feature的extraction的方式是与VoxelNet一模一样的，具体见下图：

与VoxelNet不同是，在提取Voxel的feature的时候，就对多个尺度的Voxel进行了处理。分别为S，2S和4S，与传统的FPN不同，输入的图片只有最高分辨率的一张，本文相当于对输入的图片就行了下采样，与不同层的feature map相融合。

Multi-scale Feature Aggregation

得到的Voxel的feature其实还是一个四维的数据，但文中也没细说怎么处理，反正用的卷积核是2D卷积核，所以我认为是将同一位置不同高度的voxel的feature堆叠起来了。
具体的操作如下图：

RPN-FPN

具体构成也没有讲，从要回归和分类的变量看，也比较普通：

实验

实验结果就分为如下两块，第一个是自己的ablation study：

另外一个就是对比：

思考

1、为什么加了4S的feature，效果反而降下来很多？文章中也没分析，我对此也不理解。
2、文章中SSD与FPN-RPN的对比，其实我不是很理解这部分的对比。SSD的detection head是加在了下采样的过程中，FPN-RPN的detection head是加在了上采样的过程中。而文中说的类似于SSD的设置，具体也没讲清楚，所以不知道SSD要比FPN-RPN强在哪里？
3、其实可以看到，本文作为在俯视图中使用One-stage检测方法的典型代表，与PointPillars和VoxelNet（two-stage），但本文方法效果就是很好。与PointPillars相比，理论上的区别在于PointPillars是使用PointNet提取每一个Voxel的特征的，而且一个Voxel是占据空间中一个竖直长条的位置的。与VoxelNet相比，是吧双阶段的检测模型换成了单阶段。
4、本文的内容写的还是比较粗糙，很多细节都没有交代，例如detection head的具体构成，object在FPN中由哪个层预测的assignment等等，需要看了代码才能理理清楚。但本文效果非常好，使用的训练的具体方式，如果能放出来，也许有很大的借鉴作用。