论文阅读笔记 | 三维目标检测——SECOND算法

---

如有错误，恳请指出。

---

paper：《SECOND: Sparsely Embedded Convolutional Detection》

1. 背景

鉴于VoxelNet等3d检测算法中使用的3d卷积会导致计算量大且推理速度慢的问题，所以这里提出了一种稀疏卷积(sparse convolution method)。在介绍VoxelNet中，也提及到由于其损失结构采用直接回归的方式，虽然简洁但可能会限制其网络性能，在此基础上，SECOND提出了一个新的损失函数与数据增强策略来对其进行改进。

---

2 网络结构

2.1 3d Backbone

整体的SECOND结构与VoxelNet机构是一样的，结构图如下所示。但是，在VoxelNet中使用的3d卷积，这里SECOND提出了稀疏卷积对其进行替换，大大提高了推理速度。

稀疏卷积有两种：
1）正常稀疏卷积层：没有相关的输入点就不用计算输出点。该方法在仅基于LiDAR的方法上有益。
2）子流型卷积：限制当且仅当相应的输入位置处于活动状态时，输出位置才处于活动状态。这避免了生成过多的活动点，因为活动点过多会导致后续卷积层的速度下降。

稀疏中间层特征提取如上图所示，其中黄色框表示稀疏卷积，白色框表示子流形卷积，红色框表示稀疏到密集层。可以发现其有两个稀疏卷积阶段，每个阶段有多个子流型卷积层和一个正常稀疏卷积层对z轴进行下采样。在z轴维度下采样到1或2时将稀疏数据转化为稠密特征图，reshape成2D数据。

ps：对于稀疏卷积的具体原理，可以参考：稀疏卷积 Sparse Convolution Net，对于稀疏卷积的代码实现可以查看参考资料3和5.

2.2 Loss Compute

对于损失部分，SECOND对位置信息xyz以及尺寸信息whl都采用了和VoxelNet一样的方法，也就是直接回归预测，但是对于角度预测进行了改进。这是由于VoxelNet直接预测弧度偏移，但在0和π的情况下会遇到一个对立的问题，因为这两个角度对应的是同一个盒子，但当其中一个被误认为是另一个时，会产生很大的损失。这里SECOND对于角度的损失函数设置为：Lθ = SmoothL1(sin(θp − θt))。

现在对此损失函数进行分析。SmoothL1函数是偶函数，而Sin函数是奇函数。假设有两个对称的anchor对ground truth的角度偏移为-20与20。那么，先经过了奇函数再经过一个偶函数，这两个框与ground truth所得到的损失是一致的。也就是 SmoothL1(sin(20)) = SmoothL1(sin(-20))。这样就可以解决对立情况损失较大的问题，现在可以将对立损失改为一致，同时还可以根据角度偏移函数模拟出iou。但是由于两个相反方向的损失一致，如何判别正负方向。SECOND的解决方案是再输出一个direction head（方向分类器）来判别，如果anchor绕GT的z轴旋转大于0，则结果为正；否则为负。

SECOND的RPN结构如下所示，由于新增加了一个方向分类器，所以总共有三个head：score map(类别分类器)、regression map(回归预测)、direction map(框方向分类器)。这里同样使用了多尺度融合的策略，进行两个尺寸的下采样再上采样到相同尺寸进行拼接融合。后续再对融合的特征图进行1x1卷积降维构建3个head。

2.3 Data Augment

此外，SECOND还提出了一种类似copystate的数据增强策略。将GT及其包含的点提取出来， 做成一个数据库，当训练的时候，随机取出几个GT放到正在训练的场景中。但是为了避免重叠，所以会进行一个碰撞测试，思想是类似的，只是实现的方法不一样。其他的数据增强策略就不多说了，就是和VoxelNet类似的随机缩放，随机旋转等。

---

3. 实验结果

SECOND就是在VoxelNet的基础上提出了稀疏卷积来提高推理速度，同时还设计了一种新颖的角度损失解决了对立情况(0与π)损失较大的问题，但需要direction map来进行辅助处理。测试集结果如下所示，推理速度上达到了SOTA水平。

验证集结果如下所示：

---

参考资料：

1. 论文阅读 SECOND:Sparsely Embedded Convolutional Detection
2. SECOND笔记
3. 基于pytorch简单实现稀疏3d卷积（SECOND）
4. 稀疏卷积 Sparse Convolution Net
5. 优化版-基于pytorch简单实现稀疏3d卷积（SECOND）