SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection

摘要

尽管基于点的网络被证明对三维点云建模是准确的，但在三维检测方面，它们仍然落后于基于体素的竞争对手。我们注意到，当前流行的降采样点集合抽象设计可能会保留太多不重要的背景信息，从而影响目标检测的特征学习。为了解决这个问题，我们提出了一种新的集抽象方法——语义增强集抽象(SASA)。在技术上，我们首先添加一个二值分割模块作为侧输出，以帮助识别前景点。

在此基础上，我们提出了一种语义引导的点采样算法，以帮助在下采样时保留更重要的前景点。在实际应用中，SASA可以有效地识别出与前景物体相关的有价值点，并改进了基于点的三维检测中的特征学习。此外，它是一个易于插入的模块，能够增强各种基于点的检测器，包括单级和两级检测器。在流行的KITTI和nuScenes数据集上进行的大量实验验证了SASA的优越性，提升了基于点的检测模型，达到了与最先进的基于体素的方法相当的性能。

代码可以在https://github.com/blakechen97/SASA上找到。

 

输入点经过点分割网络，一个语义引导的点采样层和一个普通的pointnet++ SA层。

 pointnet++ SA层包括三部分sampling  ：采用FPS采样，grouping ：为每个点以一定的半径，找领域点，最后送入point net。

使用语义增强集抽象的3DSSD和PointRCNN主干示意图。 

SASA模块

主要由三部分组成:点分割模块、语义引导的点采样层和普通的pointnet++ SA层。

点分割模块：它是一个简单的2层MLP，论文中介绍了对于的参数和使用的优化器损失函数啥的。

语义引导的最远点采样：S-FPS

 

Conclusion

本文提出了一种基于语义增强集抽象(SASA)的基于点的三维检测方法。我们的主要概念是将语义信息合并到Pointnet SA阶段，以指导基于点的骨干更好地建模潜在对象。在KITTI和nuScenes数据集上的实验结果表明，我们的策略可以帮助在点下采样阶段获得更高的点召回率，从而获得更好的检测结果。该方法为基于点的检测提供了一个有前景的方向。它不仅可以在基于点网的模型中实现，而且还兼容基于变压器的网络和图神经网络，用于模型缩减。

这篇论文作者想要解决降采样点集合抽象设计可能会保留太多不重要的背景信息，从而影响目标检测的特征学习这一问题。

提出的关键点是