3D点云分割算法汇总

作者：Tom Hardy
Date：2020-2-19
来源：汇总|3D点云分割算法

前言

最近在arXiv和一些会议上看到了几篇3D点云分割paper，觉得还不错，在这里分享下基本思路。

1、SceneEncoder: Scene-Aware Semantic Segmentation of Point Clouds with A Learnable Scene Descriptor

除了局部特征外，全局信息在语义分割中起着至关重要的作用，而现有的研究往往无法明确地提取出有意义的全局信息并加以充分利用。本文提出了一个场景编码模块来实施场景感知指导，以增强全局信息的效果。该模块预测场景描述符，场景描述符学习表示场景中存在的对象的类别，并通过过滤不属于该场景的类别直接指导点级语义分割。另外，为了减少局部区域的分割噪声，本文设计了一个区域相似性损失来将特征传播到具有相同标签的相邻点上，从而提高了点特征的识别能力。论文还将方法集成到几种网络中，并在ScanNet和ShapeNet基准数据集上进行了广泛的实验。结果表明，该方法大大提高了在baseline上的表现，达到了SOTA。

2、From Planes to Corners: Multi-Purpose Primitive Detection in Unorganized 3D Point Clouds

提出了一种新的正交平面及其相交线、关系图和位于三个正交平面相交处的角点的无分割联合估计方法。这种在正交性下的统一场景探索允许许多应用，例如语义平面检测或局部和全局扫描对齐，这反过来可以帮助机器人定位或抓取任务。本文的两阶段pipelines包括对正交平面进行粗略的联合估计，然后根据正交关系对平面参数进行联合求精。形成了这些原语的图形，为进一步提取可靠的特征如线和角铺平了道路。本文的实验证明了提出的方法在从墙检测到6D跟踪的各种场景中的有效性，无论是在合成数据还是真实数据上。

3、Learning and Memorizing Representative Prototypes for 3D Point Cloud Semantic and Instance Segmentation

三维点云语义和实例分割是三维场景理解的关键和基础。由于点集结构的复杂性，点集的分布呈现出非平衡性和多样性，表现为类别不平衡和模式不平衡。因此，深度网络在学习过程中很容易忘记非优势案例，导致学习效果不理想。虽然重新加权可以减少分类好的例子的影响，但在动态训练中不能处理非优势模式。本文提出了一种记忆增强网络来学习和记忆覆盖不同样本的典型原型。特别地，通过记录在小批量训练中看到的模式，引入了一个记忆模块来缓解遗忘问题。学习记忆项目一致地反映了显性和非显性类别和案例的可解释和有意义的信息。因此，可以通过检索存储的原型来增加扭曲的观察和罕见的情况，从而获得更好的性能和泛化。在S3DIS和ScanNetV2两个基准上进行了详尽的实验，证明了该方法在效率和有效性上的优越性。不仅总体精度有了很大提高，而且非优势类也有了很大提高。

4、JSNet: Joint Instance and Semantic Segmentation of 3D Point Clouds

为了同时解决三维点云的实例和语义分割问题，本文提出了一种新的联合实例和语义分割方法JSNet。首先，建立一个有效的backbone，从原始点云中提取鲁棒特征。其次，为了获得更具鉴别能力的特征，提出了一种点云特征融合模块，对backbone的不同层次特征进行融合。在此基础上，开发了一个联合实例语义分割模块，将语义特征转化为实例嵌入空间，并将转化后的特征与实例特征进一步融合，实现实例分割。同时，该模块还将实例特征聚合到语义特征空间中，促进语义分割。最后，通过对实例嵌入应用简单的mean-shift聚类来生成实例预测。本文在large-scale 3D indoor point cloud dataset 、S3DIS 和ShapeNet数据集上评估提出的JSNET，并与现有的方法进行比较。实验结果表明，该方法达到了SOTA。JSNET在三维实例分割中，对三维语义预测有了显著的改进，也有利于零件分割。

5、FuseSeg: LiDAR Point Cloud Segmentation Fusing Multi-Modal Data

本文介绍了一种简单而有效的激光雷达与RGB数据融合方法，并对激光雷达点云进行分割。利用激光雷达传感器的稠密本征距离表示和标定信息，建立了两种输入模式之间的点对应关系。能够将一个域中的特征扭曲并融合到另外一个，因此可以在一个网络中联合利用来自两个数据源的信息。为了证明该方法的优点，本文扩展了点云分割网络squezeseg的RGB特征分支，并将其融合到原始结构中称之为FuseSeg，它使KITTI基准的IoU提高了18%。除了精度的提高，论文还实现了50 fps的实时性能，是KITTI激光雷达数据记录速度的五倍。