CVPR 2020——PointGroup: Dual-Set Point Grouping for 3D Instance Segmentation

论文：https://arxiv.org/abs/2004.01658
源码：https://github.com/Jia-Research-Lab/PointGroup

Abstract

• 介绍了PointGroup，这是一种新的端到端自下而上的体系结构，着重关注于通过探索对象之间的空隙空间更好地对点进行分组。
• 设计了一个两分支网络来提取点特征并预测语义标签和偏移量，以将每个点移向其各自的实例质心。
• 后接一个聚类，以利用原始点和偏移位移点坐标集的优势。
• 制定ScoreNet来评估候选实例，然后使用非最大抑制（NMS）来删除重复项。
• 在两个数据集ScanNet v2和S3DIS上进行了实验，获得最高的性能，分别为63.6％和64.0％。

（一） Introduction

目前存在的困难：

• 实例分割不仅需要预测语义标签，而且还需要预测场景中每个对象的实例ID。
• 卷积神经网络提高了二维实例分割的性能。但是，在无序和无结构的3D点云的情况下，不能将2D方法直接扩展到3D点，并使3D点仍然非常具有挑战性。

应用：

• 在自动驾驶，机器人导航等在室外和室内环境中的有潜在应用。

改进： 通过探索3D对象之间的空隙空间以及语义信息来更好地分割，从而解决了具有挑战性的3D点云实例分割任务。

流程：

1. 利用语义分割骨架来提取描述性特征并预测每个点的语义标签。
2. 采用偏移分支来学习相对偏移，以将每个点移至其各自的ground-truth实心质心。通过这种方式，可以将同一对象实例的点移向同一质心并将其收集得更近，从而可以更好地将点分组为对象并分离同一类别的附近对象。
3. 借助预测的语义标签和偏移量，采用一种简单而有效的算法将点分组为聚类。
4. 对于每个点，以其坐标为参考，将其与相同标签的附近点分组，然后逐步扩展该组。
5. 在两个单独的通道中考虑了两个坐标集–原始点位置和那些偏移了预测​​偏移的位置。此过程为 “Dual-Set Point Grouping.”。 两种结果互为补充，以实现更好的性能。
6. 设计了ScoreNet来评估和选择候选组。
7. 最后采用非最大抑制来消除重复的预测。

贡献：

• 提出了一个名为PointGroup的自底向上3D实例分割框架，以处理具有挑战性的3D实例分割任务。
• 提出一种基于双坐标集（即原始和移动集）的点聚类方法。与新的ScoreNet一起，可以更好地分割对象实例。
• 所提出的方法在各种具有挑战性的数据集上均达到了最新水平，证明了其有效性和普遍性。

（二） Related Work

看论文吧~~

（三） Our Method

3.1. Architecture Overview

为了获得3D对象的实例级分割标签，考虑两个问题：

1. 首先是分开将3D空间中的内容分成单个对象。
2. 第二个是确定每个对象的语义标签。

与2D图像不同，在3D场景中不存在视图遮挡问题，散布在3D中的对象通常被空白空间自然分隔。 因此，利用3D对象的这些特征，根据语义信息将3D内容分组为对象实例。

图释：

• 网络体系结构，该体系结构包含三个主要组件，即（a）骨干网，（b）聚类部分和（c）ScoreNet ；
• 骨干网的输入（a）是一个$N$点的点集$P$。每个点都有一个颜色$f_i=\left(r_i,g_i,b_i\right)$和3D坐标$p_i=\left(x_i,y_i,z_i\right)$，其中$i\in \left\{1,...,N\right\}$。
• 主干网络提取每个点的特征$F_i$，$F=\left\{F_i\right\}\in R^{N\times K}$，K是通道数。
• 将F馈入两个分支，一个分支用于语义分割，另一个分支用于预测每点偏移向量，使用两个分支生成偏移向量$O=\left\{o_i\right\}$和语义标签$S=\left\{s_i\right\}$，$o_i=(△x_i，△y_i，△z_i)$。
• 获取语​​义标签后，根据对象之间的空白空间将点分组为实例簇。将彼此接近的点归为同一聚类（如果它们具有相同的语义标签）。(直接基于点坐标集$P=\left\{p_i\right\}$进行聚类可能无法分离在3D空间中彼此靠近的相同类别的对象并对其进行错误分组，例如，两张并排悬挂的图片墙)。
• 将学习到的偏移$o_i$去位移点$i$朝向其各自的实例质心，并获得位移坐标$q_i=p_i+o_i\in R^3$。
• 对于与$p_i$不同的属于同一对象实例的点，偏移的坐标$q_i$围绕同一质心。因此，通过基于移动的坐标集$Q=\left\{q_i\right\}$进行聚类，即使它们具有相同的语义标签，也可以更好地分离附近的对象。
• 但是，对于靠近对象边界的点，预测的偏移可能不准确。聚类算法使用“dual”点坐标集，即原始坐标$P$和移动坐标$Q$。在$P$上进行聚类可能会将附近的同一类别的对象误分组，而在$Q$上进行聚类则不会出现此问题，但可能无法处理大对象的边界点。
• 将聚类结果$C$表示为$C^p=\left\{C_1^P,...,C_{M_p}^p\right\}$和$C^q=\left\{C_1^q,...,C_{M_q}^q\right\}$的并集，分别是基于$P$和$Q$发现的聚类。$M_p$, $M_q$分别表示$C_p$和$C_q$中的簇数，$M=M_p+M_q$表示总数。
• 构建ScoreNet（c）处理点聚类$C=Cp\cup Cq$，并为每个聚类生成一个聚类得分$S_c$。
• 将NMS应用于具有分数的提案，以生成最终实例预测。
• 将实例预测表示为$G=\left\{G_1,...,G_{M_{pred}}\right\}\subseteq C$，实例 ground-truth 表示为$I=\left\{I_1,...,I_{M_{gt}}\right\}$，$G_i$和$I_i$是$P$的子集，$M_{pred}$和$I_i$代表$G$和$I$中实例数量，$N_i^I$和$N_i^G$代表$I_i$和$G_i$中点数。

3.2. Backbone Network

首先对这些输入点进行体素化，并构建具有子流形稀疏卷积（SSC）和稀疏卷积（SC）的U-Net。然后，从体素中恢复点以获取逐点特征。 U-Net可以很好地提取上下文和几何信息，该U-Net为以后的处理提供了可区分的逐点特征$F$。可以使用任何点特征提取网络作为骨干网（图2(a)）。

Semantic Segmentation Branch.

1. 将$MLP$应用于$F$，以针对$N$个类上的$N$个点生成语义评分$SC=\left\{s{c}_1,...,s{c}_N\right\}\in R^{N\times N_{class}}$;
2. 通过交叉熵损失$L_{sem}$来对结果进行正则化;
3. 预测的语义标签$s_i$对于点$i$是得分最高的类别，即$s_i=argmax(s{c}_i)$。

Offset Prediction Branch.

偏移分支对$F$进行编码，以生成$N$个点的$N$个偏移矢量$O=\left\{o_1,...,o_N\right\}\in R^{N\times 3}$。对于属于同一实例的点，我将它们的学习偏移量通过$L_1$回归损失约束为:
$$L_{o\_reg}=\frac{1}{{\sum }_i^{}{m}_i}\sum _i\Vert o_i-({\hat{c}}_i-p_i)\Vert \cdot m_i--------(1)$$

注释：

• $m=\left\{m_1,...m_N\right\}$是二进制掩码。如果点$i$在实例上，则$m_i=1$；否则，$m_i=0$。
• ${\hat{c}}_i$是点$i$所属实例的质心

$${\hat{c}}_i=\frac{1}{N_{g(i)}^I}\sum _{j{\in }_{Ig(i)}}{P}_j--------(2)$$
注释：

• $g(i)$将点$i$映射为其对应的真实实例的索引，即包含点i的实例。
• $N_{g(i)}^I$是实例$I_{g(i)}$中的点数。

注意：

• 上述机制看起来类似于VoteNet 中的投票产生策略。但是，不是根据几个子采样种子点的投票对边界框进行回归，而是预测每个点的偏移矢量来收集公共实例质心周围的实例点，以便更好地将相关点聚类到同一实例中。

发现：

• 从点到其实例质心的距离通常具有较小的值（0到1m）。
  

图释：

• 3b给出了ScanNet数据集中此类距离分布的统计分析。

发现：

• 考虑到不同类别的不同对象大小，网络很难回归精确的偏移量，尤其是对于大型对象的边界点，因为这些点距离实例质心相对较远。

解决方案：

• 制定方向损失来约束预测偏移向量的方向。将损耗定义为减去余弦相似度的一种方法，即：
  $$L_{o\_dir}=-\frac{1}{{\sum }_i^{}{m}_i}\sum _i\frac{o_i}{{\Vert o_i\Vert }_2}\cdot \frac{{\hat{c}}_i-p_i}{{\Vert {\hat{c}}_i-p_i\Vert }_2}\cdot m_i-------(3)$$
  损失与偏移矢量范数无关，并确保了点朝其实例质心移动。

3.3. Clustering Algorithm

给定预测的语义标签和偏移量矢量，通过聚类算法将输入点分组为实例。算法1：

表释：

1. 对于点$i$，将半径r的球内的点以$x_i$（点i的坐标）为中心，并将具有与点i相同的语义标签的点归为同一簇。
2. r用作聚类中的空间约束，因此不会对距离大于r的两个类别内对象进行分组。
3. 使用广度优先搜索将同一实例的点分组为一个群集。
4. 对于场景中的点，可以在聚类之前并行找到r球体内的相邻点以提高速度。

3.4. ScoreNet

输入： 一组候选聚类$C=\left\{C_1,...,C_M\right\}$

• $M$表示候选聚类的总数
• $C_i$代表第i个聚类
• $N_i$代表$C_i$中的点数。

目标： 预测每个聚类的得分，以便可以在NMS中精确保留更好的聚类。

图释：

1. 对于每个聚类，从$F\in R^{N\times K}$（由主干网络提取的特征）中收集点特征，对于聚类$C_i$形成$F_{C_i}=\left\{F_{h(C_i,1)},...,F_{h(C_i,N_1)}\right\}$。
2. $h$映射$C_i$中的点索引到$P$中对应的点索引。
3. 用$P_{C_i}=\left\{p_{h(C_i,1)},...,p_{h(C_i,N_1)}\right\}$表示$C_i$中点的坐标。
4. 采用$F_{C_i}$和$P_{C_i}$作为初始特征和坐标，并像在骨干网开始时一样对聚类进行体素化。
5. 每个体素的特征均与该体素中点的初始特征进行平均池化。
6. 将它们输入带有SSC和SC的小型U-Net中，以进一步编码功能。
7. 最大池化，对于每个聚类产生单个聚类特征向量$f_{C_i}\in R^{1\times Kc}$。
8. 最终聚类得分$S_c=\left\{s_1^c，...，s_M^c\right\}\in R^M$表示为：
   $$S_c=Sigmoid(MLP(F_C))-------(4)$$其中$$F_c=\left\{f_{C_1},...,f_{C_M}\right\}\in R^{M\times K_c}$$

为了保证分数中聚类的质量，使用软标签代替二进制0/1标签来监督预测聚类得分，

$${\widehat{s_i}}^c=\{\begin{array}{cc}0& io{u}_i<{\theta }_l\\ 1& io{u}_i>{\theta }_h\\ \frac{1}{{\theta }_h-{\theta }_l}\cdot (io{u}_i-{\theta }_l)& otherwise\end{array}--------(5)$$

• ${\theta }_l$和${\theta }_h$分别设置为0.25和0.75，
• $io{u}_i$是簇$C_i$和真实实例之间最大的联合交集（IoU）:
  $$io{u}_i=max\left(\left\{IoU(C_i,I_j)|I_j\in I\right\}\right)-------(6)$$

使用二元交叉熵损失作为得分损失:

$$L_{c\_score}=-\frac{1}{M}\sum _{i=1}^M({\widehat{s_i}}^{c}log(s_i^c)+(1-s_i^c)log(1-s_i^c))------(7)$$

3.5. Network Training and Inference

Training.

总损失为:

$$L=L_{sem}+L_{o\_dir}+L_{o\_reg}+L_{o\_score}---------(8)$$

Inference.

• 使用预测分数$S_c$对聚类$C$进行NMS，以获得最终实例预测$G\subseteq C$。
• 将IoU阈值设置为0.3。
• 由于基于语义信息进行聚类，因此聚类的语义标签是聚类所指的类别。

（四）Experiments

4.1. Experimental Setting

Datasets

• ScanNet v2
• S3DIS

Evaluation Metrics

• 平均精度（mAP）
• $A{P}_{25}$和$A{P}_{50}$分别表示将IoU阈值设置为25％和50％时的AP分数
• AP将IoU阈值设置为50％至95％（步长为5％）对得分进行平均。

Implementation Details

• 体素大小设置为0.02m。
• 在聚类部分，将聚类半径设置为0.03m，最小聚类点数$N_{\theta }$为50。
• 基本学习率为0.001的Adam。
• 由于GPU内存的限制，对于数据集中的每个场景，将最大点数设置为250k。
• 如果场景中的点数超过25万，将随机裁剪部分场景，并根据裁剪区域中的点数逐渐调整裁剪大小.
• 在测试过程中，无需裁剪，将整个场景馈入网络。
• S3DIS中的场景具有较高的点密度。有些场景甚至具有数百万个点。因此，对于每个S3DIS场景，在每次裁剪之前随机地采样1/4点。

4.2. Evaluation on ScanNet

4.2.1 Benchmark Results

表释：

1. PointGroup达到了63.6％的最高$A{P}_{50}$得分，超过了以前的所有方法。
2. 与以前的最佳解决方案相比，后者获得54.9％的$A{P}_{50}$分数，论文结果是高出8.7％（绝对），15.8％（相对）。
3. 对于每个类别的详细结果，PointGroup在18个类别中的13个类别中排名第一。

4.2.2 Ablation Studies

任务： 对ScanNet验证集进行消融研究，以分析PointGroup中的设计和参数选择。

Clustering based on Different Coordinate Sets

表释：

1. 显示了仅使用原始坐标$P$，仅使用移动坐标$Q$以及$P$和$Q$进行的比较。
2. 仅靠$P$聚集点可能会将具有相同语义标签的两个近距离对象误分组为同一实例。因此，对于两个对象可能非常接近的类别（例如椅子和图片），仅在P上的聚类效果不佳。
3. Q上的聚类部分地通过在实例质心周围收集实例点并扩大聚类之间的空间来解决该问题。但是，由于偏移量预测的不精确性，特别是对于大对象（例如，窗帘和柜台）的边界点，仅靠Q进行聚类并不能完美地执行。

图释：

1. 图4显示了使用不同坐标集的簇训练的模型的定性结果-（i）仅P，（ii）仅Q，以及（iii）P和Q。
2. （i）中的问题是错误地将图片分组在墙上。
3. （ii）的情况成功地将图片分成了单独的实例。然而，它在物体边界区域周围遭受误差。
4. （iii）的情况同时具有（i）和（ii）的优势。获得最佳性能。

Ablation on the Clustering Radius $r$

表释：

• 在聚类算法中使用不同的$r$值。
• 较小的$r$对点密度敏感。扫描对象在不同部分可能具有不一致的点密度。具有这样的$r$的聚类可能无法在低密度部分中增长。
• 相反，较大的$r$增加了将两个附近相同类别的对象归为一个的风险。
• 最终将$r$设置为0.03（米）。

Ablation for the ScoreNet

表释：

• 消融ScoreNet，用于评估每个候选聚类的质量。
• 直接使用ScoreNet的输出评分对实例进行排名，以计算AP。
• 另一种方法是直接将实例内相关实例类别的平均语义概率用作置信度。这样，AP / AP50 / AP25的结果为30.2 / 51.9 / 68.9（％），比ScoreNet的结果为34.8 / 56.9 / 71.3（％）差。这表明ScoreNet通过为NMS提供准确的分数对于改善实例分割结果至关重要且必不可少。

4.2.3 Runtime Analysis

表释：

1. 运行时间取决于点数和场景复杂性。
2. 从ScanNet v2验证集中随机采样了四个场景，并在Titan Xp GPU上对其进行了100次测试，以获得每个场景的平均运行时间。
3. Q上（移位）的时间通常比P上（原始）聚类的时间更长，因为移位的点可能具有更多的邻居。

4.3. Evaluation on S3DIS

表释：

1. 使用0.2的得分阈值来删除一些低置信度聚类。
2. 对于第5区的结果，PointGroup在$A{P}_{50}$上获得57.8％，在$mPre{c}_{50}$(平均精度)上获得61.9％，在$mRe{c}_{50}$(平均召回率)上获得62.1％。 $mPre{c}_{50}$和$mRe{c}_{50}$分别比ASIS 高6.6和19.7点。
3. 对于6倍交叉验证的结果，关于$A{P}_{50}$，PointGroup比SGPN 高9.6点，这是一个很大的差距。$mPre{c}_{50}$和$mRe{c}_{50}$得分比第二好的解决方案高4和21.6点。

可视化图：

（五） Conclusion

1. 提出用于3D实例分割的PointGroup，侧重通过探索对象实例之间的空间和点语义标签来更好地对点进行分组。
2. 考虑到两个类别内对象可能彼此非常接近的情况，设计了一个两分支网络以分别学习点语义标签和点偏移向量，以将每个点移向其各自的实例质心。
3. 基于原始点坐标和偏移位移的点坐标对点进行聚类。结合了两个坐标集的互补优势，以优化点分组精度。
4. 引入了ScoreNet来学习评估生成的候选聚类，然后引入NMS以避免重复，再输出最终的预测实例。
5. PointGroup取得了最好的精度。