CVPR2020——3D-MPA: Multi Proposal Aggregation for 3D Semantic Instance Segmentation

Abstract

• 提出了一种三维点云实例分割方法——3D-MPA。
• 给定一个输入点云，提出一个object-centric的方法，其中每个点都为其object center投票。
• 从预测object centers抽取object proposals。然后，从投票给同一个object center的grouped point features中学习proposal features。
• 图卷积网络引入了interproposal关系，除了提供低级的点特征外，还提供高级的特征学习。每个 proposal包括一个语义标签、一组关联点(在这些点上定义了前景-背景掩码)、一个 objectness score和aggregation features。
• 以前的工作通常对proposal执行非最大抑制(non- maximum-suppression, NMS)，以获得最终的目标检测或语义实例。但是，NMS会丢弃可能正确的预测。相反，3D-MPA保持所有proposals，并基于 learned aggregation features将它们分组在一起。
• 在ScanNetV2和S3DIS数据集上， grouping proposals在3D目标检测和语义实例分割等任务上优于NMS，并优于以前的先进方法。

（一）Introduction

创新：

不再使用非最大化抑制来拒绝proposals，而是为每个proposals学习更高层次的特征，使用这些特征将proposals聚在一起，最终检测到目标。

• 思想：生成的proposals数量比3D扫描中原始输入点的数量小几个数量级，这使得分组计算非常高效。同时，每个object可以接收多个proposals，这是因为所有大小的object都以相同的方式处理，从而简化了proposals的生成，并且网络可以很容易地tolerate outlier proposals。

算法步骤：

1. 使用一个sparse volumetric feature backbone中的per-point voting scheme生成object-centric proposals。
2. 将proposals解释为proposal graph的节点，然后将其馈入图卷积神经网络，以实现相邻proposal特征之间的高级交互。
3. 除了proposal 损失外，在proposal 之间通过proxy loss来训练网络，类似于度量学习(metric learning)中的affinity scores。由于proposals，数量相对较少，可以有效地训练网络和cluster proposals。
4. 最后，每个节点会预测一个语义类，一个 object foreground mask，一个objectness score以及用于将节点分组在一起的附加特征。

贡献：

1. 一种基于dense object center prediction的3D实例分割新方法，该方法利用了从sparse volumetric backbone中学习到的语义特征。
2. 为了从object proposals中获取最终的object detections和语义实例，将基于共同学习的proposal features的multi proposal aggregation替换了常用的NMS，并报告了比NMS明显提高的分数。
3. 使用图卷积网络，除了较低级别的点特征外，还可以显式地对相邻proposal 之间的高阶交互进行建模。

（二）Related Work

~~

（三）Method

3.1. Proposal Generation

• 给定一个大小为$N\times I$的点云，由$N$个点和$I$维输入特征(例如位置、颜色和法线)组成。
• 网络的第一部分生成固定$K$数量的object proposals。
• 每个proposal是由(1)位置$y_i\in R^3$，(2)proposal features vector $g_i\in R^D$，(3)与proposal相关联的一组点集$s_i$等三个部分组成的元组$(y_i,g_i,s_i)$.
• 为了生成proposals,，需要强大的点特征来编码语义上下文和底层场景的几何形状。
• 应用一个sparse volumetric network作为feature backbone，生成per-point features${\left\{f_i\in R^F\right\}}_{i=1}^N$。
• 利用per-point semantic classification的标准交叉熵损失$L_{sem.pt}$，使用语义标签监督feature backbone，将语义上下文编码到点特征中。
• 遵循<>以对象为中心的方法，点投票给他们所属对象的中心。与其不同的是，只有来自objects的点才能预测中心。（这是可能的，因为论文预测语义类，在训练和测试时可以区分前景(物体)和背景(墙壁、地板等)之间的点，这会使中心预测更精确，因为来自背景点的noisy predictions被忽略了。）
• 这是作为回归损失实现的，它预测点位置$x_i\in R^3$与其对应的ground truth bounding-box center $c_i^{\ast }\in R^3$之间的每点相对3D偏移量$△x_i\in R^3$。将per-point center regression loss为:

$$L_{cent.pt}=\frac{1}{M}{\Vert x_i+△x_i\Vert }_H\cdot 1(x_i)-----------------(1)$$

             (I):     ||·||是Huber-loss(或smooth L1-loss)
             (II):     (·)是一个二元函数，表示一个点$x_i$是否属于一个对象。
             (III):     M是一个归一化因子，等于object上的总点数。

• feature backbone有两个heads(图2): 一个语义head(执行点的语义分类)和一个中心head(回归每个点的对象中心)。使用组合损失$L_{point}$联合监督它们，其中λ是设置为0.1的加权因子。
  $$L_{point}=\lambda \cdot L_{sem.pt}+L_{cent.pt}--------------------(2)$$

Proposal Positions and Features.

步骤：

• 在每个点(属于一个对象)为一个中心投票后，得到一个在对象中心上的分布(图3,第三列.)。

• 从这个分布中，随机抽取$K$个样本作为proposal位置${\left\{y_i=x_i+△x_i\in R^3\right\}}_{i=1}^K$(图3,第四列.)。（随机抽样比中使用的最远点抽样(FPS)工作得更好，因为FPS更倾向于远离真实目标中心的离群点。）

• 定义关联点集$s_i$，即在sampled proposal position $y_i$的半径$r$内投票支持centers 的那些点。
• proposal features ${\left\{g_i\in R^D\right\}}_{i=1}^N$是通过将PointNet应用于关联点$s_i$的点特征来学习的。
• 这对应于<>中描述的分组和归一化技术。在此阶段，论文有K个proposals，这些proposals由位于object centers附近的3D位置$y_i$组成，proposal features$\left\{g_i\in R^D\right\}$描述了局部几何形状和the nearest objects的语义，以及与每个 proposal相关的一组点$s_i$。

3.2. Proposal Consolidation

proposal features 对与其关联对象的局部信息进行编码。在proposal consolidation期间，proposal通过显式建模相邻proposal之间的高级交互来了解其全局邻域。为此，在proposal上定义了图卷积网络（GCN）。

最初的point-feature backbone在点级别运行，而GCN在proposal级别运行。

1. 图卷积网络由$l$个堆叠的图卷积层组成。
2. 尽管3D-MPA也可以在不进行GCN细化的情况下工作（即$l$= 0），但在$l=10$的情况下（第4节），观察到了最佳结果。
3. 在proposal consolidation期间，GCN会根据初始proposal features${\left\{g_i\in R^{D^{\prime }}\right\}}_{i=1}^K$学习refined proposal features ${\left\{h_i\in R^D\right\}}_{i=1}^K$。

具体而言，图的节点由具有相关 proposal features $g_i$的proposal positions $y_i$定义。如果两个3Dproposal位置$y\left\{i,j\right\}$之间的欧式距离$d$小于2 m，则两个节点之间存在一条边。采用DGCNN 的卷积运算符将两个相邻proposal之间的边缘特征定义为：
$$e_{i,j}=h_{\theta }\left(\left[y_i,g_i\right],\left[y_j,g_j\right]-\left[y_i,g_i\right]\right)----------(3)$$

• $h_{\theta }$是具有可学习参数θ的非线性函数
• [·，·]表示串联

3.3. Object Generation

• 在这个阶段，有K个 proposals$(y_i,g_i,s_i{)}_{i=1}^K$，其中位置$y_i$， refined features $h_i$和点集$s_i$。目的是从这些proposals中获得最终的语义实例（或object detections）。
• 为此，为每一个proposals预测一个语义类，一个聚合特征向量，一个目标得分和一个二进制前景背景掩码。
• 具体地说， proposal features $h_i$输入到具有输出大小$(128,128，D_{out})$的MLP中，，其中$D_{out}=S+E+2$，$S$ semantic classes、$E$维aggregation feature和2D（正、负）objectness score。

objectness score将proposal分为正面或负面的例子。它通过交叉熵损失$L_{obj}$进行监督。

• ground truth中心（<0.3 m）附近的proposals被分类为positive.。
• 如果它们与任何ground truth中心相距很远（> 0.6 m），或者如果它们与两个ground truth中心相距相等，则它们被归类为负值，因为ground truth object 是模棱两可的。当$d_1$> 0.6·$d_2$时就是这种情况，其中$d_i$是第$i$接近的ground truth中心的距离。

Positive proposals被进一步监督以预测语义类、聚合特征和二进制掩码。Negative的被忽略。使用交叉熵损失$L_{sem}$来预测 the closest ground truth object的语义标签。

Aggregation Features.

现有方法不足：

• 先前方法依赖于非最大抑制（NMS）获得最终objects.。
• NMS反复选择具有最高客观评分的proposals，并删除所有与某个IoU重叠的proposals。
• 但是，这对objectness scores的质量很敏感，可能丢弃正确的预测。

改进：

• 3D-MPA不会拒绝可能有用的信息，而是结合了多个proposals。为此，3D-MPA学习每个proposals的aggregation features ，然后使用DBScan 对其进行聚类。
• 所有aggregation features最终在同一个簇中的proposals被聚合在一起，产生最终的目标检测。
• final object的点是combined proposals的前景masks上的联合。
• 由于与全点云（$N\approx 10^6$）相比，proposals数量相对较少（K≈500），因此这一步非常快（∼8ms）。这与聚集全点云相比是一个显著的优势，后者的速度可能非常慢。

研究两种类型的aggregation features：

• Geometric features: ${\left\{{\epsilon }_i\in R^{E=4}\right\}}_{i=1}^K$ 由refined 3D object center prediction $∆y_i$和一维目标半径估计$r_i$组成。损失定义为：
  $$L_{agg}={\Vert y_i+△y_i-c_i^{\ast }\Vert }_H+{\Vert r_i-r_i^{\ast }\Vert }_H------------(4)$$

                          $c^{\ast }$是nearest ground truth object center，$r_i^{\ast }$是the nearest ground truth object边界球的半径。

• Embedding features: ${\left\{{\epsilon }_i\in R^E\right\}}_{i=1}^K$由判别损失函数《Semantic Instance Segmentation with a Discriminative Loss Function》进行监督，损失由三部分组成：
  $$L_{var.}=\frac{1}{C}\sum _{c=1}^C\frac{1}{N_c}\sum _{i=1}^{N_c}{\left[\Vert {\mu }_C-{ϵ}_i\Vert -{\delta }_v\right]}_{+}^2---------------(5)$$
  $$L_{dist.}=\frac{1}{C(C-1)}\sum _{C_A=1}^C\sum _{C_B=1}^C{\left[2{\delta }_d-\Vert {\mu }_{C_A}-{\mu }_{C_B}\Vert \right]}_{+}^2........C_A\ne C_B----------(6)$$
  $$L_{reg.}=\frac{1}{C}\sum _{C=1}^C\Vert {\mu }_C\Vert ------------(7)$$

在实验中，设置$\gamma =0.001$和${\delta }_v={\delta }_d=0.1$。

• $C$是ground truth objects 的总数
• $N_C$是属于一个object的proposals 数
• $L_{var.}$将属于同一实例的特征拉到它们的平均值
• $L_{dist.}$将具有不同实例标签的聚类分开
• $L_{reg.}$是一个正则化的术语， pulling the means towards the origin。
• 几何特征优于嵌入特征。

Mask Prediction.

• 每个积极的proposals预测一个class-agnostic二值分割掩码在与该proposal相关的点$s_i$上，其中每个proposal $i$的点数是$|s_i|=n_i$。
• 之前的方法通过分割2D regions of interest (RoI) (MaskRCNN)或3D bounding boxes(3D- bonet)来获得masks。
• 由于3D-MPA采用object-centric的方法，掩码分割可以直接在与proposal相关的点$s_i$上执行。
• 特别地，对于每个proposal，3D-MPA选择在proposal位置$y_i$的距离$r$内投票支持中心的点的per-point features$f_i$。
• 形式上，所选per-point features 集定义为$M_f=\left\{f_i|||k(x_i+{∆}_{xi})-y_i|{|}_2<r\right\}$，且r = 0.3m。
• 所选特征$M_f$被传递到PointNet进行二值分割，3D-MPA在每个per-point特征上应用一个共享的MLP，在所有特征通道上计算最大池，并将结果连接到每个特征，然后将其通过另一个具有特征大小(256、128、64、32、2)的MLP。
• 与最接近的ground truth对象实例标签具有相同ground truth实例标签的点被监督为前景，而其他所有点都是背景。
• 掩码损失$L_{mask}$实现为FocalLoss，而不是交叉熵丢失，以应对foreground-background class imbalance。

3.4. Training Details

采用多任务损失$L=L_{point}+L_{obj.}+0.1\cdot L_{sem.}+L_{mask}+L_{agg.}$端到端训练模型。批大小为4，初始学习率为0.1，每$2\cdot 10^4$次迭代减少一半，总共训练$15\cdot 10^4$次迭代。模型是在TensorFlow中实现的，运行在Nvidia TitanXp GPU (12GB)上。

Input and data augmentation.

• 网络在三维网格表面采样N个点的3 m×3 m点云块上进行训练。
• 在测试期间，在全场景上进行评估。
• 输入特征是分配给每个点的三维位置、颜色和法线。
• 数据增加是通过均匀[−180◦，180◦]围绕垂直轴和均匀[−10,10]围绕其他轴随机旋转场景。
• 场景在两个水平方向上随机翻转，并通过Uniform [0.9,1.1]随机缩放。

（四）Experiments

4.1. Comparison with State-of-the-art Methods

Datasets：

1. ScanNetV2
2. S3DIS

Object detection scores：

Instance segmentation scores :

S3DIS:


ScanNetV2:

4.2. Ablation study

Effect of grouping compared to NMS.

• 证明多个proposal分组比非最大抑制（NMS）更好。
• 通过比较模型的两个基准变体来通过实验证明这一点：在实验1中（表6），采用传统的方法来预测许多proposal，并应用NMS来获得最终的预测。该模型对应于图2所示的模型，没有 proposal consolidation，但aggregation 被NMS取代。 NMS选择最可靠的预测，并抑制IoU大于指定阈值（在本例中为25％）的所有其他预测。
• 对于实验2，通过对proposals位置$y_i$进行聚类来对proposals进行简单的分组。最终object instance masks作为一个聚类中所有 proposal masks的并集获得。通过使用 aggregation替换NMS，我们观察到+4.9 mAP的显着增加。

How important are good aggregation features?

• 在实验2中，根据proposals的位置对proposals进行分组。这些仍然是相对简单的特征。
• 在实验3和4中，分别根据学习到的嵌入特征和学习到的几何特征对建议进行分组。与实验2相比，有显著改善。
• 几何特征的表现优于嵌入特征(+1.1 mAP)。一种可能的解释是，几何特征有明确的含义，因此比实验3 中使用的5维嵌入空间更容易训练。
• 总之，aggregation feature的quality有很大的影响。

Does the graph convolutional network help?

• 在proposals之上定义的graph convolutional network (GCN)允许proposals之间的高阶交互。实验5 对应于图2所示的模型，GCN为10层。实验4 不同于实验5 ，因为它不包括合并proposals的GCN。
• 通过合并GCN并使用多proposals aggregation，替换NMS，在相同的网络架构上得到了+11.6 mAP改进。

（五） Conclusion

1. 在本文中，引入了一种新的三维语义实例分割方法——3D-MAP。
2. 核心思想是将自顶向下和自底向上的目标检测策略的优点结合起来。
3. 首先使用基于sparse volumetric backbone的以 object-centric的投票方案生成许多proposals。每个对象可能会收到多个proposals，这使得我们的方法在object proposals阶段对潜在的异常值具有鲁棒性。
4. 首先通过一个图形卷积网络来设置proposals之间的higher-order feature interactions。然后根据图关系结果和proposals特征相似度对proposals进行聚合，只获得了少量的proposals，这样的聚类在计算上是轻量的。
5. 图卷积有助于获得高评估分数，
6. 论文最大的改进是multi proposal aggregation strategy。