「论文阅读」RandLA-Net：Efficient Semantic Segmentation of Large-Scale Point Clouds

目录

1)局部空间编码块(LocSE)

2)注意力池化模块（Attentive Pooling）

3)膨胀残差模块

---

文章提出的局部特征聚合模块并行应用于每个3D点，它由三个神经单元组成:

1)局部空间编码(LocSE)，

2)注意力池化(attentive pooling)，

3)扩张残留块。

局部特征聚合模块的结构如下：

 顶部的两个模块分别是提取特征的局部空间编码块(LocSE)和基于局部上下文和几何形状的加权注意力池化模块(Attentive Pooling)。

而底部的面板显示了这些组件如何从宏观上被连接到一起，同时设置了一个残差块(Dilated Residual Block)来增加感受野。

1)局部空间编码块(LocSE)

给定一个点和该点特征(例如原始RGB，或学习过程中的中间特征)，通过近邻搜索找到该点的相邻点集（通过K近邻算法），局部空间编码单元显式地嵌入所有相邻点的x-y-z坐标，这样相应的点特征总是知道它们的相对空间位置。这使得LocSE单元可以明确地观察到局部的几何图案，从而最终有利于整个网络有效地学习复杂的局部结构。

相对点位置编码(Relative Point Position Encoding)：每个中心点用pi表示，找到pi点的K个邻居点集合{p1i·····pki}，相对点位置编码如下：

 rki也就是表示这个邻居点（编号为k）与中心点pi的局部空间位置特征

再从架构图的绿色框框最后面那个加号看到，将rki（局部位置特征）和f^i（即该点的什么乱七八糟的特征）做拼接，得到了每个点这个点的和邻居的关系特征以及点本身的属性特征（图中的粉红色部分，红绿特征向量）

最终，LocSE模块的输出是一组包含了局部邻居关系的特征F^i={ˆf1i···ˆfki···ˆfki},这组特征表达了一个点的局部的几何结构。

2)注意力池化模块（Attentive Pooling）

为了避免传统的最大、平均池化损失较多关键信息，这里使用注意力机制自动学习重要的局部特征，该模块由以下部分组成：

计算注意力得分：前面已经算出来了ˆFi={ˆf1i···ˆfki···ˆfki}，设计了一个函数g()来学习每个特征的分数，这个函数g主要是由一个共享权重的多层感知机和softmax组成。

 其中最后面的W是MLP的可学习的权重。

加权求和：学到的分数ski可看作是一个mask（软面具），使用ski分数将前面LocSE输出的{ˆf1i···ˆfki···ˆfki}来加权求和（有选择的降维）。

总的来说，给一个点云P，对于这个点云P的第i个点pi，使用LocSE加Attentive Pooling来学习聚合它最近的点的几何模式和特征，最后生成一个信息特征向量̃f~i(Attentive Pooling的输出)。

3)膨胀残差模块

由于大点云将被大量下采样，因此需要显著增加每个点的感受野，这样即使去掉一些点，也更有可能保留输入点云的几何细节。

将多个LocSE和attenting Pooling，与一个残差连接，堆在一起。

 下图展示了感受野扩张的过程：（彩色的点代表聚集的特征）

 堆叠的单位越多，这个block就越强大，因为它的活动范围越来越大（接受的信息越来越多）。但是单元越多效率越低。RandLaNet堆叠了两套LocSE和Attention pooling，兼顾了效率和有效性。

最后，将随机采样以及局部特征聚合模块组合到一起，基于标准的encoder-decoder结构组建了RandLA-Net。网络的详细结构如下图所示：

可以看到，输入的点云在RandLA-Net中持续地进行降采样以节约计算资源及内存开销。

最后，在解码器中的上采样阶段，不同于广泛采用的三线性插值(trilinear interpolation)，我们选择了更加高效的最近邻插值(nearest interpolation)，进一步提升了算法的效率。