《论文阅读20》RoReg: Pairwise Point Cloud Registration With Oriented Descriptors and Local Rotations

  一、论文

• 研究领域： 点云配准
• 论文：RoReg: Pairwise Point Cloud Registration With Oriented Descriptors and Local Rotations

• IEEE Transactions on Pattern Analysis and Machine Intelligence

• 稿件于2022年9月5日收到; 2023年1月18日修订; 2023年2月5日接受

• github链接

• 论文链接

---

二、论文简述

在本文中，我们提出了一种新的注册框架称为旋转引导点云注册（RoReg），它充分利用定向描述符和估计的局部旋转在所有四个阶段的注册流水线。由于这样的描述符和局部旋转广泛适用于各种点云，所提出的RoReg不仅在与训练集相似的数据集上实现了最先进的（SOTA）性能，而且对不同传感器获取的大规模不可见场景表现出很强的泛化能力。

定向描述符额外编码了局部方向信息，通过对齐两个定向局部描述符，可以估算出局部旋转

  三、论文详述

RoReg：利用定向描述符和局部旋转进行成对点云配准

• Abstract

我们提出的 RoReg 是一种新型点云配准框架，可在整个配准流程中充分利用方向描述符和估计的局部旋转。以往的方法主要侧重于提取旋转不变描述符进行配准，但一致忽视了描述符的方向。在本文中，我们证明了方向描述符和估计的局部旋转在整个配准流水线中非常有用，包括特征描述、特征检测、特征匹配和变换估计。因此，我们设计了一种新颖的定向描述符 RoReg-Desc，并应用 RoReg-Desc 估算局部旋转。通过估计局部旋转，我们开发出了旋转引导检测器、旋转相干性捕捉器和一次估计 RANSAC，所有这些都大大提高了配准性能。广泛的实验证明，RoReg 在广泛使用的 3DMatch 和 3DLoMatch 数据集上达到了最先进的性能，并能很好地推广到室外的 ETH 数据集。特别是，我们还对 RoReg 的每个组件进行了深入分析，验证了定向描述符和估计局部旋转带来的改进。

• 以往的方法主要侧重于提取旋转不变描述符进行配准，但一致忽视了描述符的方向。 
• 本文提出新颖的定向描述符 RoReg-Desc，RoReg-Desc 估算局部旋转

• INTRODUCTION

对两个未对齐的部分点云进行精确的SE（3）变换，称为点云配准，是许多任务的先决条件，如3D重建，姿态估计，AR/VR和自动驾驶[1]，[2]，[3]。通常采用的配准流水线包括以下连续步骤：特征检测、特征描述、特征匹配和变换估计[4]。成功的配准算法需要所有四个组件协同工作：特征检测负责检测可重复匹配的关键点，特征描述将在关键点上提取区分描述符。然后，特征匹配被应用到匹配这些描述符，以找到可靠的对应关系。最后，将对应关系用于变换估计以找到最终的刚性变换。注意，任何步骤的失败将导致不正确的变换估计，因此实现差的配准性能。

最近的工作主要集中在应用深度神经网络来学习检测器[5]，[6]，[7]，描述符[8]，[9]，[10]，[11]，[12]，匹配器[13]，[14]，[15]和变换估计器[16]，[17]，[18]。然而，由于重复模式，噪声和不均匀的点密度，它仍然高度具有挑战性的学习以上四个组件的鲁棒模型。具体地，

对于检测，关键点的定义是模糊的，这在学习检测器时不能提供明确的指导。

对于描述，学习的描述符需要对未知旋转不变性，并且通常依赖于外部局部参考系（LRF）[8]，[10]或手工制作的旋转不变属性[19]，[20]，这些属性既不稳定也不具有区分性[11]，在噪声或密度变化的存在下。

在特征匹配中，重复的模式和点密度的变化仍然使匹配器难以找到正确的对应关系。

对于变换估计，得到的对应关系产生了许多虚假变换，这给RANSAC [17]选择正确的变换带来了很大的困难。

我们认为，利用所谓的定向描述符和局部旋转可以解决上述所有难题。如图 1 所示，定向描述符额外编码了局部方向信息，通过对齐两个定向局部描述符，可以估算出局部旋转。一个重要的观察结果是，如果估计正确，这种局部旋转将与配准中的全局旋转完全重合，这为找到正确的配准提供了强有力的线索。例如，通过利用局部旋转，可以只用一个对应关系来估计一个变换，这大大提高了配准的成功率，尤其是当两个点云的重叠率较低，只能建立少数几个正确的对应关系时。然而，如何在配准管道中设计定向描述符并利用局部旋转，目前还没有人进行过探索。

图1.（左）定向描述符编码局部定向信息。通过正确对齐两个描述符的方向，我们能够估计出与配准两次扫描（右）中使用的全局旋转完全相等的局部旋转。

在本文中，我们提出了一种新的注册框架称为旋转引导点云注册（RoReg），它充分利用定向描述符和估计的局部旋转在所有四个阶段的注册流水线。由于这样的描述符和局部旋转广泛适用于各种点云，所提出的RoReg不仅在与训练集相似的数据集上实现了最先进的（SOTA）性能，而且对不同传感器获取的大规模不可见场景表现出很强的泛化能力。在下文中，我们简要介绍这种局部旋转如何分别改进每个分量。

对于特征描述，我们需要设计一个描述符，其中包括一个旋转等变部分，以保留方向信息和一个旋转不变部分的匹配。以前的方法主要依赖于LRF来实现旋转不变性，这是对噪声敏感的（如图2所示）并包含歧义[21]。

（左）将局部面片与局部参考框架（LRF）对齐带来旋转不变性。（右）LRF带来的旋转不变性对噪声和点密度变化敏感。

在RoReg中，我们采用了旋转等变CNN的最新技术[22]，[23]来学习一种新的定向描述符，称为RoReg-Desc。RoReg-Desc基于二十面体群上定义的特征映射[23]，[24]，其理论上与二十面体群中的旋转等变。旋转等变意味着二十面体群中的任何旋转都会带来二十面体特征图的置换[23]。因此，我们的RoReg-Desc保留了特征图的顺序的方向信息。同时，在二十面体特征映射上的池化消除了置换，并导致理论上保证的二十面体组的旋转不变性，这比LRF更鲁棒。

对于特征检测，关键是明确定义可重复和匹配的关键点准则来训练检测器。先前的方法[6]、[25]、[26]主要依赖于描述符的独特性来定义关键点。在这种情况下，关键点是其描述符类似于其对应点（正示例）但不同于训练批次中的其他负示例的点。然而，这样的定义高度依赖于随机训练批次的构造[6]，这对于检测器训练来说是不稳定的并且不充分的（如图1所示）。3（I））。在RoReg中，我们认为，关键点不仅应该有独特的描述符，而且应该能够估计一个正确的局部旋转利用其明确的方向。这进一步启发我们设计一种新颖的旋转引导损耗用于探测器训练（如图3所示）。（III））。这样的旋转引导损耗导致检测器训练的稳定收敛，并且因此改进了检测点的可重复性和匹配性。

D3Feat [6]探测器（上图）与申报的旋转引导探测器（下图）之间的比较。框（I）和（III）示出了现有方法和我们的在具有4个样本的训练批次中的训练策略。由于批次中没有其他点具有与红点类似的描述符，因此基线方法（I）在这种情况下增加红点的检测分数。相比之下，我们的方法检查估计的局部旋转的正确性，以预测检测分数。红色点是壁关节点，由于其180 °方向模糊性，其无法估计准确的局部旋转，因此具有低检测分数。(II)和（IV）分别示出了D3Feat和我们的检测分数。(II)显示了D3Feats [6]包括较少匹配的关键点，如墙关节，并倾向于生成不正确的匹配。在RoReg（IV）中，我们能够排除检测中的这些模糊点。

  对于特征匹配，最近的作品[2]，[7]，[13]，[15]，[27]使用基于变换器的匹配器实现了令人鼓舞的结果。然而，在具有重复图案和大点密度变化的挑战性区域，如户外场景，这仍然是困难的，这些基于变换器的匹配器找到正确的对应。一个例子如图4所示。为了提高对应质量，我们观察到局部旋转对于寻找真实对应是必不可少的，因为从真实对应估计的局部旋转是正确的和一致的，而从虚假对应估计的局部旋转是随机分布的，如图4所示。因此，我们在基于变换器的匹配器[13]中提出了两个新颖的局部旋转层，以提高匹配精度。

旋转相干性在特征匹配中是有用的。 (I)由于对称性，区域A和区域B具有非常相似的几何形状，并且两者都可以与区域C匹配。然而，（II）区域A和区域C之间的对应关系不能估计SO（3）空间中的适当旋转，因为存在额外的反射变换。(III)在B和C之间的正确对应中，我们能够正确估计每个对应的旋转。(IV)因此，我们的方法能够处理这样的对称区域。

经典RANSAC（上）和提出的OSE-RANSAC（下）之间的比较。经典的RANSAC采样对应三元组，以生成每个三元组的变换假设与Kabsch算法，其中包含许多具有低内点比的伪解。OSE-RANSAC算法利用局部旋转生成一个只有一个对应关系的假设，从而减少了搜索空间，提高了配准质量，尤其是当内点比较低时。

对于变换估计，普通RANSAC [28]随机选择3个对应关系来生成变换假设，这具有很低的机会找到具有少量内点的正确变换（如图5所示). 为了解决这个问题，RoReg利用匹配点对的估计局部旋转沿着该点对的平移直接找到全局刚性变换，这使得我们能够生成只有一个对应关系的变换假设，并大大减少了变换的搜索空间。

我们评估了三个广泛使用的基准测试上面的设计：3DMatch [28]数据集、3DLoMatch [7]数据集和ETH [8]数据集。结果表明，RoReg实现了比以前的方法[7]、[8]、[9]、[11]、[25]更好的配准性能。在3DMatch和3DLoMatch数据集上，RoReg实现了比以前的SOTA方法更好的配准质量，只有这些方法的1/10关键点。当仅在室内数据集上训练时，RoReg在室外ETH数据集上泛化良好，在配准质量方面比之前的SOTA方法高出5%。 

在注册质量方面提高了5%。这项工作的初步版本发表在[29]中。我们以前的工作主要集中在提取特征描述中的定向描述符和结合局部旋转来改善变换估计。在本文中，我们扩展了我们以前的工作，利用定向描述符和局部变换在旋转引导的关键点检测和旋转相干匹配，这导致更好的对应质量，从而更好的配准结果。此外，我们提供了所有四个组件的深入分析，以证明定向描述符和局部旋转的有效性。

• RELATED WORK

点云配准

基于特征的方法：特性描述。 

传统方法[30]、[31]、[32]、[33]、[34]使用手工制作的特征来构造描述符。在深度学习模型繁荣之后，基于学习的描述符[6]，[8]，[9]，[20]，[35]，[36]，[37]，[38]相对于手工制作的描述符实现了令人印象深刻的改进。这些方法中的大多数通过基于LRF的方法通过找到一个轴[11]、[39]、[40]来实现旋转不变性，即[8]，[10]，[41]。其他一些作品[19]，[20]手工制作一些旋转不变特征，并使用网络从这些不变特征中提取描述符。然而，在邻域上的LRF构造对噪声或密度变化不鲁棒，手工制作的不变特征通常会丢失大量的信息。

最近的工作[24]，[38]诉诸旋转等变层[22]和对特征的归一化/池化来提取旋转不变描述符用于点云配准，从而产生更具描述性和鲁棒性的描述符。我们的RoReg-Desc属于这一类。与RoRegDesc最相似的描述符是EPN [24]。主要区别是两方面的。首先，RoReg-Desc兼容各种backbones，通过解耦backbones和群卷积运算，大大降低了计算负担。其次，EPN在配准过程中完全依赖旋转不变描述符，而在整个配准流水线中充分利用了RoReg-Desc的旋转等方差。

• RoReg-Desc兼容各种backbones，通过解耦backbones和群卷积运算，大大降低了计算负担
• EPN在配准过程中完全依赖旋转不变描述符

特征检测。传统的特征检测器主要是手工制作的[42]，并专注于低层次的结构，如角[43]，[44]，[45]。然而，它们对噪声、密度变化和随机变换敏感[5]，[6]，[7]。在深度学习方法的繁荣之后，基于学习的检测器[6]，[25]，[26]利用D2Net [46]提出的描述和检测方案实现了令人印象深刻的改进。然而，在这些方法中的检测损失仅检查随机采样的训练批次中描述符的独特性，这导致较少匹配和局部化的关键点。我们提出了一种新的旋转引导损失过滤出具有模糊方向的点，避免随机选择负面的例子，从而在一个强大和可靠的检测器的点云。

特征匹配。传统方法通过最近邻匹配器[7]、[9]、[15]与相互校验[7]、[8]、[11]来估计两组稀疏点的假定匹配。最近，基于学习的匹配器[15]、[18]、[47]、[48]、[49]通过关注层[50]对上下文信息进行编码以变换输入描述符并应用最佳传输层[13]、[14]以生成正确匹配，这提高了对应质量。然而，在具有重复结构、噪声和点密度变化的具有挑战性的区域上，这些方法难以找到良好的对应关系。我们还使用基于变换器的匹配器，但另外利用匹配器中的估计局部旋转来找到更正确的对应关系。

转换估计。给定估计的对应关系，估计两组点之间的旋转是3D配准的最后一步。为了生成用于RANSAC验证的假设，Kabsch算法[16]、[18]、[51]、[52]、[53]、[54]、[55]一直是用于通过随机选择三个估计的对应来找到旋转/变换的主要算法。搜索一个对应三元组带来了一个包含许多伪解的立方搜索空间。据我们所知，RelativeNet [17]是唯一现有的基于学习的工作，它估计了点云配准的单个描述符对的旋转。然而，RelativeNet直接回归旋转，这不能很好地推广到训练集中的未见数据（如实验所示）。相比之下，通过利用二十面体特征图，RoReg通过找到排列以对齐两个特征图来估计旋转，这在理论上更稳健。同时，RoReg-Desc在紧凑的框架中实现了旋转不变性和等变性，而RelativeNet依赖于单独的PPF-FoldNet [20]来构建旋转不变性描述符。

直接配准方法

其他一些工作不是在对应关系上应用RANSAC，而是通过使用神经网络联合处理源和目标点云来直接解决变换[56]，[57]，[58]，[59]。在这些方法中，基于回归的方法[53]、[60]、[61]、[62]提取全局特征向量以回归最终变换，这在处理部分到部分配准方面具有困难。为了解决这个问题，基于匹配的方法[16]、[54]、[63]、[64]、[65]、[66]、[67]、[68]、[69]提出匹配源点云和目标点云之间的特征以构建相关矩阵。然后将矩阵馈送到加权SVD算法[51]以估计变换。这些方法通常在具有高离群值比率或低重叠的点云上失败。一些其他内点过滤方法[55]、[70]、[71]、[72]、[73]直接处理来自现有方法的对应关系，以选择可靠的内点来估计最终变换。RoReg遵循传统的流水线，使用检测、描述和匹配来构建对应关系，然后在对应关系上应用RANSAC来估计变换。RoReg估计的对应性也可以与这些内点过滤方法结合，我们将其留给未来的工作。

等变特征学习

[22]，[74]，[75]，[76]，[77]，[78]，[79]，[80]，[81]开发了学习等变特征的工具。一些作品[23]，[24]，[38]，[80]，[82]，[83]，[84]，[85]，[86]，[87]，[88]，[89]，[90]设计架构来学习点云上的旋转等变或不变特征，具有球谐、SO（3）群或向量神经网络设计。这些工作主要集中在点云识别或形状描述的旋转不变性。相比之下，RoReg同时利用旋转不变性和旋转等变性进行鲁棒的点云配准。

• METHOD

Overview.

RoReg的整个流水线如图6所示。给定两个未对齐的点云P和Q，我们的目标是找到一个变换（R，t）∈ SE（3），可以将它们对齐在同一坐标系中。

 在图像处理和计算机视觉中，"等变特征"（equivariant features）和"不变特征"（invariant features）是两种描述特征提取过程中的不同性质的概念。

1. **等变特征（Equivariant Features）**：
   
   - **等变性** 意味着特征提取过程具有某种变换下的等变性。换句话说，如果输入数据发生了某种变换（如平移、旋转、缩放等），那么等变特征会以相似的方式响应这种变换。
   
   - 例如，如果在图像中提取等变特征，这些特征会对图像的平移操作具有等变性。如果你将图像平移一小段距离，等变特征也会相应地发生平移。

   - 等变特征对于一些任务（例如对象识别）可能很有用，因为它们能够帮助模型更好地理解数据中的位置信息。

2. **不变特征（Invariant Features）**：

   - **不变性** 意味着特征提取过程在某种变换下保持不变。无论输入数据如何变换，不变特征的表示都保持不变。
   
   - 例如，在图像中提取不变特征可能会导致特征对于平移、旋转和缩放操作具有不变性。无论如何变换输入图像，不变特征表示都保持不变。

   - 不变特征对于一些任务（例如图像匹配）可能很有用，因为它们允许模型更关注数据中的内容而不受位置或变换的影响。

在实际应用中，特征提取方法可以设计成具有不同的等变性和不变性。选择等变特征或不变特征通常取决于任务的要求。有些任务需要关注数据中的位置信息，而另一些任务则更关注数据的内容。因此，在设计特征提取方法时，需要根据特定任务的需求来权衡等变性和不变性。[参考]