论文阅读笔记(16)---2022 CVPR Geometric Transformer for Fast and Robust Point Cloud Registration

参考链接
参考链接

研究背景

求解点云配准的主要方法可以分为基于correspondence和直接求解的。

correspondence分为 keypoint-based 和 detection-free两类。而直接求解的可以分为ICP的思路（soft-correspondence和可微分的SVD）,以及直接回归一个transformation。直接求解的方法在大数据场景集上效果不好。

关键贡献

本文认为点云配准中应该充分学习点云的几何结构，才能提取置换不变的几何特征。

• 提出一种快速准确的点云配准算法，keypoint-free，RANSAC-free
• 提出一种geometric Transformer 能够为超点的匹配学习置换不变的特征
  （由于距离和角度对于刚性变换而言都是置换不变的，因此利用他们学习几何结构，能够在低重叠率的情况下实现有效超点匹配）
• 提出一种overlap-aware circle loss能够根据patch的匹配率为匹配的超点重新分配权重，从而更好地收敛。

网络结构

超点采样和特征提取

• 利用KPConv-FPN backbone提取出点云的多层次特征。
  （原始的点云数据过于密集冗余，因此进行下采样）
• 得到超点点云以及稠密点云。

超点匹配

在计算机视觉的任务中，全局信息是比较重要的，因此利用transformer可以有效利用全局信息。但是，现存的方法通常只利用高纬度的点云特征，并没有将几何结构纳入考虑。这就导致在低重叠率的情况下，几何特征匹配效果较差。一种直接的解决办法是将位置编码插入进去，但是这种方式是置换改变的，而点云需要置换不变。

因此提出一种Geometric Transformer，通过geometric self-attention提取点云内部特征，然后利用feature-based Cross-attention对点云间的一致性进行建模。

对于输入的两个超点Pi和Pj，他们的geometric structure embedding包括pair-wise Distance Embedding和Triplet-wise Angular Embedding。因此这个结构利用了距离和角度来得到超点的置换不变性的几何结构。

Geometric self-attention对于两个点云中的超点学习到了全局的特征信息和几何信息。

由于前面已经加入了几何信息，因此在cross-attention中只进行了简单的transformer的操作。

因此利用geometric self-attention为每一个点云得到几何置换不变性的结构特征，然后利用feature-based cross-attention为两个点云进行几何一致性编码。
最终得到杂交特征Hp和Hq。

首先对H归一化，然后计算高斯相连矩阵 ，引入双重标准化，结合我们的特征，极大程度一直了错误匹配。最后选出最大的k个作为超点匹配。

点云匹配

在获得超点之间的关系之后，我们利用一个简单但是有效的point matching module实现点匹配。由于超点匹配已经解决了全局错误的问题，因此点级别的匹配主要由被匹配的两个点的临近区域决定的。

无RANSAC的局部到全局的配准

原来的配准方式依赖于robust pose estimators例如RANSAC，但是这种方式经常被离群点支配，并且难以收敛。
提出来的方式不需要参数，并且不需要训练网络。

损失函数

结论

• 提出一种Geometric Transformer 来学习鲁棒的由粗到细的对应关系
• 通过成对的距离编码和成三对的角度编码实现点云的置换不变性和几何一致性。
• 由此实现了不需要RANSACked的快速精确的点云配准。
• 希望可以延伸到2D-3D的跨模态领域。