点云配准论文阅读笔记

1.《RPM-Net: Robust Point Matching using Learned Features》
CVPR2020
论文链接：http://arxiv.org/abs/2003.13479v1
代码链接：https://github.com/yewzijian/RPMNet

解决了点云刚性配准任务中，对初始刚性变换和噪声/离群点敏感的问题。
基于空间距离的最近点对应的硬赋值对初始刚性变换和噪声/离群点敏感，往往导致ICP收敛到错误的局部极小值。RPM比ICP更为健壮，但它仍然对初始化和局部极小值敏感，因为仍然仅根据空间距离获得点对应关系。
本文提出了RPM-Net，一种对初始化不敏感的基于深度学习的刚性点云配准方法。RPM-Net对RPM做了两个修改：1）将基于空间的距离量度换成了基于混合特征距离；2）在每次迭代中都要重新计算参数α,β.
网络使用可微Sinkhorn层和退火算法从空间坐标和局部几何中学习的混合特征中获得点对应的软分配。为了进一步提高配准性能，论文引入二次网络来预测最优退火参数。
与某些现有方法不同，RPM-Net可以处理缺少的对应关系和部分可见性的点云。实验结果表明，与现有的非深度学习和最新的深度学习方法相比，RPM-Net达到了SOTA。
原文的翻译和讲解

2.《Learning multiview 3D point cloud registration》
CVPR2020
论文链接：https://arxiv.org/abs/2001.05119v2
代码链接：https://github.com/zgojcic/3D_multiview_reg

论文提出了一种新的、端到端可学习的多视点三维点云配准算法。多个扫描的注册通常遵循两个阶段的流程：初始成对对齐和全局一致优化。前者由于相邻点云重叠程度低、对称性强、场景部分重复等原因，往往具有模糊性。因此，后一种全局求精旨在建立跨多个扫描的循环一致性，并有助于解决不明确的情况。本文提出了第一个端到端的算法来联合学习这两个阶段的问题。在公认的基准数据集上进行的实验评估表明，论文的方法比目前最先进的方法有显著的优势，同时具有端到端可训练和计算成本较低的特点。此外，还提出了详细的分析和消融研究，验证了论文方法的新组成部分。

3.《D3Feat: Joint Learning of Dense Detection and Description of 3DLocal Features》
CVPR2020
论文链接：http://arxiv.org/abs/2003.03164v1
代码链接：https://github.com/XuyangBai/D3Feat

一个成功的点云配准通常依赖于通过区分三维局部特征建立稀疏匹配。尽管基于学习的三维特征描述子的发展很快，但是对于三维特征检测器的学习却没有引起足够的重视，更不用说对这两个任务的联合学习了。本文利用三维全卷积网络对三维点云进行学习，提出了一种新的、实用的学习机制，该学习机制可以对每个三维点的检测分数和描述特征进行密集预测。特别地，提出了一种克服三维点云固有密度变化的关键点选择策略，并进一步提出了一种在训练过程中由实时特征匹配结果引导的自监督检测器损耗。最后，本文的方法在室内和室外场景下都取得了最新的结果，在3DMatch和KITTI数据集上进行了评估，并在ETH数据集上显示出了很强的泛化能力。在实际应用中，采用可靠的特征检测器，对少量特征进行采样，就可以实现精确快速的点云对齐。

4.《Deep Closest Point: Learning Representations for Point Cloud Registration》
ICCV2019
代码链接：https://github.com/WangYueFt/dcp

模型包括三个部分：一个点云嵌入网络，以帮助识别匹配的点对；一个与指针生成层相结合的基于注意力机制的模块，其用于近似组合匹配，和一个用于提取最终的刚性变换的可微的奇异值分解(SVD)层。
pointer-generator模型（指针生成网络), 通过指针从源文本中复制单词以解决OOV问题，并且有能力生成新词（在源文本中没有出现的词）。
参考1
参考2
写的挺好的
文章评估了用于学习嵌入模块的两种可能：PointNet和DGCNN，发现PointNet特性不包含局部邻域信息，对于刚性对齐最有用的特征是从局部和全局信息共同学习的DGCNN。
为了避免选择不可微的硬分配，文章中基于相似度，使用了一种概率方法，该方法生成一个从一个点云到另一个点云的(单随机的)“软映射”。
在调整两片点云进行对齐的时候，对于源点云中的每一个点，使用与目标点云中每个点匹配的概率，加权求和，得出平均值，并将其作为源点云中的调整点。再用SVD求解旋转和平移矩阵。
论文将Transformer应用到了点云Registration问题中，通过Transformer中的attention机制，计算出一个“假想的目标点云“，这个假想的目标点云与待调整点云之间点的对应关系已知（soft matching）。再通过Loss约束，间接使得假想的目标点云向真正的目标点云不断逼近，最终实现点云的对齐匹配。

5.《DeepVCP: An End-to-End Deep Neural Network for Point Cloud Registration》
ICCV2019

本文是第一个提出了基于端到端学习的点云配准框架。
首先使用最新的点云特征提取网络PointNet++从源点云和目标点云中提取每个点的语义特征。为了提取到能够避免动态对象、并关注那些有利于配准的稳定和独特的语义特征，本文在源点云中选择对配准任务最重要的关键点，利用点加权层通过学习过程为提取的特征分配匹配权重。
为了解决点云的局部稀疏性问题，提出了一种基于特征描述子提取过程的点云生成方法。
最后，除了利用源关键点与生成的对应点之间的L1距离作为损失外，本文还提出了通过自适应地合并关键点权重并使用TensorFlow中新引入的SVD算子执行一次优化迭代来构造另一个对应点。关键点和这个新生成的对应点之间的L1距离再次被用作另一个损失。与第一个仅使用局部相似性的损失不同，这个新引入的损失在局部关键点之间建立了统一的几何约束。这样就构建了融合了局部相似性和全局几何约束的损失函数。
通过端到端的闭环训练，DNNs可以很好地进行泛化，选择最佳关键点进行配准。

6.《PointNetLK: Robust & Efficient Point Cloud Registration using PointNet》
代码链接：https: //github.com/hmgoforth/PointNetLK

本文创新性地把 PointNet 看作是一种可学习的成像函数，将点云数据映射到特征空间，从而把点云数据看做一副图像，这样就可以并把经典的图像配准算法 Lucas&Kanade(LK)算法就可以被应用到点云配准问题上。文章的本质上是修改了 ICP 的操作域，ICP 是直接用点云去算，而 PointNetLK 则是把 ICP 用在特征域中。
论文中，使用传统LK算法的反向组合形式, 对模版图像做一个逆变换得到原图像，反向组合形式使得整个配准过程只需对模板图像计算一次雅各比矩阵(Jacobian)， 大大地减小了计算量。
用到的 PointNet 网络去除了 T-net 部分，对比 PointConv 网络，猜想这是因为完整的 PointNet 网络和 PointConv 网络完美的解决了点云数据的旋转不变性，即将源点云和模板点云投影到特征空间上之后，两片点云之间的差异就会较小，但这个差异又不足以对齐两片点云，就会影响配准效果。
论文中加不加T-net 部分，效果差异不大，后面也会重现实验来继续看看。

7.《Dynamic Graph CNN for Learning on Point Clouds》
创新点：提出了两个新的概念：EdgeConv和Dynamic Graph
1）EdgeConv
主要实现对点云中节点的feature的更新操作，改进了PointNet中缺少局部信息的缺点。
在多层系统中，特征空间中的相对关系包含了语义特征。（注：点云中形状近似的部分，在特征空间中距离较小。）
一个点的feature的单次更新过程：
Step1: 在当前每个点的feature空间内（输入层的feature，就是xyz坐标），对于每个点 ，通过KNN算法，找到k个距离最近的点。k个点按距离升序排列，得到：

Step2: 依次计算出k个边的feature：

Step3: 每个边里面加入点的feature，得到k个feature：

Step4: 对于上面得到的每个feature，用一个共享的网络 来更新。代码中使用的是kernel是1x1的Conv2d，相当于一个全连接层，得到k个feature:

Step5: 用max pool，将以上k的feature整合为一个feature，作为点 新的feature。
2）Dynamic Graph
从edgeConv的计算过程可以看出，每更新一次feature，重新用KNN找K个最近点时，由于是按照新的feature的距离来找，所以每次NKK的结果都会不同，每次构建的局部图都会动态的更新。