【点云识别】D3Feat: Joint Learning of Dense Detection and Description of 3D Local Features(CVPR 2020 Oral)

D3Feat: Joint Learning of Dense Detection and Description of 3D Local Features

本文介绍一篇cvpr2020里面关于点云matching的文章。
论文
代码

1. 问题

Point Cloud Matching。 前人的工作没有将点云的dectection和descriptors联合起来学习， 会导致detector 不能匹配上 descriptor的能力。

2. 思想

同时进行dectection and description，为了消除点云密度对选择key point可重复性的影响，将点的数目考虑进来。为了更好地指导feature matching 提出了自监督的 dectector loss。

3. 算法

3.1 Dense Feature Description

采用KPConv作为卷积方式，以获得description。

3.2 Dense Keypoint Detection

先选择最显著的channel，然后验证其是否是空间局部上的最大。

提出了密度不变的评分

Channel max score

3.3 Joint Optimizating Detection & Description

采用了 hardest in batch的采样策略，我不是很了解
Descriptor loss.

Detector loss

If a correspondence is already matchable under the current descriptor network, we want the score to be higher.

4 实验结果

整体上看实验效果还是不错的，其实并没有超过FCGF多少。但在key point只有250个的情况下实现了对FCGF的碾压，这是本文章的强点。可能与他一直强调的density-invariant ，以及detector强相关。根据实验结果看，如果key point数目较多的情况下，如何选择key point好像真的不太重要。

总结

作者的相关知识积累较强，从整体上看D3Feat没有优于FCGF。但是针对FCGF在key point较少情况下的弱点，完成了这篇文章，看问题的角度和眼光很毒辣!