【点云识别】PointContrast: Unsupervised Pre-training for 3D Point Cloud Understanding (ECCV 2020)

PointContrast: Unsupervised Pre-training for 3D Point Cloud Understanding

本文介绍一篇ECCV2020里面关于点云无监督预训练的文章。
论文
目前还没有开源代码

1. 问题

点云无监督预训练

2. 思想

点云的预训练领域处于比较空白的状态，本文focus on 高级别的场景理解任务，提出了一种无监督的PointContrast与训练方法。文章主体依赖于FCGF, 以及无监督学习 3D representation的思想（through transformation），在其基础上重新设计并提出了PointInfoNCE Loss, 结合一个U-net的整体框架，在6个数据集上都达到了比较好的效果，对于segmentation, detection任务均有收益。

3. 算法

文章的写作思路真是引人入胜，建议大家去读一读，有种看小说的流畅感。这里我主要记录行文思路，忽略一些设计细节。

3.1 Pilot Study: is Pre-training on ShapeNet Useful?

首先抛出一个小问题，Is Pre-training on ShapeNet Useful?

从图一的结果来看，shapenet的预训练对于downstream似乎没有帮助。作者给出了自己的分析，认为可能的原因有两点

第一个问题比较好解决，在scannet数据集上进行与训练，也对应了本文的setting。
那么第二个问题如何解决呢？

3.2 Revisiting Fully Convolutional Geometric Features (FCGF)

简要的介绍了一下 FCGF的主要贡献点，然后又抛出了一个问题引出自己的架构。
Can we repurpose FCGF as the pretext task for high-level 3D understanding?

3.3 PointContrast as a Pretext Task

3.4 Contrastive Learning Loss Design

设计了 PointInfoNCE Loss

4 实验结果

大量的实验，令人难以望其项背！

总结

文章的写作用词和行文思路都值得我反复学习。之所以忽略了一些技术细节，一是因为觉得行文思路太过惊艳，二是基本没有Hardest-Contrastive Loss的基础，日后有时间学习后再来补充。周五的摸鱼少年。