【点云识别】Multi-Path Region Mining ForWeakly Supervised 3D Semantic Segmentation on Point Clouds

Multi-Path Region Mining ForWeakly Supervised 3D Semantic Segmentation on Point Clouds

本文介绍一篇cvpr2020里面关于点云弱监督分割的文章。
论文
目前还没有开源代码

1. 问题

目前获得大规模点云已经不是一件困难的事情了，但是对其进行标注是十分费时。
例如 ScanNet 数据集，对一个scan标注时间的中位数和平均数大概是16.8min和22.3min。

所以本文想要解决弱监督点云分割的问题。

2. 思想

通过Scene-level 和 Subcloud-level 的label完成点云的分割。

前端使用了point class activation map（PCAM）进行特征的提取，然后 Multi Path
Region Mining模块进行enhance，使用element-wise maximum 得到label。最后使用了一个CRF进行refine。

3. 算法

3.1 point class activation map（PCAM）

使用KPConv和ResNet blocks 作为主体网络。

3.2 MultiPath Region Mining

使用了三种attention方式。值得一提的是，在最后的sum环节，对于attention后的feature又给了一个权重 $\beta$，这个权重$\beta$是可学习的。

4 实验结果

Ablation study这里比较有意思，仔细观察就会发现作者并没有给出SA+CA, SA+PSA, CA+PSA中的任意一个结果。根据之前的实验经验猜测，这三种attention叠加到一起，效果不一定会优于其中任意两种的叠加。因为会存在冗余，重复的过程。

总结

应该是点云无监督分割的先行者，算是为这个方向迈出了第一步。从效果上看比较一般，可能是无监督分割的难度太大。attention处整理得比较好，应该是我见过的最清晰的一篇。AAAI2020也有一篇使用了channel,point,local attention，但是写的没有这篇清晰简洁，值得学习。