CVPR 2020 | 更高质量的点云补全：上海交通大学团队提出点云分形网络

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

本文由知乎作者1335授权转载，不得擅自二次转载。原文链接：https://zhuanlan.zhihu.com/p/112161803

近日，计算机视觉顶会 CVPR 2020 接收论文结果公布，从 6656 篇有效投稿中录取了 1470 篇论文，录取率约为 22%。本文介绍了上海交通大学被此顶会接收的一篇论文《PF-Net: Point Fractal Network for 3D Point Cloud Completion》。

点云补全（Point Cloud Completion）用于修补有所缺失的点云（Point Cloud），从缺失点云出发估计完整点云，从而获得更高质量的点云。点云有助于用较小的数据量描述三维物体，在三维物体的检测识别领域应用广泛。在 PointNet[1] 和 PointNet++[2] 使用深度学习网络实现了点云分割和点云分类之后，点云深度学习逐渐成为热门研究领域。但是，从激光雷达等设备中获取的点云往往有所缺失，这给点云的后续处理带来了一定的困难，也凸显出点云补全作为点云预处理方法的重要性。

传统的点云补完方法基于一定的物体基础结构的先验信息，如对称性信息或语义类信息等，通过一定的先验信息对缺失点云进行修补。这类方法只能处理一些点云缺失率很低、结构特征十分明显的缺失点云。近年来，一些工作也尝试使用深度学习来实现点云补全，如 LGAN-AE[3]，PCN[4], 和 3D-Capsule[5] 等，这些工作以不完整点云作为输入，输出完整点云，造成网络过于关注到物体的整体特征而忽略了缺失区域的几何信息。另一方面，这些网络会生成偏向于某类物体共性特征的点云，而失去某个物体的个体特征。

我们提出点云分形网络（PF-Net：Point Fractal Network），采用了类似分形几何的思想，同样以不完整点云作为输入，但是仅输出缺失部分点云，并且较好地保留了某个物体的个体特征。下图 1 中给出了不同点云修补网络的修复效果对比。

图 1：点云补全效果对比，从上往下（输入; LGAN-AE 输出 [3] , PCN 输出 [4]; 3D-Capsule 输出 [5] ; 我们的 PF-Net 输出; 真实输出）

可以看到，PF-Net 的修补对比其他网络具有以下优势：（1）保留了输入点云独特的几何特性；（2）细节特征更加丰富且柔和；（3）生成点云整体的质量更高。

PF-Net 网络之所以可以大幅改善生成点云的效果，与 PF-Net 网络的特征密不可分。该网络的主要特征包括：（1）以不完整点云作为输入，仅输出缺失部分点云，可以更多保留物体点云的空间结构，对物体的局部特性感知更好；（2）提出了更优的点云特征提取器：多分辨率编码器（Multi-Resolution Encoder），多尺度的方法提升了高低层次点云语义信息提取的效率；（3）提出了金字塔解码器（Point Pyramid Decoder）用于生成点云，利用多阶段补全损失 (Multi-stage completion loss) 监督其中关键点云的生成，从而减少了几何结构瑕疵。（4）利用 GAN 结构的鉴别器（Descriminator）优化网络，改善了同一类别不同物体间的特征会相互影响的现象（Genus-wise Distortions Problem）。

图 2：PF-Net 整体网络结构

网络的整体网络结果如图 2 所示。PF-Net 网络以多分辨率编码器（MRE）作为特征提取网络，使用联合 MLP（CMLP）替代 MLP 成为单个点云的特征提取器，从而能最大程度保留原始点云的局部特征；利用特征向量通过点云金字塔解码器（PPD）输出点云，PPD 的主要思想是监督每一阶段的点云，提升关键点的生成质量，在关键点的基础上不断生成新的点云。

下图 3 展示了多层次拟合关键点在不同深度的效果。对比未使用 PPD 结构和损失函数的网络，下表 1 的结果显示了 PPD 结构在 PF-Net 中的重要作用。

表 1：PF-Net（vanilla）为未使用鉴别器优化的 PF-Net，MR-CMLP 为未使用 PPD 结构的 PF-Net（vanilla）

图 3：基于金字塔解码器的多层次提取可视化效果

我们主要在 ShapeNet 数据集展开实验，以生成点云和原始点云的相对 Chamfer Distance 指标量为量化指标，下标中「/」左侧为生成点云指向原始点云，「/」右侧为原始点云指向生成点云，可以看到 PF-Net 在 ShapeNet 数据集中的 13 类物体上，在大部分对比中 PF-Net 都是占优的，达到了 SOTA。

表 2：利用 Chamer distance 为指标的量化指标对比

PF-Net 网络在不同缺失比例和缺失多个位置的情况下补全效果也十分不错。如下图 4 和图 5 所示。

图 4：25%，50%，和 75% 的损失比例下的补全结果

图 5：在飞机机头、机尾、机翼等不同位置、多个位置的补全结果

总体来说，PF-Net 实现了缺失点云数据下的精细补全，在不同缺失率和多个缺失位置的情况下的补全效果均较好，可以作为点云预处理方法，提高点云分割、点云识别的准确率。然而，目前点云领域并没有类似于 Imagenet 这样庞大的高质量真实数据集，在一定程度上制约了更复杂的点云处理算法的发展。点云数据可以简洁有效地描述三维物体，我们呼吁更多的人关注点云深度学习，共同建设点云深度学习的美好生态。

注：论文前三作者均为上海交通大学机动学院硕士研究生，四作倪枫供职于科技企业，本文通讯作者为上海交通大学讲师乐心怡。

参考文献：

[1] Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3D classification and segmentation. CVPR, 2017.

[2] Charles R Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. NeurIPS, 2017. 

[3] Panos Achlioptas, Olga Diamanti, Ioannis Mitliagkas, and Leonidas J Guibas. Learning representations and generative models for 3D point clouds. ICML, 2018.

[4] Wentao Yuan, Tejas Khot, David Held, Christoph Mertz, and Martial Hebert. PCN: Point completion network. 3DV, 2018.

[5] Yongheng Zhao, Tolga Birdal, Haowen Deng, and Federico Tombari. 3D point capsule networks. CVPR, 2018.

论文地址：https://arxiv.org/pdf/2003.00410.pdf

代码地址：

https://github.com/zztianzz/PF-Net-Point-Fractal-Network.git

上述内容，如有侵犯版权，请联系作者，会自行删文。

推荐阅读：

吐血整理|3D视觉系统化学习路线

那些精贵的3D视觉系统学习资源总结（附书籍、网址与视频教程）

超全的3D视觉数据集汇总

大盘点|6D姿态估计算法汇总(上)

大盘点|6D姿态估计算法汇总（下）

机器人抓取汇总|涉及目标检测、分割、姿态识别、抓取点检测、路径规划

汇总|3D点云目标检测算法

汇总|3D人脸重建算法

那些年，我们一起刷过的计算机视觉比赛

总结|深度学习实现缺陷检测

深度学习在3-D环境重建中的应用

汇总|医学图像分析领域论文

大盘点|OCR算法汇总

重磅！3DCVer-知识星球和学术交流群已成立

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导，650+的星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

欢迎加入我们公众号读者群一起和同行交流，目前有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加群或投稿