03 PF-Net: Point Fractal Network for 3D Point Cloud Completion

• 论文地址：https://arxiv.org/pdf/2003.00410.pdf
• 代码地址：https://github.com/zztianzz/PF-Net-Point-Fractal-Network.git
• 论文类别：三维重建

摘要

本文提出了一种基于学习的点云分形网络（PF-Net），用于精确、高保真的点云完成。现有的点云完成网络在从不完整的点云中生成点云的整体形状过程中总是会改变现有的点，并且会产生噪声和几何损失，PF-Net有别于现有网络，它保留了不完整点云的空间布局，并能计算出在预测中缺失区域的详细几何结构。为了成功地完成这一任务，PF-Net利用基于特征点的多尺度生成网络，对缺失点云进行分层估计。此外，我们将多层生成损失和对抗损失相加，生成更为真实的缺失区域。在预测中，对抗性损失可以更好地处理多种模式。我们的实验证明了我们的方法在高挑战性的点云完成任务的有效性。

创新性

1. 提出点云分形网络（PF-Net：Point Fractal Network），采用了类似分形几何的思想，同样以不完整点云作为输入，但是仅输出缺失部分点云，并且较好地保留了某个物体的个体特征。
2. PF-Net 的修补对比其他网络具有以下优势：
   （1）保留了输入点云独特的几何特性；
   （2）细节特征更加丰富且柔和；
   （3）生成点云整体的质量更高。

思路启发

传统的点云补完方法基于一定的物体基础结构的先验信息，如对称性信息或语义类信息等，通过一定的先验信息对缺失点云进行修补。这类方法只能处理一些点云缺失率很低、结构特征十分明显的缺失点云。近年来，一些工作也尝试使用深度学习来实现点云补全，如 LGAN-AE，PCN, 和 3D-Capsule等，这些工作以不完整点云作为输入，输出完整点云，造成网络过于关注到物体的整体特征而忽略了缺失区域的几何信息。另一方面，这些网络会生成偏向于某类物体共性特征的点云，而失去某个物体的个体特征。因此提出点云分形网络（PF-Net：Point Fractal Network），采用了类似分形几何的思想，同样以不完整点云作为输入，但是仅输出缺失部分点云，并且较好地保留了某个物体的个体特征。

网络结构

PF-Net 网络之所以可以大幅改善生成点云的效果，与 PF-Net 网络的特征密不可分。该网络的主要特征包括：
（1）以不完整点云作为输入，仅输出缺失部分点云，可以更多保留物体点云的空间结构，对物体的局部特性感知更好；
（2）提出了更优的点云特征提取器：多分辨率编码器（Multi-Resolution Encoder），多尺度的方法提升了高低层次点云语义信息提取的效率；
（3）提出了金字塔解码器（Point Pyramid Decoder）用于生成点云，利用多阶段补全损失 (Multi-stage completion loss) 监督其中关键点云的生成，从而减少了几何结构瑕疵。
（4）利用 GAN 结构的鉴别器（Descriminator）优化网络，改善了同一类别不同物体间的特征会相互影响的现象（Genus-wise Distortions Problem）。

几点思考

总体来说，PF-Net 实现了缺失点云数据下的精细补全，在不同缺失率和多个缺失位置的情况下的补全效果均较好，可以作为点云预处理方法，提高点云分割、点云识别的准确率。然而，目前点云领域并没有类似于 Imagenet 这样庞大的高质量真实数据集，在一定程度上制约了更复杂的点云处理算法的发展。点云数据可以简洁有效地描述三维物体，我们呼吁更多的人关注点云深度学习，共同建设点云深度学习的美好生态。

参考资料

1. https://www.jiqizhixin.com/articles/2020-03-10-10

觉得有用可以关注我的公众号CV伴读社