【论文阅读】[CVPR 2018] PU-Net： Point Cloud Upsampling Network. [tensorflow] [rec. oth.]

【论文阅读】[CVPR 2018] PU-Net： Point Cloud Upsampling Network. [tensorflow] [rec. oth.]

Abstract

由于数据的稀疏性和不规则性，使用深度网络学习和分析三维点云具有挑战性。在本文中，我们提出了一种数据驱动的点云上采样技术。其关键思想是在特征空间中通过多分支卷积单元隐式地学习每个点的多级特征并扩展点集。然后将扩展的特征拆分为多个特征，然后将这些特征重构为上采样点集。我们的网络is applied at a patch-level，具有联合损失函数，该函数鼓励上采样点以均匀分布保留在 underlying surface。我们使用合成和扫描数据进行各种实验来评估我们的方法，并证明其优于一些基线方法和基于优化的方法。结果表明，我们的上采样点具有更好的均匀性，并且位置更靠近underlying surfaces。

5. Conclusion

在本文中，我们提出了一种用于点云上采样的深度网络，目标是从更稀疏的点集生成更密集和均匀的点集。我们的网络在patch-level使用多级特征聚合方式进行训练，从而捕获本地和全局信息。通过对包含非局部几何体的单个特征进行操作，允许上下文感知上采样，我们的网络设计绕过了对点之间指定顺序的需求。我们的实验证明了我们方法的有效性。作为使用深度网络的第一次尝试，我们的方法仍然有一些局限性。首先，它不是为完成而设计的，所以我们的网络不能填补大洞和缺失的部分。此外，我们的网络可能无法为严重采样不足的微小结构添加有意义的点。
在未来，我们希望研究和开发更多的方法来处理不规则和稀疏的数据，无论是用于回归还是用于合成。一个直接的步骤是开发下采样方法。虽然下采样似乎是一个更简单的问题，但仍有空间设计适当的损耗和架构，以最大限度地保留抽取点集中的信息。我们相信，总的来说，开发针对不规则结构的深度学习方法是一个可行的研究方向。

图和表

————————————

1. Introduction

Related work: optimization-based methods.
缺点：假定 潜在表面是平滑的。 不是数据驱动，依赖先验知识。

Related work: deep-learning-based methods：
To the best of our knowledge（就我们所知）, there are no prior works focusing on point cloud upsampling.

点云中的点没有任何特定的顺序，也没有任何规则的网格结构，因此最近只有少数工作采用深度学习模型直接处理点云。大多数现有工作将点云转换为其他一些3D表示，如用于处理的体积栅格[27,36,31,6]和几何图形[3,26]。Qi等人[29,30]首先介绍了一种用于点云分类和分割的深度学习网络；尤其是，PointNet++使用分层特征学习体系结构来捕获本地和全局几何体上下文。随后，针对点云的高级分析问题提出了许多其他网络[18、13、21、34、28]。但是，它们都关注点云的全局或中级属性。在另一项工作中，Guerrero等人[10]开发了一个网络来估计点云的局部形状属性，包括法线和曲率。其他相关网络关注从2D图像进行3D重建[8,23,9]。就我们所知，目前还没有专门针对点云上采样的工作。

2. Network Architecture