PointCleanNet: 一种基于数据驱动的点云去噪方法

最近投文章，不止一个审稿人向我推荐了PointCleanNet用于稠密点云去噪。查了一下，是Ovsjanikov教授挂名的文章，发表在CGF上。高手背书，果断决定研究一下。

1. 介绍

点云去噪是一个老问题了，一般主要是针对高斯噪声和异常点（Outliers）进行去噪，经典的方法包括双线性，高斯核以及MLS曲面重映射等方法。作者在PointCleanNet中，提出了一些关于点云去噪的一些细节问题，如下：

1）平衡去噪与特征保护；2）自适应；3）对无序点云与刚性变换鲁棒；4）不干扰非噪声点。

这里给出我个人的解释，一般在点云去噪中，为了追求点云的连续性，通常都会采取平滑算法。可想而知，一些重要的几何特征，如锐利的边界以及几何纹理细节会被平滑掉。这是我们不希望发生的。因此，去噪需要在平滑与特征保持中建立平衡。自适应，意思是不希望有过多的人为输入。因为一些经典算法都要求用户输入搜索半径等参数，而这些参数对结果又会有很大影响，同时用户又不太清楚如何输入较好的参数，所以导致基于参数的算法实用性一般。自适应就是要解决这个问题。无序与刚性变换鲁棒比较容易理解，就是对同一个点云，变换点的顺序与对点云进行平移旋转，去噪结果一致。最有一点，不干扰非噪声点，就是说点云需要在尽可能保持原始信息的基础上去噪，否则就是输出一个和原来模型不一致的所谓理想结果，自己逗自己玩。

为了解决这些问题，作者提出了PointCleanNet。该网络基于PCPNet architecture [1] 来估计局部几何特征，并根据该特征实现去噪。通过对一组包括了噪声的点云块集合进行训练，得到PointCleanNet，即首先去除Outliers，然后估计留下的点的校正向量。

2. 问题建模

假设带噪声点云表示如下：

P‘为输入点云；我们希望恢复噪声点的位置并去除Outlier, 于是我们建立校正向量的表示

 d为校正向量，p_i^'为消除了Outlier的点。

PointCleanNet的目标就是消除Outlier并且获得对校正向量的估计。基本上这是一个局部估计的问题，校正向量要与点云的邻域结果报纸一致，以获得平滑的曲面。PCPNet能够用来计算一个点云的邻域结构的几何特征。

 使用一个非线性函数g来估计输入点是outlier的概率： 

o^{~}_i是outliers的判断概率，当大于0.5时，即判断输入点为outlier。

使用一个函数f来估计校正向量d

建立局部块local patch：建立一个类似于ball space的空间，来搜索附近的区域，以获得outlier的概率；使用spatial transformer network（quaternion spatial transformer network：QSTN）[2] 来去除旋转影响；

Loss function: 基本上就是点的欧氏距离，也可以是Hausdorff距离。

3. 程序调试

首先下载源代码，作者已经提供了项目链接：GitHub - mrakotosaon/pointcleannet

配置，我是在pycharm上配置的，需要安装的包包括cudatoolkit，cudnn，pytorch，numpy，script，tensorboardx，请按照版本需求安装。

程序的使用：

首先，下载训练数据，使用download_data.py

之后，训练，使用train_pcpnet.py

按照要求，在项目根目录中创建一个文件夹，存储输出的去噪结果

最后，运行run.sh (如果是windows平台，需要安装shell执行应用。我没有搞定，就直接把sh里的命令在命令行模式里输入的，总共三条语句，即对点云进行的三次迭代。)

我对python的点云项目不太熟，应该是可以把这个程序重新改一下，不需要这么麻烦，熟悉python点云项目的兄弟有空可以优化一下： 

论文中的一些去噪的实验结果： 

我用自己的数据跑出来的一些结果：(有效果，但是确实一般。事实上，依靠局部邻域的patch去建立源输入，还是不能彻底解决过于离散的outlier的情况。不过，肯定比传统方法要好一点。)

 

[1] GUERRERO P, et al. PCPNet: Learning local shape properties from raw point clouds.CGF 37, 2 (2018), 75–85.

[2] JADERBERG M, et al. Spatial transformer networks. In NIPS (2015), pp. 2017–2025.