PU-Net阅读笔记：点云的上采样

简述

PU-Net在点云上进行上采样，即输入一个点云，输出一个更密的点云，且它落在输入点云隐含的几何体（比如表面）上。点云上采样和图片的超分辨率很像，但因为是三维的点而不是二维的像素，因此也有点云不规则、无顺序的一系列缺陷。PU-Net的核心思想，是学习到每个点多个粒度（从局部到全局）下的特征，再在特征空间中扩大点集，最后将扩大的点集映射回三维。提取特征的方法基于PointNet++。

邻域选择

在模型表面上随机选择$M$个中心点，然后指定一个测地线距离$d$，将$d$范围内的点和中心点一起作为一个Patch。然后，我们使用Poisson disk sampling来随机采样$\hat{N}$个点，作为ground truth。我们可以改变$d$的大小，从而形成不同尺度、不同密度的patch。

层次特征学习

此部分采用了PointNet++的算法，得到了各个尺度上点的特征。注意这里每层聚类的半径比较小，这样可以保留住更多的局部细节特征。

多层次特征融合

越低层次的特征对应着越局部的特征。对于高层次的特征，PointNet++采用了按归属（连接）关系将它们传递到每个点上。但PU-Net的作者认为这样不是很高效，因此采用了直接加权融合的方法。即

$$f^{(l)}(x)=\frac{{\sum }_{i=1}^3{w}_i(x)f^{(l)}(x_i)}{{\sum }_{i=1}^3{w}_i(x)}$$

它表示了点$x$在第$l$层的特征为它最临近三个中心点$x_1,x_2,x_3$的加权和，其中权重$w_i(x)$为距离反比。

然后，我们在每个点上将其各层次的特征做一个concatenate，作为该点的特征。

特征展开

令$N$为点的数量，$\tilde{C}$为特征的维度。我们的目标是得到$rN$个特征，其中$r$为上采样率。按照代码里的做法，首先将$N\times \tilde{C}$扩展到$rN\times \tilde{C}$，然后通过两个各点独立的$1\times 1$的卷积核，得到$rN\times {\tilde{C}}_2$的张量。

坐标重建

最后，通过多个全连接层，将$rN\times {\tilde{C}}_2$的张量转化为$rN\times 3$，得到最终的结果。

训练过程

对于一个模型，我们当然事先不知道它上采样的结果。因此训练时，我们首先对模型进行下采样，然后用原模型作为ground truth。

损失函数

重建损失

重建损失测量了生成的点云和ground truth之间的推土机距离EMD（Earth Move Distance），即令生成的点云为$S_p$，ground truth点云为$S_{gt}$，则此距离为

$$L_{rec}=d_{EMD}(S_p,S_{gt})=\underset{\varphi :S_p\to S_{gt}}{\min }\sum _{x_i\in S_p}||x_i-\varphi (x_i)|{|}_2$$

其中，$\varphi :S_p\to S_{gt}$是一个从生成点云到ground truth的双射。

另一个常用的点云之间距离的度量方式是CD，Chamfer Distance。和CD相比，EMD可以更好地使点接近模型的隐藏表面。

排斥损失

如果只有重建损失，则从一个点派生出来的$r$个点很可能会聚集在一起。为了使这些点分开一些，作者增加了排斥损失。

$$L_{rep}=\sum _{i=0}^{\hat{N}}\sum _{i^{\prime }\in K(i)}\eta (||x_{i^{\prime }}-x_i||)w(||x_{i^{\prime }}-x_i||)$$

其中，$\hat{N}=rN$，$K(i)$为$x_i$的$K$近邻。$\eta (r)=-r$为排斥项，距离越近$\eta (r)$越大。$w(r)=e^{-r^2/h^2}$为权重项，距离越近权重越大。论文里没有提及$h$是什么，感觉是一个权重的超参数。

总损失

$$L(\theta )=L_{rec}+\alpha L_{rep}+\beta ||\theta |{|}^2$$

其中，最后一项为正则化项。

实验结果

与另一个方法EAR的比较

参考文献

Yu, Lequan, et al. “Pu-net: Point cloud upsampling network.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018.