【论文阅读】【点云处理】pointnet++的改进

PATs: Point Attention Transformers

论文：Modeling Point Clouds with Self-Attention and Gumbel Subset Sampling

2019CVPR，上海交大MoE实验室和华为诺亚方舟实验室

本文主要改进了PointNet++中的FPS的部分，使得选取的点更能处理外点，将down sampling的点选取在attention score大的点上。很形象的对比如下图：

接下来就介绍一下本文提出的两个模块。

GSA：Group Shuffle Attention

这一块内容主要就是自注意力机制，注意力机制的详细内容可以参考另一篇博客。

本文使用了Scaled Dot-Product attention（在上面的博客也提到了），具体的GSA的详见论文中的公式（7）（8）和（11）。

对于点x，对应的特征向量是y，通过y=GSA(f)的变换，得到了点的新的特征向量y。在GSA过程中，参考(7)和(8)，仍然是使用f内部的信息，与MLP其实作用是一样的，就是计算新的特征。

GSS：Gumbel Subset Sampling

主要是将Pointnet++中的FPS换成了使用Gumbel Softmax进行计算每个点的重要程度，然后根据这个概率选取down sampling的点。

网络结构

从网络结构看，GSA网络类似于Pointnet++中的MLP，GSS相当于FPS。

Moments

论文：Momenet: Flavor the Moments in Learning to Classify Shapes

本文章提出的方法简单，基本上就是增加网络的输入。将网络的输入由点的坐标(x,y,z)增加到(x,y,z,x²,y²,z²,xy, xz, yz)。基本网络如下：

2^nd Order-Layer

可以从细节看到2^nd Order-Layer其实与Pointnet++非常相似，无非就是还做了人工构造了2^nd Order的特征。

具体的Spatial-Trans中也加入了2^nd Order-Layer。

最后的效果证明，在ModelNet40的数据集上，效果很好。