【论文阅读笔记】《PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space》

《PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space》

Qi C R, Yi L, Su H, et al. Pointnet++: Deep hierarchical feature learning on point sets in a metric space[C]//Advances in neural information processing systems. 2017: 5099-5108.

循环使用Point Net 实现类似CNN的特征逐层提取机制。

网络结构如下：

每一个abstraction level 包含三层：

Sampling layer:使用 iterative farthest point sampling (FPS) 方法寻找′个Group center Point。

Grouping layer:使用ball query 方法寻找每一个Group中的点成员。

输入：N×d+c   输出：′××+。

PointNet layer:使用PointNet提取每一个Group点云中的特征。

输入：′××+  输出：′×+′

点云深度网络存在的问题： Non-Uniform density ，某些区域的点云密度很小，在点云密度正常区域习得的特征在点云密度小的地方不适用，提取特征的函数不能很好的进行weight-shared，不能有效的提取共有的特征。

为了使网络有效的适应这个问题，将PointNet layer的结构作如下改进：

提出了两种自适应的多尺度/多分辨率的特征提取方法。

①：MSG，如图3.(a)所示，每一层abstract layer，将PointNet作用于多个尺度的点云group，最终将不同尺度的特征进程拼接。

使用random input dropout 策略对训练样本中的点进行剔除，在这些训练样本上训练会使网络习得一个较优的对多尺度特征的组合策略。

②：MRG，如图3.(b)所示，将级联Point Net和单层PointNet所提取的特征进行拼接，级联PointNet可以比较好的提取高密度点云的特征，单层PointNetK可以比较好的提取低密度点云的特征，

同时使用Ramdom input dropout策略对网络进行训练可以在一定程度上有效组合多尺度特征。Mrg策略比MSG策略的网络的参数较少，效率较高。

 

 

Point Feature Propagation 策略

 

使用距离反比插值策略，逐级恢复点云的特征，插值之后与特征提取过程的对应等级的点云的特征进行拼接，然后使用unit Pointnet 对concatenated的特征进行处理。

插值的公式如下，使用离目标点最近的k=3个点的特征插值，p=2。

实验显示，

对于classification：

相较于PointNet，PointNet++对点云的Non-uniform的鲁棒性较高，并且对点云的分类更准确，达到了90%以上的准确率。

对于semantic scene labeling：

MRG与MSG提高了网络对Non-uniform的点云的robustness，其中MSG策略可有效提高网络对Non-Uniform的点云的robustness。

其中SSG是使用single scale的PointNet++，相较于Uniform的点云数据，网络对于Non-Uniform的数据的scene labeling的准确率下降了超过10%。

Feature Visualization：

第一级kernels习得的patter可视化，因为是在家具的数据集上训练的，习得的特征基本上是一些平面、线、角落或者两个平面等等。