(NIPS 17) PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space

PointNet++[1]作为PointNet[2]的续作，着重于解决PointNet[2]没有能够很好的提取局部特征的问题，限制了其对细节图案（fine-grained patterns）的理解，无法泛化至其他复杂的任务场景。通过设计一种层级式（Hierarchical）的结构，对输入点云进行分块，重复使用PointNet[2]结构以增加对局部信息的获取能力。

整体的网络架构如上图所示，流程相对简洁，对于输入点云，设计一种层级式架构进行特征提取。

Hierarchical Point Set Feature Learning

PointNet[2]使用MLP+Pooling operation对整体输入点云进行一次性特征描述，并没有能够较好的做到细节部分的处理，因此PointNet++[1]采用层级聚合式操作不断扩大感知区域。
如上图左侧所示，这里只以分类网络为例，首先通过FPS最远点采样进行下采样，采样点即为centroids，接着进行ball query操作以生成局部球形领域，接着使用PointNet[2]也即MLP操作进行特征升维操作。以上操作进行2次，第三次时直接对剩下的所有点进行MLP+Maxpooling操作得到global vectors，接着再使用MLP生成对应的分类概率即可。

Robust Feature Learning under Non-Uniform Sampling Density

针对点云可能具有不均衡的密度分布等问题，区别于以上的最简单的Single-scale grouping（SSG）策略，设计了两种新策略Multi-scale grouping（MSG）与Multi-resolution grouping（MRG）以解决以上问题：

具体操作如上图所示，比较浅显易懂，即在PointNet[2]特征升维阶段将不同尺度下提取到的特征进行拼接（concatenation）.

Experiment

代码版本采用第三方复现版本。验证在ModelNet40上的分类效果。

Model	comment	sample	Acc(%)
PointNet++	reported in paper	5000	91.9
PointNet++_SSG	pointnet2_cls_ssg_250.pth	1024	91.4
PointNet++_SSG	pointnet2_cls_ssg_250.pth	5000	91.2
PointNet++_MSG	pointnet2_cls_msg_250.pth	1024	91.6
PointNet++_MSG	pointnet2_cls_msg_250.pth	5000	91.0

Reference

[1] Qi C R, Yi L, Su H, et al. Pointnet++: Deep hierarchical feature learning on point sets in a metric space[J]. Advances in neural information processing systems, 2017, 30.
[2] Qi C R, Su H, Mo K, et al. Pointnet: Deep learning on point sets for 3d classification and segmentation[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 652-660.