04 PointAugment: an Auto-Augmentation Framework for Point Cloud Classification

• 论文地址：https://arxiv.org/pdf/2002.10876.pdf
• 代码地址：https://github.com/liruihui/PointAugment/
• 论文类别：三维重建

摘要

作者提出了PointAugment，这是一个新的自动扩展框架，当训练分类网络时，该框架会自动优化和扩展点云样本以丰富数据多样性。 与现有的2D图像自动增强方法不同，PointAugment具有样本感知功能，并采用对抗性学习策略来共同优化增强器网络和分类器网络，以便增强器可以学习生成最适合分类器的增强样本。 此外，我们根据形状分类器和点位移来构造可学习的点增强函数，并根据分类器的学习进度，精心设计损失函数以采用增强样本。 广泛的实验还证实了PointAugment在改善形状分类和检索中各种网络性能方面的有效性和鲁棒性。

创新性

作为探索3D点云自动增强的首次尝试，作者展示了用PointAugment代替传统的数据增强方法，可以显着改善ModelNet40 （参见图1）和SHREC16（参见第5节）在四个有代表性的网络上的实现，包括PointNet，PointNet ++，RSCNN 和DGCNN。 此外，我们演示了PointAugment在形状检索上的有效性，并评估了其健壮性，损失配置和模块化设计。

思路启发

1. 注意样本。我们的目标不是寻找一套通用的增广策略或过程来处理每个输入数据样本，而是通过考虑样本的基本几何结构，为每个输入样本回归一个特定的增广函数，我们称之为样本感知自动增广。
2. 二维vs三维增强。与图像的二维增强不同，三维增强涉及到更广阔和不同的空间域。考虑到三维点云的性质，我们考虑了点云样本上的两种变换：形状变换（包括旋转、缩放和它们的组合）和点位移（点位置的抖动），在这两种变换中，我们的增强器应该学习生成它们来增强网络训练。
3. 联合优化。在网络训练过程中，分类器会逐渐学习并变得更加强大，因此随着分类器的不断强大，我们需要更具挑战性的增广样本来更好地训练分类器。因此，我们以端到端的方式设计和训练PointAugment框架，以便我们可以共同优化augment和分类器。为此，我们必须在考虑输入样本和分类器容量的同时，仔细设计损失函数，动态调整增广样本的难度。

网络结构

传统的增强策略是在很小的范围内随机扰动，缩放和旋转输入。类似的方法对于2D数据足够有效，但是在3D中，这还不够。我们对形状变换和点位移感兴趣，这是因为正是它们决定了物体。到目前为止，常规策略并没有改变这一事实。例如，如果旋转一个球体的点，它仍然是一个相同的球体。该文使用对抗学习策略来解决该问题。
该工作包括生成样本的强化学习方法。输入样本同时到达增强器和分类器，增强器获得有关样本拟合程度的反馈。

增强器按以下步骤工作：

1. 增强器获得样本的点云；
2. 计算每点特征；
3. 然后使用以下方法应用特定于样本的增强回归：
   (1) 按形状进行回归以产生变换，得到3×3的线性矩阵，给出剪切/缩放/旋转；
   (2)逐点回归以产生每个点的位移；
4. 样本与线性矩阵相乘，并加上位移。
5. 

几点思考

与现有的自动2D图像的增强方法，PointAugment是感知样本并采取对抗学习策略共同优化增强器网络和分类器网络工作，以便增强器可以学习产生出最适合分类器的样本。 而且，制定一个可学习的点增强函数形状变换和点位移并仔细设计损失函数以采用增强型基于分类器学习进度的样本。

参考资料

1. http://www.luyixian.cn/news_show_312487.aspx

觉得有用可以关注我的公众号CV伴读社