【论文阅读】[CVPR 2019] PointConv： Deep Convolutional Networks on 3D Point Clouds. [cls. seg.]

论文地址：https://arxiv.org/abs/1811.07246
代码：https://github.com/DylanWusee/pointconv
翻译：https://blog.csdn.net/john_bh/article/details/103959200

1. Abstract

• 与以规则密集网格表示的图像不同，3D 点云是不规则且无序的，因此对它们应用卷积可能很困难。
• 在本文中，我们将动态滤波器扩展到一个新的卷积操作，命名为 PointConv。PointConv 可以应用于点云来构建深度卷积网络。
• 我们将卷积核视为由权重和密度函数组成的 3D 点局部坐标的非线性函数。对于给定的点，权重函数是通过多层感知器网络学习的，密度函数是通过核密度估计来学习的。
• 为有效计算权重函数提出了一种新的重构，这使我们能够显着扩大网络并显着提高其性能。学习到的卷积核可用于计算 3D 空间中任何点集的平移不变和置换不变卷积。
• 此外，PointConv 还可以用作反卷积算子，将子采样点云中的特征传播回其原始分辨率。
• ModelNet40、ShapeNet 和 ScanNet 上的实验表明，基于 PointConv 构建的深度卷积神经网络能够在 3D 点云上具有挑战性的语义分割基准测试中达到最先进的水平。
• 此外，我们将 CIFAR-10 转换为点云的实验表明，建立在 PointConv 上的网络可以与卷积网络在类似结构的 2D 图像中的性能相匹配。

idea：

2D图像中，卷积神经网络（CNN）从根本上改变了计算机视觉的格局。CNN通过利用平移不变性获得成功，因此可以将同一组卷积滤波器应用于图像中的所有位置，从而减少参数数量并提高泛化能力。

希望将这种成功转移到3D数据分析中。

但是3D点云是不规则且无序，很难将传统的CNN应用到无序的输入上。

本文提出了一种在非均匀采样下对3D点云进行卷积的新颖方法， 卷积运算可以看作是连续卷积算子的离散逼近。在3D空间中，我们可以把 卷积核的权重看作3D点相对于中心点的局部坐标的（Lipschitz）连续函数。该连续函数（即卷积核权重）可以用多层感知器（MLP）近似，如[33]和[16]所述。但是这些算法并没有考虑非均匀采样的问题，

非均匀采样的解释：

我们建议使用 反密度标度对MLP学习的连续函数（卷积核权重）进行加权，这与连续卷积的蒙特卡洛近似相对应，我们称这种操作为PointConv。

PointConv涉及将点云的位置作为输入并学习MLP以近似权重函数，并对学习的权重应用反密度标度以补偿非均匀采样。

本文贡献 :

• 提出PointConv，一种密度重加权卷积，可以完全模拟3D连续卷积，弥补不均匀采样带来的影响。（通过S的加权使得点云均匀，进而可视为是对3D连续卷积函数的近似）；
• 通过优化求和顺序，设计出一种PointConv的高效内存实现；即把权重计算分为两部分（MLP最后一层的输入M和权重H）来减少计算量，降低内存占有率，提升网络运行效率。
• 将PointConv扩展到反卷积版本（PointDeconv），获得更好的分割结果，插值-skip connection-PointConv组成PointDeConv。

介绍：

1. 原始PointConv
2. 高效的PointConv
3. PointDeConv

见参考

参考：

论文笔记：（2019CVPR）PointConv: Deep Convolutional Networks on 3D Point Clouds

PointConv理解与解析

论文学习笔记-PointConv

我的总结：

1. 卷积运算是连续函数的离散近似？ 连续函数可用MLP近似（[33, 16]提到）？ MLP的实现可用1x1的卷积。
2. 点的采样策略需要考虑（太多点了需要缩减），这里作者就抓住了点的非均匀采样提出：在3D卷积上再加一个密度函数S 弥补 ，但感觉没什么用，在6.2节中有讲。

表5示出了结果。如我们所见，具有逆密度标度的PointConv的性能比不具有逆密度标度的PointConv的性能好大约1％，这证明了逆密度标度的有效性。在我们的实验中，我们观察到反密度标度在靠近输入的层中趋于更有效。在深层，MLP倾向于学会减少密度标度的影响。一个可能的原因是，使用最远的点采样算法作为我们的子采样算法，更深层的点云倾向于更均匀地分布

3. 密度是怎么计算得来的？核密度估计 ?没看懂。

为了计算反向密度尺度估计函数S(δx, δy, δz)，我们首先使用核密度估计 ?（KDE）离线估算点云中每个点周边的密度，然后将密度值输入到一个1D非线性变换的MLP中。使用非线性变换的原因是有必要让网络自适应地决定是否使用密度估计。

4. 3个结构图没怎么懂，先放着。
5. 这篇文章可以认为 还是基于卷积核的有效性来做的？