PointConv: Deep Convolutional Networks on 3D Point Clouds学习笔记

摘要

        在本文中，我们将动态滤波器扩展成为新的名为PointConv的卷积操作，PointConv可以用于点云数据，创建深度卷积网络。我们将卷积核视为由权重和密度函数组成的3D点的局部坐标的非线性函数。对于给定点，通过核密度估计利用多层感知机网络和密度函数来学习权重函数。这项工作最重要的贡献是提出了一种新的用于有效计算权重函数的公式，这使我们能够大幅度扩展网络并显著提高网络性能。用于计算3D空间中任何点集上的卷积核具有平移不变性和置换不变性。此外，PointConv还可以用作反卷积运算，将子采样点云中的特征传播回其原始分辨率。

介绍

        在本文中，我们提出了一种新的方法来执行卷积三维点云与非均匀采样。我们注意到卷积运算可以看作是连续卷积算子的离散近似。在三维空间中，我们可以将该卷积算子的权重视为局部三维点坐标相对于参考三维点的（Lipschitz）连续函数。 连续函数可用多层感知器（MLP）近似，如[33]和[16]所述。但这些算法没有考虑非均匀采样。我们建议使用逆密度标度对MLP学习的连续函数重新加权，这对应于连续卷积的蒙特卡罗近似。我们称这种操作为PointConv。PointConv包括将点云的位置作为输入，学习MLP以近似权重函数，以及在学习的权重上应用逆密度标度以补偿非均匀采样。

        对于点云特征通道数过大，我们介绍了一种方法，它能够通过改变求和顺序的重新计算大大提高内存效率。新结构能够在3D点云上构建多层深卷积网络，其功能与光栅图像上的2D CNN类似。我们可以实现与二维卷积网络中相同的平移不变性，以及点云中点排序的置换不变性。

        在分割任务中，将信息从浅层逐渐传输到深层的能力非常重要。因此，能够充分利用从浅层到深层的特征的反卷积操作[24]对性能至关重要。大多数最先进的算法[26,28]无法执行反卷积，这限制了它们在分割任务中的性能。由于我们的PointConv是卷积的完全近似值，因此将PointConv扩展到PointDeconv是很自然的，它可以完全解开浅层中的信息，并传播到深细的层。通过使用PointConv和PointDeconv，我们可以在语义分割任务上获得更好的性能。

工作奉献：
1、提出了PointConv：PointConv是一种密度重加权卷积，它能够在任何一组3D点上完全逼近3D连续卷积。

2、引入了一种有效提高存储效率的方法来实现PointConv，能够使用改变求和顺序的重构来大大提高存储器效率。最重要的是，它允许扩展到CNN的规模。该方法可以实现与2D卷积网络中相同的平移不变性，以及点云中点的排序的不变性。

3、将PointConv扩展到反卷积—PointDeconv，获得更好的分割结果，而大多数先进算法不能实现反卷积操作

PointConV

Convolution on 3D Point Clouds

在3D空间中，可以把连续卷积算子的权重看做关于一个3D参考点的局部坐标的连续函数。

W和F均为连续函数，(x, y, z)是3D参考点的坐标，(δx, δy, δz)表示邻域 G 中的 3D 点的相对坐标。点云可以被视为来自连续空间的非均匀样本。上式可以离散化到一个离散的3D点云上,如（3）。W和F均为连续函数，(x, y, z)是3D参考点的坐标，(δx, δy, δz)表示邻域 G 中的 3D 点的相对坐标。点云可以被视为来自连续空间的非均匀样本。上式可以离散化到一个离散的3D点云上,如（3）。

其中，S 表示逆密度系数函数。然后使用逆密度对学到的权重进行加权，补偿不均匀采样。函数 W 的输入是以 (x, y, z) 为中心的 3D 邻域内的 3D 点的相对坐标，输出是每个点对应的特征 F 的权重。使用多层感知机近似权重函数w。S 是一个关于密度的函数，输入是每个点的密度，输出是每个点对应的逆密度系数。使用核化密度估计近似逆密度S，核化密度估计后带有使用多层感知机实现的非线性变换。

        PointConv中的MLP的权重在所有点之间共享，以便维持置换不变性。逆密度尺度S(δx, δy, δz) 的计算过程为：首先使用核密度估计（KDE） 估计离线点云中每个点的密度，然后将密度输入到一维非线性变换的多层感知机中。使用非线性变换的原因是使网络自适应地决定是否使用密度估计。

图b展示了K个3D点组成的邻域上执行PointConv操作的流程。Cin，Cout为输入特征和输出特征的通道数，k，cin，cout表示索引。输入是点Plocal的邻域位置，其可以通过减去局部区域的质心的坐标和局部区域的特征Fin来计算。 我们使用核为1的卷积构成多层感知机。权重函数的输出是W，密度尺度为S。在卷积后，K近邻邻域的特征Fin被编码到输出特征Fout中，如等式（4）所示。

Feature Propagation Using Deconvolution

        对于分割任务，我们需要逐点预测。为了获得所有输入点的特征，需要一种将特征从子采样点云传播到更密集点云的方法。PointNet++建议使用基于距离的插值来传播特征，这是合理的，因为局部区域内存在局部相关性。然而，这并没有充分利用反卷积操作，反卷积操作从粗略级别捕获传播信息的局部相关性。我们建议在PointConv的基础上添加一个PointDeconv层，作为解决此问题的反卷积操作。 如图所示，PointDeconv由两部分组成：插值和PointConv。

首先进行降采样，再进行插值和跳跃连接，将插值特征与来自卷积层的具有相同分辨率的特征连接起来，再进行PointConv获得输出。

Efficient PointConv

        该文证明了PointConv可以简化为两个标准操作：矩阵乘法和2D 卷积，大大降低了卷积操作的内存占用量，单层卷积层的内存占用变为原来的1/64。

总结

        在这项工作中，我们提出了一种对三维点云进行卷积运算的新方法，称为PointConv。PointConv在局部点坐标上训练多层感知器，以逼近卷积滤波器中的连续权函数和密度函数，这使得它具有自然的排列不变性和平移不变性。这允许直接在三维点云上建立深度卷积网络。我们提出了一种高效的实现方案，极大地提高了系统的可扩展性。我们展示了它在多个具有挑战性的基准上的强大性能，以及在2D图像中与基于网格的卷积网络的性能相匹配的能力。