基于深度学习的点云分类方法综述 2021-2

论文：基于深度学习的点云分类方法综述

1、引言

由于 3D 点云的无序性、非结构化、密度分布不均，以及传感器噪声高、场景复杂等因素，3D 点云分类依然是一个极具挑战性的问题。
一般来说，点云分类任务分为两个步骤：从局部和全局提取具有代表性的点特征；利用学习到的特征将每个点划分为预定义的语义类别。
早期的研究主要集中在用手工设计的规则提取特征，然后使用基于机器学习的分类器预测每个点的语义标签，如高斯混合模型[15][16]、支持向量机（SVM）[17][18]、AdaBoost[19][20]、随机森林（RF）[21][22]等，这些方法忽略了邻域点之间的关系，分类结果容易产生噪声。一些研究尝试通过综合上下文信息来解决此类问题，如条件随机场（CRF）[7][23]、马尔可夫随机场（MRF）[24][25]等，一定程度上提高了分类性能。然而，手工设计规则提取的特征表达能力较弱，模型的泛化能力在处理复杂场景（如大规模野外场景）时无法达到令人满意的效果；此外，最优分类器的选择和组合复杂，严重依赖专业经验，限制了此类方法应用于各种真实场景时的灵活性[26]。

研究者们逐渐考虑基于深度学习来处理 3D 点云数据的有关问题。起初的研究尝试将点云转换为适合卷积神经网络进行处理的规则结构（即多视图和体素网格），但这些方法容易导致信息丢失和计算复杂的问题。
2016 年斯坦福大学 Qi 等人提出的 PointNet 网络模型[11]在对象分类、语义分割、场景解析等方面取得的突破性进展，直接处理原始点云开始变得越来越炙手可热

2、点云处理介绍

2.1点云分割和点云分类区别

点云分割是将原始 3D 点云按照相似属性进行分组的过程，而点云分类是为每个点或组分配语义标签的过程。对二者而言，特征提取过程相似，很多网络并未将其完全割裂，在共用一套特征提取方法后再区分具体的分割任务和分类任务。不同的是，点云分割旨在将原始3D 点云分组到不重叠的区域，这一过程不需要监督的先验知识，因此传递的结果没有强大的语义信息；而点云分类通常通过有监督的学习方法来实现，包括传统有监督的机器学习和深度学习[31]，用某个类标记每个点或分割后的每个组，为其赋予某种语义，因此点云分类也称为点云语义分割或点标记。

2.2 评价指标

3 基于深度学习的点云分类方法

3.1 基于规则表示

多视图 体素

3.2 基于原始点云

Qi 等人提出的 PointNet 网络[11]开创了此类研究工作的先河。
PointNet 直接将点云作为输入，使用 T-Net 模块对输入点矩阵进行仿射变换，使用共享 MLP 学习每点特征，使用最大池化层聚合全局特征，以较低的代价、较好的效果解决了点云无序性、置换不变性和旋转不变性的问题。
仍存在无法捕获局部邻域信息的缺陷
归类为：（1）邻域特征池化；（2）图形信息传递；（3）基于内核的卷积；（4）基于注意力机
制。

3.2.1 邻域特征池化【11/60-66】

pointnet++

问题：为了进一步提取更具细粒度的局部特征，基于 PointNet 进行扩展，提出了PointNet++网络框架
主要思想：为在原网络中构建局部分层模块，每层由采样层、分组层、特征提取层（PointNet）组成，通过采样层选择局部邻域质心，通过分组层构建局部邻域子集，通过 PointNet 层获取局部邻域特征向量，沿多分辨率层次结构捕获局部特征

基于 PointNet 的网络的 PointSIFT 模块

为了同时实现方向感知和尺度感知
该模块采用方向编码卷积（OEC）集成来自八个定向方向的信息，获得编码定向信息的表示，并通过堆叠多个方向编码单元来实现多尺度表示。PointSIFT 模块应用于整体框架的每一层，在下采样阶段将其与集合抽象模块（SA）结合用于层次特征提取，在上采样阶段将其与特征传播模块（FP）结合获取具有一定密度的特征，最后输入全连接层完成语义标签预测。

SO-Net 网络

通过构建自组织图（SOM）对点云的空间分布进行建模，
先通过 SOM 生成输入点云的二维表示并基于 SOM 节点进行归一化处理，然后将点特征聚合为 SOM 节点特征，再采用平均池化将 SOM 节点特征聚合为全局特征向量，最后通过一个具有完全连接分支和卷积分支的并行分支网络，从全局特征中恢复可表示输入点云的单个特征向量，在点云分类和形状检索方面取得良好效果。

3DMAX-Net

受空间上下文信息机制的启发
通过将单尺度下采样单元（DSU）与上采样单元（USU）相结合引入单尺度特征学习块（FLB），将不同尺度的 FLB 集成为多尺度特征学习块（MS-FLB），最后通过局部-全局特征聚合模块进行特征聚合。

PointWeb 网络

通过连接交互局部邻域内的所有成对点来获取局部上下文信息
通过插入自适应特征调整（AFA）模块建构局部全连接网络，从点对差异中学习点特征向量并实现自适应调整。

密度分辨率网络

引入自适应扩展点分组算法，提出一种密度分辨率网络
网络由全分辨率（FR）分支和多分辨率（MR）分支组成，在 FR 分支中由一组误差最小化模块提取不同尺度特征空间的特征图，在 MR 分支中采用最远点采样（FPS）和特征传播（FP）分别进行上采样和下采样操作，提取多分辨率特征图，然后融合 FR 和 MR 的特征图，获取更全面的信息，

RandLA-Net

打破现有大多数方法无法直接适用于大规模点云的壁垒
设计了一个局部特征聚合模块，通过逐渐增加每个神经层的感受野大小来有效学习复杂的局部结构。先对每个 3D 点引入局部空间编码（LocSE）单元以保留局部几何结构信息，再采用注意力机制聚合有用的局部特征，并通过堆叠多个 LocSE 单元和池化层来增加每个点的有效感受野，提出了一种轻量级网络 RandLA-Net[66]，设计了一个局部特征聚合模块，通过逐渐增加每个神经层的感受野大

RandLA-Net 使用简单快速的随机采用方法降低点密度，采用局部特征聚合模块保留突出特征，在展现良好分类效果的同时提高了计算存储效率。

3.2.2图形信息传递

GNN

3.2.3基于内核的卷积

3.2.4基于注意力

自我注意力：通过考虑每个点的自身几何信息学习自我系数
邻域注意力：通过考虑邻域关注局部系数

图注意力网络（GAT）[14]

根据节点特征执行自我关注得到注意力系数，将标准化的注意力系数与其对应的特征向量进行线性组合获取每个节点的最终输出特征，完成对邻域内不同节点的注意力分配。

GAC[106]

注意力权重的产生不仅取决于邻域的空间位置，还取决于其动态学习的特征差异，为了保证不同通道特征的相互独立性，不仅为不同相邻点分配注意力权重，还为不同特征通道分配适当注意力权重，再通过加权计算出每个点特征，然后进行图池化以降低每个特征通道中的分辨率，最后将学习到的特征逐层插回，完成逐点标签分配。

GAPLayer[107]

GAS[108]

FPA[109]

PryramNet[110]

LSANet[111]

DANet[112]

A-SCN[113]

ASR[114]

LEA-Conv[115]