Patchwork++论文阅读——基于3D点云的快速鲁棒地面分割算法

论文地址： https://arxiv.org/abs/2207.11919

github地址：https://github.com/url-kaist/patchwork-plusplus

摘要

在使用3D LiDAR传感器的3D感知领域，地面分割是各种目的的基本任务，例如可穿越区域检测和目标识别。在这种情况下，已经提出了几种地面分割方法。然而，仍存在一些限制。首先，一些地面分割方法需要根据周围环境对参数进行微调，这非常费力和耗时。此外，即使参数调整得很好，仍可能出现部分分割不足问题，这意味着某些区域的地面分割失败。最后，当地面位于另一结构（如挡土墙）上方时，地面分割方法通常无法估计合适的地平面。为了解决这些问题，我们提出了一种称为Patchwork++的鲁棒地面分割方法，它是Patchwork的扩展。Patchwork++利用自适应地面似然估计（A-GLE）来基于先前的地面分割结果自适应地计算适当的参数。此外，临时地面恢复（TGR）通过使用临时地面特性缓解了部分分割不足的问题。此外，引入了区域垂直平面拟合（RVPF）来正确地分割地平面，即使地面被不同的层升高。最后，我们提出了基于3D激光雷达反射模型的反射噪声去除（RNR）来有效地消除虚拟噪声点。我们使用SemanticKITTI数据集演示了定性和定量评估。我们的代码位于https://github.com/url-kaist/patchwork-plusplus

1. 介绍

最近，移动机器人越来越多地被用于在多样化和复杂的环境中执行特定任务。因此，为了在各种环境中完成给定的任务，一些研究已经使用3D光检测和测距（LiDAR）传感器改善了对周围环境的感知[1]，[2]。由于大多数3D LiDAR传感器是可以精确测量距离达约100米的全向传感器，因此它们被广泛用于各种目的，如检测[3]、分割[4]、定位[5]和3D配准[6]。在通过3D激光雷达传感器进行3D感知的各种算法中，地面分割是3D感知的基本任务之一。例如，地面分割。可用于可遍历区域检测[7]和对象聚类。

随着机器学习被应用于不同的研究领域，已经提出了各种基于学习的3D感知方法，表现出出色的性能[10]，[11]。但不幸的是，有两个固有的潜在限制。首先，基于学习的方法需要人类进行逐点标记，这既耗时又费力。其次，当在不同于训练数据集或不同传感器配置的场景中使用时，基于学习的地面分割的性能可能会降低。因此，在本研究中，我们关注非基于学习的方法中的地面分割。

通常，地面分割作为前一阶段，因为地面点和非地面点可以用于不同的目的。例如，非地面点经过另一个分割阶段，将这些非地面点分为静态点和动态点。然而，由于可以假设地面点是静态的，因此不在地面点上执行相应的分割。

此外，当地面分割被用作预处理步骤时，应满足以下三个要求。首先，地面分割应该足够快，以便用作其他算法（如对象聚类）的初步过程。其次，它应该确保很少的性能扰动，以同时保证精度和召回性能。第三，它应该能够处理不均匀的室外环境。

然而，几种地面分割方法无法满足这些要求，甚至出现了分割不足的问题，如图所示。1（b）。尽管我们之前的工作Patchwork[1]满足了这些要求，但它偶尔会出现部分分割不足的问题，如图所示。1（c）。这些细分不足的问题通常是由于两个潜在原因造成的。首先，一些地面分割方法是确定性的。其次，在某些情况下，z值较低的点最有可能被视为接地点的假设不成立。

因此，Patchwork++是Patchwork的一个高级版本，旨在解决这些问题。因此，我们提出的方法在复杂的城市环境中变得更加普遍。我们的贡献如下：

• 首先，提出了自适应地面似然估计（A-GLE）和时间地面恢复（TGR），它们比基于粗到细策略的Patchwork提供更少的假阴性，解决了部分分割不足问题。

• 其次，提出了两种新的异常值抑制模块，即反射噪声去除（RNR）和区域垂直平面拟合（R-VPF），以防止我们的假设通过抑制噪声或非接地点而不成立的情况。

• 第三，我们提出的算法使用SemanticKITTI数据集[12]进行了评估，实验证据证实，与包括Patchwork在内的最新方法相比，Patchwork++表现出了良好的性能，并显示出了最快的速度。

2. 相关工作

A. 基于学习的地面分割方法

Xu等人[10]提出了一种新的距离点体素融合网络RPVNet，该网络在语义分割的SemanticKITTI排行榜上排名第一。RPVNet适当地组合了距离图像、点和体素的三个不同特征来对每个点进行分类。Shen等人[13]通过引入跳跃卷积过程解决了粗糙地形上的分割能力和处理时间效率问题，该过程通过解决2D平滑问题促进了点云分割。Paigwar等人[11]提出了GndNet，它使用PointNet[4]对每个网格中的支柱特征进行编码，从而估计网格方向的地面高程，并对地面和非圆形点进行分段。如第一节所述，这些方法需要人工标记，当遇到未包含在培训数据中的意外情况时，性能可能会下降，因此存在几个潜在的限制。

B. 传统的地面分割方法

Moosmann等人[14]提出了一种3D点云分割方法，该方法基于在非平坦城市环境中产生快速地面分割的局部凸性思想。Himmelsbach等人[15]还提出了一种基于线的地面分割方法，速度非常快。Zermas等人[16]提出了一种快速地平面拟合(GPF)，其利用了适合于基于主成分分析(PCA)的地平面估计的初始种子提取。与RANSAC [9]等其他地面分割方法不同，这种方法避免了冗余的随机迭代，非常耗时。作为GPF的扩展，Lim等人[1]提出了一种基于同心区的GLE区域式地面分割。Narksri等人[17]提出了一种基于RANSAC的多区域地面分割，并解决了倾斜地形带来的问题。Jiménez等人[18]通过采用基于信道的马尔可夫随机场解决了地面的局部几何变化问题。

尽管已经提出了各种传统的地面分割方法，但是这些方法中仍然存在严重的问题。具体而言，欠分割是导致大量假阴性的典型问题，如图1所示。例如，基于单一平面模型的方法通常不能估计具有坡度的地平面，因为单一平面假设不足以将具有部分凹凸不平区域的广阔区域建模为单一平面。虽然Narksri等人[17]通过在多个区域采用基于RANSAC的地平面拟合解决了这个问题，但它仍然存在欠分割问题，因为它在处理崎岖不平的地面时存在局限性。

C. 地面分割的应用

如第一节所述，各种物体聚类方法[18]–[21]包括地面分割作为物体识别的先决步骤。由于在目标聚类方法中，地面点不是感兴趣的区域，因此消除地面点可以提高计算效率和准确性。也就是说，在3D激光雷达扫描中，大约一半的点作为室外环境中的地面点给出。这意味着整个算法可以更快，因为通过地面移除，输入点云的大小将是原始的一半。

此外，LiDAR里程测量方法中还采用了地面分割，以使用地面点作为特征[22]–[24]来获得强约束。例如，Shan等人[22]提出了LeGO LOAM，一种轻量级和地面优化的激光雷达SLAM。根据研究，从地面提取一些平面特征，以估计z（高度方向）、滚动角和俯仰角的变换。此外，Pan等人[23]提出了MULLS，这是一种使用多尺度线性最小二乘的通用激光雷达SLAM方法。也就是说，MULLS根据点的几何特征将点分为几个类，以构造多度量优化问题。当然，地面也被认为是几种类型之一。

3. PATCHWORK++：快速、稳健、自适应的地面分割

以下段落强调了Patchwork++每个模块背后的问题定义和基本原理。与Patchwork不同，提出了以下四个部分：RNR、RVPF、A-GLE和TGR，如图2所示。

A. 问题定义

给定一个3D点云P，它表示一组测量点pi，并呈现周围环境的快照，我们尝试将每个pi分类为地面，包括道路、地形和人行道，或非地面类，包括汽车、建筑物、人类等。然后，P可以表示为两个不同集合的联合：一组地面点G和非地面点N。相比之下，地面分割方法输出估计的地面点$\hat{G}$，而剩余的点被视为一组非地面点$\hat{N}$。因此，P可以表示如下：

在这种情况下，$\hat{G}$和$\hat{N}$可以分别分为实际接地点和实际非接地点。具体而言，$\hat{G}\cap G$、 $\hat{G}\cap N$、 $\hat{N}\cap G$、 和$\hat{N}\cap N$分别表示真阳性（TP）、假阳性（FP）、假阴性（FN）和真阴性（TN）的集合。总之，本研究的目的是估计包含尽可能多的T P点的$\hat{N}$，同时尽可能多地拒绝F N和F P点。

B. RNR：反射噪声消除

对于给定的原始点云，在实际地面下偶尔会观察到一些噪声点，如图3所示。不幸的是，R-GPF基于仓中最低部分的点是地面的假设来选择初始种子[16]；因此，这些噪声可以被视为在相应的仓中触发欠分割问题的初始种子。

为了解决这个问题，通常通过拒绝z值小于用户定义的阈值zmin[1]，[2]的点来过滤掉这些点。这种过滤假设周围的地面足够平坦。不幸的是，这种噪声去除方法还引发了一个严重的问题，即在陡坡环境中不希望地消除一些真实的地面点，如图。4（b）和（c）。因此，有必要区分实际接地点和噪声点。

为此，基于Zhao等人[25]的研究，通过利用两个关键观察结果提出了RNR。首先，虚拟噪声点可以通过反射表面（即车辆的发动机罩和车顶或玻璃）上的反射来获得。这一事实使噪声点沿着从传感器原点到入射点的方向定位，如图3所示。值得注意的是，入射角越小，噪声的z值越低。因此，可以得出结论，阻碍我们假设的临界噪声很可能来自底环的射线，因为底环的光线方向往往具有相对较小的入射角。

其次，这些噪声点通常具有相对较小的强度，因为与噪声点相对应的射线在返回传感器之前比通常的射线经历更多的反射。例如，虚拟点的光线在入射点上进行额外反射，如图3所示。因此，这种额外反射会触发虚拟点强度的降低。

因此，首先，RNR只检查一定数量的底环Nnoise，以去除这些噪声点。因此，RNR以低于噪声去除高度阈值hnoise的高度和低于噪声去除强度阈值Inoise的强度拒绝位于这些环中的点。因此，RNR有效地去除了具有不切实际的大负z值的噪声点，实际接地点的损失可以忽略不计。特别是，hnoise由A-GLE自行更新（见第III.D节）。

C. R-VPF：区域垂直平面拟合

然而，在另一种情况下，当所需地面位于垂直城市结构上方时，R-GPF有时仍无法估计合适的地面。这是因为来自垂直结构的点被选择为初始种子，因为它们的z值比实际地面点小。例如，当挡土墙位于垃圾箱中的地面下方且距离传感器足够近时，R-GPF选择墙中的点作为地面的初始种子。然后，由于基于PCA的估计对离群点非常敏感，因此这些点在其上的地平面点会导致不合适的地面拟合结果，如图5所示。

有人可能会认为，该高架地面应被视为非地面，因为该地面可与另一地面区分开来，且该地面上的点的z值大于普通地面上的值。然而，一些动态物体，如人类，仍然可以站在地面上；因此，在本研究中，这些点被视为实际接地点而非非接地点。

为此，提出了R-VPF，允许R-GPF通过在仓内拒绝用于预处理的主导点和垂直点来估计更精确的地面。具体而言，设Pn为第n个仓中的点，该仓基于同心区模型（CZM）[1]进行划分。也就是说，CZM将三维点云划分为极坐标中的多个子集，并且箱大小根据箱所属的区域而不同。然后，通过以下四个步骤确定估计的垂直平面点${\hat{V}}_n$。

首先，R-VPF从最低点开始选择一些点，作为每个第k次迭代中的种子点。其次，R-VPF估计种子点的平均值，$m_n^k\in {\mathbb{R}}^3$和单位法向量$v_{3,n}^k$，其对应于来自种子点PCA的具有最小特征值的特征向量。随后，在候选点${\hat{P}}_n^k$中对第k个潜在垂直平面点${\hat{W}}_n^k$进行采样，如下所示：

然后，根据以下条件确定表示第k次迭代时的垂直点的${\hat{V}}_n^k$：

其中$u_z$表示z轴方向上的单位法向量，即[0 0 1]${}^T$，${\theta }_v$是估计平面的单位法矢量的余量。

最后，总垂直点${\hat{V}}_n$通过累加所有垂直点来估计，如下所示：

其中$K_v$表示R-VPF的迭代次数。

D. A-GLE：自适应地面似然估计

在我们之前的工作[1]中，GLE，f（Xn|θn）被用于确定按区域估计的地面是地面还是非地面。对于该过程，GLE由竖直度、高程和平整度指标函数确定，分别以$v_{3,n}$、${\overline{z}}_n$和${\sigma }_n$为变量。具体而言，$v_{3,n}$是种子点PCA中具有最小特征值的特征向量，${\overline{z}}_n$是种子点的平均值，${\sigma }_n$是局部表面变化[26]，$\frac{{\lambda }_{3,n}}{{\lambda }_{1,n}+{\lambda }_{2,n}+{\lambda }_{3,n}}$其中${\lambda }_{1,n}$，${\lambda }_{2,n}$和${\lambda }_{3,n}$是给定点PCA的特征值，降序排列。

因此，有必要将相应的参数（${\theta }_{\tau }$，$\kappa (r_n)$，${\theta }_{\tau ,m}$）分别设置为垂直度、高程和平整度指标函数的阈值。在本文中，为简化起见，将${\bar{z}}_n$、${\sigma }_n$、$\kappa (r_n)$和${\sigma }_{\tau ,m}$表示为$e_n,f_n,e_{\tau ,m},和f_{\tau ,m}$。然而，在我们之前的工作中，根据环境设置最佳参数，特别是$e_{\tau ,m},和f_{\tau ,m}$非常耗时。例如，在图6中，真实地面的高程和平面度值的分布似乎因环境而异。因此，这证实了参数的调整对于每个环境都是必要的。

为了解决这个问题，A-GLE基于先前获得的估计结果以自适应方式更新$e_{\tau ,m},和f_{\tau ,m}$。除非A-GLE用$e_{\tau ,m},和f_{\tau ,m}$的异常值初始化，A-GLE才能正确更新这些参数。此外，如第III.B节所述，A-GLE更新了噪声去除高度阈值$h_{noise}$。

高度

对于参数的自更新，我们提出了一个新的确定地面的概念，Dm，它表示先前估计的满足同心带模型第m环中垂直和高程条件的地面。因此，A-GLE采用了确定地平面的特性来更新高程参数，以便进行下一次评估。

设$E_m$是以$D_m$表示的估计地面的所有$e_n$值的集合。然后，根据$E_m，e_{\tau ，m}$更新如下：
$$e_{\tau ,m}\leftarrow mean(E_m)+a_m\cdot stdev(E_m)$$
其中mean（·）和stdev（·）分别表示给定集合的平均值和标准偏差。$a_m>0$表示高程同心区模型第m环中标准偏差项的恒定增益。

平坦度

在更新平坦度参数$f_{\tau ，m}$之前，我们发现在我们之前的工作中，其计算中存在潜在问题。具体而言，如上所述，$f_n$计算为$\frac{{\lambda }_{3，n}}{{\lambda }_{1，n}+{\lambda }_{2，n}+{\lambda }_{3，n}}$。为了从该方法中获得有意义的值，无论地面的相对激光雷达位置如何，该值必须在同一地面上保持一致。

不幸的是，由于Patchwork利用了同心区域模型，地面被划分为多个以传感器原点为中心的区域。因此，可以通过划分地面的方法来区分地面的形状和大小。然后，${\lambda }_{1，n}$和${\lambda }_{2，n}$可以改变，即使整个地面不变。因此，可以认为根据其潜在的不一致性计算$f_n$是不合逻辑的。为了解决这个问题，Patchwork++设置$f_n={\lambda }_{3，n}$，这是曲面法线方向的变化。

类似于$e_{\tau ，m}，f_{\tau ，m}$已根据A-GLE的$D_m$分布进行了更新。设$F_m$为$D_m$中估计接地平面的所有$f_n$的集合。那么，$f_{\tau ，m}$可以更新如下：
$$f_{\tau ,m}\leftarrow mean(F_m)+b_m\cdot stdev(F_m)$$
其中$b_m>0$表示平坦度同心区模型的第m个环中标准偏差项的恒定增益。

噪声去除高度

A-GLE根据同心区模型最近环处估计地面高程值的平均值更新$h_{noise}$，如下所示：
$$h_{noise}\leftarrow mean(E_1)+\delta$$
其中$\delta <0$表示噪声去除的距离裕度。

为了更好地理解，图7说明了A-GLE中的流程。A-GLE存储来自先前估计地面的状态。然后，根据存储的数据库更新$h_{noise}、e_{\tau ,m}和f_{\tau ,m}$，以用于下一次估计。

E. TGR：临时地面恢复

通过A-GLE，通过参数的自更新成功地进行了典型地面的估计。然而，料仓内的一些异常接地点不满足参数条件。例如，带有草的粗糙地形有时具有比自更新参数更高的$e_n$和$f_n$。这是因为A-GLE会根据一段时间内的所有值更新其参数。因此，这使得A-GLE起到了低通滤波器的作用，这使得在$f_n$暂时变大时难以估计仓为地面。

为了解决这个问题，建议TGR使用$D_m^t$将分段下的地平面还原为分段的地仓，这些地仓仅在时间t时是确定的地平面。换句话说，TGR将每个分段下的地仓的$f_n$与$f_{\tau ，m}^t$进行比较，其计算公式如下：
$$f_{\tau ,m}^t=mean(F_m^t)+c_m\cdot stdev(F_m^t)$$
其中$c_m$表示同心区模型的第m个环的标准偏差项的恒定增益，$F_m^t$是$D_m^t$中$f_n$的集合。因此，如果满足$f_n<f_{\tau ，m}^t$，则可以恢复$f_n$大于$f_{\tau ，m}$的拒收接地点（见第V.D节）。

4. 实验步骤

A. 数据集和错误度量

在我们的实验中，采用SemanticKITTI数据集[12]来比较我们提出的方法与其他地面分割算法的地面分割性能。基于逐点标签，标记为道路、停车场、人行道、其他地面、车道标记和地形的点被视为地面点。其他点被视为非接地点。然而，与我们之前的工作[1]不同，标记为植被的点没有被评估为地面或非地面，因为将植被视为单个地面或非地表类别是不切实际的。注意，这意味着标记为植被的点仅在评估步骤中被排除；这些点仍然包括在输入点云中。如[1]所述，精度、召回率和F1得分被用作错误度量。

为了定量评估我们提出的方法，我们考虑了精度、召回率、F1分数和准确度。设NTP、NTN、NFP和NFN分别为TP、TN、FP和FN中的点数；那么，这些度量定义如下：

• Precision:$\frac{N_{TP}}{N_{TP}+N_{FP}}$
• $F_1$score:$\frac{2\cdot N_{TP}}{2\cdot N_{TP}+N_{FP}+N_{FN}}$
• Recall:$\frac{N_{TP}}{N_{TP}+N_{FN}}$
• Accuracy:$\frac{N_{TP}+N_{TN}}{N_{TP}+N_{TN}+N_{FP}+N_{FN}}$

B. Patchwork++参数

我们将所有m（1）的初始$e_{\tau ，m}$和$f_{\tau ，m}$都设置为m(0≤ m≤ 4).其他参数与我们之前的工作[1]相同。对于RNR，我们设置$N_{noise}=20$，$I_{noise}=0.2$。对于R-VPF，我们设置$d_v=0.1，{\theta }_v=0.707，K_v=3$。对于A-GLE，我们为所有m设置$a_m=1$，为m=1设置$b_m=3$，否则为$b_m=2，\delta =-0.5$对于TGR，我们为所有m设置$c_m=1.5$。

5. 结果与讨论

A. 与最先进方法的比较

表1和图8总结了我们提出的方法和其他地面分割方法的总体性能。与其他地面分割法（包括RANSAC[9]、LineFit[15]、GPF[16]、RGPF[2]和CascadedSeg[17]）相比，我们提出的算法表现出最高的F1分数；我们提出的方法解决了先前噪声滤波方法的固有问题（图8（a）和（c））、先前工作中fn的不适当定义（图8（b））以及部分欠分割问题（图8（c）和（d））。因此，Patchwork++显示出比Patchwork[1]更高的精度和召回率。此外，Patchwork++呈现出较低的召回标准差。这些实验证据证实了我们提出的方法有助于在复杂的城市环境中进行准确和鲁棒的地面分割。

B. R-VPF的影响

在图9中，证明了R-VPF允许R-GPF估计正确的接地面，即使接地点位于低围栏或花坛上。如前所述，R-GPF强烈地基于这样一个前提，即底点很可能是接地点；因此，没有R-VPF的R-GPF偶尔会导致大量FN（图9（b））。相反，R-GPF和R-VPF通过预先从围栏中提取点作为非圆形点，显示出成功的地面分割（图9（c））。

C. A-GLE的影响

在图10中，根据SemanticKITTI数据集，绿色点表示Dm，其中约95.8%为真实地面[12]。由于绿点是由自更新的$e_{\tau ，m}$确定的，这验证了所得的$e_{\tau ，m}$对于估计通常的地面是足够有效的，并产生了适当的Dm。此外，由于85.3%的真实地面点包含在绿色点中，因此基于Dm更新$f_{\tau ，m}$是合理的，Dm对图10中的蓝色和红色点进行了分类。

类似地，所得的$f_{\tau ，m}$（在图10中绘制为水平黑色虚线）似乎适合区分蓝色和红色点，可以分别假设为接地和非接地。对于不属于Dm的其余估计平面，蓝色点表示估计平面，其中一半以上由实际地面 点组成，而红色点表示其他平面。因此，这验证了自更新的$f_{\tau ，m}$对于区分地平面和非地平面是足够有效的。

D. TGR的影响

接下来，实验证据支持TGR解决了部分欠分割问题，如图11所示。具体而言，即使在（6）中，某些区域的$f_n$大于$f_{\tau ，m}$，但根据当前估计的地面在时间t的分布特征，对这些箱进行了双重检查。因此，TGR显著地将许多FNs还原为TP。因此，TGR增加了查全率，但精度的降低可以忽略不计，如表I所示。

E. 取决于环境的自更新参数的不同分布

有趣的是，如图12所示，可以确定，根据环境，自更新参数具有不同的方面。例如，在高速公路场景中，与其他场景相比，地面往往相对平坦，因此$e_{\tau ，m}$和$f_{\tau ，m}$自更新为较小的值。相比之下，乡村场景包括相对更陡峭的道路、崎岖不平的地形或人行道，因此$e_{\tau ，m}$和$f_{\tau ，m}$设置为比其他值更高的值。因此，可以推断，我们的A-GLE成功地根据环境更新了参数，这减少了人类更新参数设置所需的工作量。

此外，我们提出的方法显示出比Patchwork[1]更快的地面分割，如表II所示。这是实施层面的改进；最初，Patchwork在将点云划分为CZM之前使用基于z值的全局排序，这需要O（N log N）复杂性，其中N表示点云的大小。相反，当前提出的方法中的排序步骤是在将点云划分为CZM之后执行的；因此，其复杂性可以用O（LM log M）来近似，其中L和M分别表示仓的数量和每个仓内的点数。注意$N\gg L$和$N\gg M$、 为了简单起见，我们假设N＝LM。那么N log N可以表示为LM（log L+log M）。因此，逐仓排序可以通过LM log L降低复杂性。

6. 结论

在这项研究中，提出了一种快速而鲁棒的地面分割方法，Patchwork++。经验证，所提出的方法比其他最先进的方法更快、更鲁棒。此外，Patchwork++还减少了需要根据环境进行微调的参数数量。因此，在实践中使用地面分割变得更加容易。

未来，我们计划在各种应用中采用Patchwork++，包括LiDAR里程计、物体识别和静态地图构建。然后，我们将研究地面分割对几个应用的影响。