基于激光雷达的路沿检测用于自动驾驶的真值标注

文章：LiDAR-based curb detection for ground truth annotation in automated driving validation

作者：Jose Luis Apellaniz  , Mikel Garc´ıa , Nerea Aranjuelo , Javier Barandiaran and Marcos Nieto

编辑：点云PCL

欢迎各位加入知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。

公众号致力于点云处理，SLAM，三维视觉，高精地图等领域相关内容的干货分享，欢迎各位加入，有兴趣的可联系[email protected]。侵权或转载联系微信cloudpoint9527。

摘要

路沿检测在自动驾驶中是环境感知的关键，因为它通常界定了可驾驶区域和不可驾驶区域。标注的数据对于开发和验证自动驾驶功能是必不可少的。然而，带有标注的点云路沿的公共数据集数量很有限。本文提出了一种从激光雷达传感器捕获的一系列点云中检测3D路沿的方法，主要包括两个步骤。首先，我们的方法使用分割深度神经网络在每个扫描中检测路沿。然后一个序列级处理步骤利用车辆的里程数据在重建的点云中估计3D路沿。从这些路沿的3D点云中，我们按照ASAM OpenLABEL标准获取结构化的折线。这些检测可以用作标记流水线中的预标注，以有效生成与路沿相关的地面实况数据。通过实验证明了我们的方法，其中需要不同的人工标注员对带有和不带有我们自动生成的预标注的一组基于LiDAR的序列进行标注。结果显示，由于我们的检测，手动标注时间减少了50.99％，同时保持了数据质量水平。

主要贡献

在自动驾驶中，路沿检测对于充分了解车辆周围环境至关重要。路沿是道路边界的一部分，分隔可驾驶和不可驾驶区域，是自动驾驶任务（如自动停车或路径规划）中的重要参考[4]。路沿的检测对于许多先进驾驶功能的验证也至关重要，因为它们确定了潜在的兴趣区域（例如停车位和人行道）。然而，带有路沿标注的数据非常有限但是必不可少。为了减轻手动标注任务，我们提出了一种方法，提供3D路沿的预标注，可以并入像[3]这样的标注工具，实现半自动标注。我们的方法包括两个阶段。首先，我们使用深度神经网络（DNN）执行每个扫描的粗糙路沿检测。然后，一个后处理步骤对扫描级别的检测进行了优化，并为整个输入序列提供了路沿的预标注，这可以作为标注工具的输入，并表示为符合ASAM OpenLabel标准的折线。

因此，本文的主要贡献包括：

• 提供一种方法，以规范化的输出格式提供LiDAR点云序列的3D路沿检测，可用于标注工具。

• 一个适用于从LiDAR点云获得的2D俯视图（BEV）图像的扫描级路沿检测器。

• 一个后处理方法，将扫描级别的路沿检测转换为序列级别的三维折线。

• 验证所提方法，将人工标注员获取路沿地面实况数据所需的标注时间减少了50.99%。

内容概述

我们的方法包括三个主要阶段，如图1所示。首先处理点云以获得序列不同扫描的BEV（俯视图）点云表示。其次使用深度神经网络（DNN）推断每个扫描的路沿。第三步应用序列级处理步骤来获得3D路沿估计。这个最后的处理包括：

1）获取与每个扫描的2D路沿检测相对应的3D点；

2）从序列的扫描、2D路沿检测和车辆航迹的信息中重建检测到的3D路沿点；

3）对3D路沿进行聚类、骨架化和简化，以生成符合标准化标注文件的最终折线。

图1。本文提出的路沿标注流程。先前训练的DNN将六级鸟瞰高度图作为输入，以给出2D路沿预测。然后在通过添加来自原始点云的高度信息将这些2D预测转换为3D之后执行序列。执行标注生成后处理以获得可能加载到标记工具中的标注文件

A. 点云到BEV 

为了检测路沿，可以使用两种类型的输入表示：LiDAR点云的3D表示或BEV（俯视图）投影。3D选项更准确且包含更多信息，但更为复杂且计算代价更高。因此，我们选择BEV选项作为更紧凑的表示方法。

点云是空间中的一组3D点，被分为M个切片，对应于不同的高度间隔，并投影到具有特定单元大小的2D网格图上。每个投影通过对每个网格单元中最高点的高度进行编码，产生一个单独的高度图。因此，BEV被编码为一组M通道的特征。

B. 扫描帧路沿分割 

我们提出了一个语义分割DNN来估计2D路沿。该网络采用M通道BEV地图，并推断逐像素的2D掩码，其中每个像素被分配一个类别标签，本例中为“路沿”和“非路沿”。我们使用逐像素的交叉熵损失来训练网络，这是语义分割任务中最常用的损失函数。损失函数对输入张量的所有像素求和，如下所示：DNN模型使我们能够获得对路沿的初始近似，以生成相应的地面实况。然后，我们执行一系列后处理步骤，以考虑整个序列，获得更健壮和一致的结果。

C. 3D路沿优化 

2D到3D转换。在此阶段，第一步是将DNN输出的每个扫描的2D推断转换为3D路沿点。为此，如图1所示，我们使用LiDAR输入扫描，从中提取必要的信息，以为先前推断为路沿的点分配高度。由于从点云到BEV的转换步骤会导致由网格分辨率和M切片数量产生的信息丢失，这个转换对于获得检测到的路沿点高度的良好近似至关重要（见图2）。

图2。2D到3D检测和转换的四个示例。最上面一行显示了DNN推断，即2D路沿检测。在中间行中，以红色示出了原始扫描的点云上的检测的2D-3D变换。最下面一行是上一行的俯视图。

重建。在此步骤中，考虑到每个扫描的所有路沿3D点，以及输入点云，应用车辆航迹信息，进行所有这些点的累积重建，以获得整个序列的路沿点云。

标注生成。在这一点上，我们首先将不同的路沿检测分组，以便在后续阶段可以分开操作，例如，在标注工具中有效地加载它们或删除那些对应于虚假检测的部分。为了进行这种分离，我们使用DBSCAN算法执行聚类阶段。这个算法适用于数据中具有相似密度的簇，因此在其应用之前，我们执行了体素子采样过程，平衡了簇的密度，这也有助于后续的插值步骤。为了获得最终的折线路沿表示，我们使用骨架化算法。通过应用这个专为从LiDAR获得的点云进行骨架化而设计的算法，我们获得了线性迹线，我们期望表示路沿。最后的后处理步骤是简化。在此步骤中，通过Ramer-Douglas-Peucker算法减少了检测到的路沿骨架的点数。该算法使用给定的距离容差确定要消除或保留的线上的点。重建和随后的后处理步骤的表示（直到获得简化的点云）可见于图3。

标注文件。在这一步中，路沿以符合ASAM OpenLabel标准的文件中的折线形式存储。

图3。后处理流程。（a） 重建（b） 聚类（c）骨骼化（d） 简化

实验

实验部分介绍了使用BEV表示来呈现DNN进行扫描级检测的结果，另一部分专门用于使用我们估算的3D路沿生成地面真值。

单帧扫描路沿估计：表格I展示了分割网络在两个不同容差下的结果，考虑到1像素对应0.1m，即空间分辨率为0.1m/像素。在3个像素的容差下获得的F分数显示，大多数情况下都能检测到路沿，证明了DNN用于初步路沿估计的适用性。当容差更为严格时，指标略有下降，这促使我们在流程中进行第二阶段的精炼。

3D路沿标注：我们进行了一系列测试以评估由我们的方法获得的路沿估计对于地面真值生成的实用性。这些测试涉及对有和没有使用我们方法获得的预标注的路沿进行标注。测试是在从一辆原型车上安装的LiDAR传感器收集的四个序列上进行的，这些序列包含不同的路沿特征，如直线段、曲线、被植被遮挡、停放的车辆等（见图4）。

图4。我们在标注实验中使用了四个不同的点云重建图（不在同一比例上），以及它们相应的地面实况（用数字标记）。

图5中显示了使用标记的路沿的标注工具的示例。由于LiDAR点云的稀疏和低分辨率特性，手动标注的过程通常是一项复杂而繁琐的任务，尤其是路沿的标注，需要标注者具备一定的技能。为了简化标注过程，标注者被要求使用着色了z轴梯度的俯视图，以突出路沿高度上的不连续性。

图5。标注工具中的路沿标注示例，显示地图的四个视点。三条路沿石的地面实况标注为彩色多段线。

我们使用精心制作的手动地面真值来评估标注者所做的标注。在标注过程中，标注者被要求测量每个地图的标注时间，包括从头开始标注和使用预标注的地图。所采用的评估指标有召回率、精确度和F分数，该方法将3D多段线集转换为3D点集，并使用特定的度量步长对多段线进行采样。随后，它通过使用3D欧几里得距离比较这些3D多段线。需要注意的是，距离测量的最大误差受到离散化步长的一半的限制。我们考虑了在实施细节中提到的0.1m/像素的分辨率。在表II中，显示了在每个地图的标注中获得的指标的平均值，以及总体平均值和通过使用预标注获得的改进。基于BEV分辨率，使用10cm的容差来计数标注为正确。虽然在没有预标注和有预标注的情况下获得的值之间没有主要差异，主要是因为最终是人类标注者做所有标注，但我们确实注意到在使用我们的方法生成的预标注时，标注的质量略有提高。

此外，在表III中，我们展示了通过我们的方法提供的预标注将标注时间减少了50.99%。

总结

AD任务中对地面实况数据的需求需要大量的数据，这些数据需要手动标记。半自动标注算法可以帮助减少人工标注时间，从而在标注过程中节省成本。在本文中提出了一种从激光雷达点云序列中以ASAM OpenLABEL标准化输出格式生成3D路沿预标注的方法。我们的方法在扫描级别检测路沿，并在第二序列级别的后处理阶段对其进行细化。最终检测结果存储为多段线。通过使用从测试车辆中配备的激光雷达传感器获得的真实数据进行手动标注活动，我们验证了我们的方法的适用性。我们提出的路沿石检测管道将手动标注时间减少了50%，同时在标注中保持类似的准确性。未来的工作包括用更大的数据集训练DNN，并探索替代架构来增强预标注。我们还计划扩展该方法，将RGB相机的数据纳入其中，以增强最困难场景中检测的可靠性。

资源

自动驾驶及定位相关分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

自动驾驶中基于光流的运动物体检测

基于语义分割的相机外参标定

综述：用于自动驾驶的全景鱼眼相机的理论模型和感知介绍

高速场景下自动驾驶车辆定位方法综述

Patchwork++：基于点云的快速、稳健的地面分割方法

PaGO-LOAM:基于地面优化的激光雷达里程计

多模态路沿检测与滤波方法

多个激光雷达同时校准、定位和建图的框架

动态的城市环境中杆状物的提取建图与长期定位

非重复型扫描激光雷达的运动畸变矫正

快速紧耦合的稀疏直接雷达-惯性-视觉里程计

基于相机和低分辨率激光雷达的三维车辆检测

用于三维点云语义分割的标注工具和城市数据集

ROS2入门之基本介绍

固态激光雷达和相机系统的自动标定

激光雷达+GPS+IMU+轮速计的传感器融合定位方案

基于稀疏语义视觉特征的道路场景的建图与定位

自动驾驶中基于激光雷达的车辆道路和人行道实时检测（代码开源）

用于三维点云语义分割的标注工具和城市数据集

更多文章可查看：点云学习历史文章大汇总

SLAM及AR相关分享

TOF相机原理介绍

TOF飞行时间深度相机介绍

结构化PLP-SLAM：单目、RGB-D和双目相机使用点线面的高效稀疏建图与定位方案

开源又优化的F-LOAM方案：基于优化的SC-F-LOAM

【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM

【点云论文速读】StructSLAM:结构化线特征SLAM

SLAM和AR综述

常用的3D深度相机

AR设备单目视觉惯导SLAM算法综述与评价

SLAM综述(4)激光与视觉融合SLAM

Kimera实时重建的语义SLAM系统

易扩展的SLAM框架-OpenVSLAM

​​​​​​基于鱼眼相机的SLAM方法介绍

以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除

让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入知识星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。

分享与合作：微信“cloudpoint9527”（备注：姓名+学校/公司+研究方向） 联系邮箱：[email protected]。
————————————————
版权声明：本文为CSDN博主「点云PCL公众号博客」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
————————————————
版权声明：本文为CSDN博主「点云PCL公众号博客」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。