【论文精读】AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot

【论文精读】 AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot

论文出处

IROS2020

摘要

自动代客泊车是自动驾驶的一种特殊应用。在这项任务中，车辆需要在狭窄、拥挤和无gps的停车场中导航。准确的定位能力是非常重要的。传统的基于视觉的定位方法会由于在停车场中缺少纹理、以及重复的结构和场景的变化而导致跟踪容易丢失。本文使用了鲁棒的语义特征来构建地图，并在泊车时用语义信息来定位车辆。其中语义特征包括地面上的引导标志、停车线、以及减速带等，这些特征通常出现在停车场中。与传统特征相比，这些语义特征对视角和光照变化具有长期的稳定和鲁棒性。我们采用四个全景的摄像头来增加感知范围。在IMU（惯性测量单元）和轮速计的辅助下，生成了一个全局视觉语义地图。这张地图进一步用于定位厘米级的车辆。我们分析了该系统的准确性和召回率，并与实际实验中的其他方法进行了比较来还验证系统的实用性。

贡献

• 提出了一种在视觉slam框架中使用的新型语义特征。
• 提出了一个完整的停车场内自动驾驶地图构建和定位系统。
• 基于所提出的系统进行真实的自动泊车应用。

方法

A.IPM图像转换

在AVP-SLAM中使用了四个环绕摄像头，其中一个摄像头在前面，一个摄像头在后面，两个摄像头在左右分别放置。这些相机配备了鱼眼镜头，可以向下看。对每个相机的内参和外参进行离线校准。每个像素投影到车辆中心坐标下的地平面（z等于0），也称为IPM（逆透视映射）。投影过程如下：

经过逆透视投影后，我们将四幅图像中的点合成一个大的图像，重新投影按如下式进行：

B.语义特征提取

使用CNN网络进行语义特征的检测， U-Net 进行分割。

C.局部地图的构建

图像分割后，将有用特征（停车线、引导标志和减速带）投射到三维空间，如下：

根据里程计，将特征从车辆坐标转移到世界坐标中，如下：

其中，$[Ro,to]$是里程计的位姿。这些点聚集成一个局部地图。每30米就维护一张当地地图。

D.回环检测

对于最新的局部地图，我们将其与其他周围的局部地图进行比较。用ICP方法匹配两个局部地图，如果两个局部地图匹配成功，我们得到这两个局部地图之间的相对姿态。这个相对姿态将用于全局姿态图的优化，以纠正漂移。

E.全局优化

全局pose graph优化，这个姿态图中，优化的节点是每个局部地图的位姿，其中包含了三个轴的旋转和平移，优化有两种边，一种是里程计的一元边，它通过里程计来约束两个连续的局部地图，残差是每个局部地图的位姿和里程计提供的位姿做差，目的是为了保证优化后的位姿和里程计的位姿差距别太大，另一种边是回环检测的二元边，残差是两个局部地图的相对位姿和回环检测出来的相对位姿做差，它限制了回环的局部地图，姿态图的优化可表示为如下代价函数

F.定位

基于已经建成的语义地图，车辆可再次对该停车场进行定位。与建图过程类似，环绕视图图像被合成一个IPM图像。在IPM图像上检测到语义特征，并投射到车辆坐标系中。然后通过将当前特征点与地图进行匹配来估计车辆的当前姿态，估计采用ICP方法，可写成如下式所示：

ICP的初值,有两个初始化方案：
1.在地图上标注停车场的入口位置，直接用入口位置做初始化
2.用GPS信息做初始化，初始化成功后，直接用里程计的输出做初始预测

虽然环绕视图增加了感知范围，但在停车场中依然存在着一些无纹理的区域。为了克服这一问题，我们最后采用了EKF框架，将里程计与视觉定位结果结合起来。在该滤波器中，使用里程计进行预测，并使用视觉定位结果进行更新。该滤波器不仅提高了系统的鲁棒性，而且使估计的轨迹更加平滑。

G.停车点检测

由于停车线和停车线拐角是从IPM图像中检测到的，易于自动检测停车位。角点、被用来预测停车位的位置。如果停车线与预测的停车位匹配良好，则认为该预测是正确的。这些停车位被标记在地图上，用于自动停车任务。

实验

A.建图质量评估

先决条件：在一个GPS信号良好的室外停车场，车辆运动一个正方形轨迹，且包含一个回环检测。

结果：

B.地下停车场

先决条件：停车场面积$400m\ast 300m$，用第一天采集的数据建图，在接下来的几天用这张图定位车辆，同里程计辅助ORB_SLAM2建图。

1）召回率：

2）地图尺寸：

3）定位精度：

先决条件：将一辆车手动停在一个停车位20次，测量现实世界和构建的地图上车辆中心到停车点边界的距离，定位误差是这两个距离之间的差值。
结果：

点评

语义特征适用于特殊场景下的SLAM应用，例如在GPS不能使用的地下停车场，车道线、停车线、箭头、文本、减速带、斑马条、仪表板段都可作为语义特征，相比于点线面等传统特征，语义特征对于光照变换、视角变换和场景变换具有更强的鲁棒性。

论文链接

https://arxiv.org/abs/2007.01813
https://www.bilibili.com/video/BV1s64y1k78x?from=search&seid=11797730118211366299&spm_id_from=333.337.0.0