【论文精读】AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot

【论文精读】 AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot

论文出处

IROS2020

摘要

自动代客泊车是自动驾驶的一种特殊应用。在这项任务中,车辆需要在狭窄、拥挤和无gps的停车场中导航。准确的定位能力是非常重要的。传统的基于视觉的定位方法会由于在停车场中缺少纹理、以及重复的结构和场景的变化而导致跟踪容易丢失。本文使用了鲁棒的语义特征来构建地图,并在泊车时用语义信息来定位车辆。其中语义特征包括地面上的引导标志、停车线、以及减速带等,这些特征通常出现在停车场中。与传统特征相比,这些语义特征对视角和光照变化具有长期的稳定和鲁棒性。我们采用四个全景的摄像头来增加感知范围。在IMU(惯性测量单元)和轮速计的辅助下,生成了一个全局视觉语义地图。这张地图进一步用于定位厘米级的车辆。我们分析了该系统的准确性和召回率,并与实际实验中的其他方法进行了比较来还验证系统的实用性。

贡献

  • 提出了一种在视觉slam框架中使用的新型语义特征。
  • 提出了一个完整的停车场内自动驾驶地图构建和定位系统。
  • 基于所提出的系统进行真实的自动泊车应用。

方法

【论文精读】AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot_第1张图片

A.IPM图像转换

在AVP-SLAM中使用了四个环绕摄像头,其中一个摄像头在前面,一个摄像头在后面,两个摄像头在左右分别放置。这些相机配备了鱼眼镜头,可以向下看。对每个相机的内参和外参进行离线校准。每个像素投影到车辆中心坐标下的地平面(z等于0),也称为IPM(逆透视映射)。投影过程如下:

【论文精读】AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot_第2张图片经过逆透视投影后,我们将四幅图像中的点合成一个大的图像,重新投影按如下式进行:
【论文精读】AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot_第3张图片

B.语义特征提取

使用CNN网络进行语义特征的检测, U-Net 进行分割。

C.局部地图的构建

图像分割后,将有用特征(停车线、引导标志和减速带)投射到三维空间,如下:
【论文精读】AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot_第4张图片
根据里程计,将特征从车辆坐标转移到世界坐标中,如下:
在这里插入图片描述

其中, [ R o , t o ] [Ro, to] [Ro,to]是里程计的位姿。这些点聚集成一个局部地图。每30米就维护一张当地地图。

D.回环检测

对于最新的局部地图,我们将其与其他周围的局部地图进行比较。用ICP方法匹配两个局部地图,如果两个局部地图匹配成功,我们得到这两个局部地图之间的相对姿态。这个相对姿态将用于全局姿态图的优化,以纠正漂移。
【论文精读】AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot_第5张图片

E.全局优化

全局pose graph优化,这个姿态图中,优化的节点是每个局部地图的位姿,其中包含了三个轴的旋转和平移,优化有两种边,一种是里程计的一元边,它通过里程计来约束两个连续的局部地图,残差是每个局部地图的位姿和里程计提供的位姿做差,目的是为了保证优化后的位姿和里程计的位姿差距别太大,另一种边是回环检测的二元边,残差是两个局部地图的相对位姿和回环检测出来的相对位姿做差,它限制了回环的局部地图,姿态图的优化可表示为如下代价函数
在这里插入图片描述

F.定位

基于已经建成的语义地图,车辆可再次对该停车场进行定位。与建图过程类似,环绕视图图像被合成一个IPM图像。在IPM图像上检测到语义特征,并投射到车辆坐标系中。然后通过将当前特征点与地图进行匹配来估计车辆的当前姿态,估计采用ICP方法,可写成如下式所示:
【论文精读】AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot_第6张图片
ICP的初值,有两个初始化方案:
1.在地图上标注停车场的入口位置,直接用入口位置做初始化
2.用GPS信息做初始化,初始化成功后,直接用里程计的输出做初始预测

虽然环绕视图增加了感知范围,但在停车场中依然存在着一些无纹理的区域。为了克服这一问题,我们最后采用了EKF框架,将里程计与视觉定位结果结合起来。在该滤波器中,使用里程计进行预测,并使用视觉定位结果进行更新。该滤波器不仅提高了系统的鲁棒性,而且使估计的轨迹更加平滑。

G.停车点检测

由于停车线和停车线拐角是从IPM图像中检测到的,易于自动检测停车位。角点、被用来预测停车位的位置。如果停车线与预测的停车位匹配良好,则认为该预测是正确的。这些停车位被标记在地图上,用于自动停车任务。

实验

A.建图质量评估

先决条件:在一个GPS信号良好的室外停车场,车辆运动一个正方形轨迹,且包含一个回环检测。

结果:
【论文精读】AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot_第7张图片

B.地下停车场

先决条件:停车场面积 400 m ∗ 300 m 400m*300m 400m300m,用第一天采集的数据建图,在接下来的几天用这张图定位车辆,同里程计辅助ORB_SLAM2建图。

1)召回率:
【论文精读】AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot_第8张图片

2)地图尺寸:
【论文精读】AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot_第9张图片

3)定位精度:

先决条件:将一辆车手动停在一个停车位20次,测量现实世界和构建的地图上车辆中心到停车点边界的距离,定位误差是这两个距离之间的差值。
结果:
在这里插入图片描述

点评

语义特征适用于特殊场景下的SLAM应用,例如在GPS不能使用的地下停车场,车道线、停车线、箭头、文本、减速带、斑马条、仪表板段都可作为语义特征,相比于点线面等传统特征,语义特征对于光照变换、视角变换和场景变换具有更强的鲁棒性。

论文链接

https://arxiv.org/abs/2007.01813
https://www.bilibili.com/video/BV1s64y1k78x?from=search&seid=11797730118211366299&spm_id_from=333.337.0.0

你可能感兴趣的:(论文精读,高精地图,SLAM,slam,自动驾驶,计算机视觉,人工智能)