Coarse-to-fine Semantic Localization with HD Map for Autonomous Driving in Structural Scenes

一、创新点

1. 提出了一个基于语义分割和矢量高精地图的视觉定位系统， 完整包含了初始化， 追踪和丢失恢复等模块

2. 追踪模块用cost map上的“光度误差”代替了重投影误差，省略了数据关联的步骤

3. 可以支持多个相机

4. 在不同场景进行了充分的实验

二、精度和速度

roll and longitudinal are not included in optimization stage if there are no signboards or poles present.

一共在两个数据集上进行评价：1）上海的30km左右的7段数据，有第三方高精地图；2）Kaist dataset

在上海数据集上， 如果使用120° fov的相机，能得到10cm左右的位置精度和小于0.5°的朝向精度：

在i7-8700k+1050ti上，可以到100Hz左右；

三、实现

3.1 高精地图

从高精地图中通过自车的位姿和查询半径找到需要的feature之后，按照一个预设的间隔采样成点；

3.2语义分割及其后处理

• 用语义分割提取图片中的不同元素，每种元素一个head，都输出二值化的mask;

• 车道线，灯杆的后处理：mask上做形态学变化，形成cost map (我的理解是, mask做形态学变换后，仍然是1的地方置信度， 没有1的地方置信度为0，其余的地方按照有1的地方加权)

• 标识牌后处理：用拉普拉斯变换提取边缘，然后也用形态学的方式生成cost map

3.3 初始化

GNSS给出搜索的初始值，连续两帧gps有效时才认为GPS有效；

在初值附近进行网格搜索，不同自由度上的step不一样； cost最低的position作为后续追踪的初始值；

cost是在cost map（Is）上算出来的光度误差：

cost的计算过程可以用cuda并行化；

3.4 位姿追踪

分为三步：1）地图元素获取和纵向位置矫正->2）用地图元素矫正当前帧位姿->3）用Sliding Window Pose Graph优化平滑位姿

• 地图元素获取和纵向位置矫正：根据里程计的相对位姿预测当前位姿并获取附近的高精地图元素，如果没有元素能够提供纵向的约束（比如灯杆或者标识牌），则用GNSS的信息矫正一下纵向位置。

• 用地图元素矫正当前帧位姿：有LM优化重投影误差（见3.5节）

• 用Sliding Window Pose Graph优化平滑位姿：

3.5 优化

为了支持多相机的情况，优化的是车体坐标系base_link:

3.6 丢失恢复

在用轮式里程计的粗略值附近，进行grid search初始化

四、重要参考文献

1. Monocular localization in hd maps by combining semantic segmentation and distance transform

2. evo: Python package for the evaluation of odometry and slam: https://github.com/MichaelGrupp/evo