论文精读NMP：Neural Map Prior for Autonomous Driving

1 基本背景

论文链接：https://arxiv.org/pdf/2304.08481.pdf
代码链接：https://github.com/Tsinghua-MARS-Lab/neural_map_prior
项目链接：https://tsinghua-mars-lab.github.io/neural_map_prior/
年份：2023
团队：上海期智研究院，清华大学交叉信息研究院IIIS

2 Motivation

离线高精地图存在的问题：
1.昂贵。需要安装激光雷达的采集车多次采集multiple scanning trips，需要点云对齐point cloud alignment，需要人工标注manual annotation；
2.难以高频更新。

近期也有一些替代方法，比如Hdmapnet2021，Maptr2022，Vectormapnet2022，来实时real-time构建HDmap，但是这些方法质量较低inferior，而且如果天气不好，质量就会进一步下降。

因此这篇文章提出神经地图先验，可以容易地应用到目前的mapping网络中，显著提升效果。

3 相关研究

基于激光SLAM的建图

SLAM算法用于将激光雷达信息融合成高准确性highly accurate和高一致性highly consistent的点云信息。首先需要匹配相邻帧的数据，使用ICP NDT等算法进行对齐pairwise alignment。其次也需要自车位姿的准确估计，常用非线性最小二乘和因素图factor graph算法。

基于学习的语义建图Semantic learning mapping

传感器输入和地图不在一个坐标系下。跨视角的学习的方法cross-view learning methodologies使用了场景几何结构scene geometric structures来弥补坐标系差异。

神经表示

比如NeuralRecon。

4 解决方案

4.1 问题说明

全局地图的大小是整个城市的大小。可以通过自车全局定位坐标将全局地图得到局部地图先验pt-1。

4.2 局部地图推理local map inference

将局部BEV的结果o和局部地图先验pt-1进行融合，得到改进后的BEV特征f_refine。该特征通过解码器解码。

4.2.1 positional embedding

为了让融合模块在距离自车更近处更信任BEV特征，更远处更信任先验特征，分别对两种特征进行编码。

4.2.2 地图融合

采用交叉注意力机制，BEV特征得到Q，先验得到K和V，做交叉注意力，然后给全连接层。这个部分作者命名为C2P，current to prior

4.3 全局地图先验更新global map prior update

全局地图更新多大程度上受改进BEV的影响，取决于更新率update rate。更新率越大，全局地图越不稳定（lead to corruption），更新率越小，越不易识别道路环境的变化。这篇文章采用了GRU的一种2D卷积形式，用来平衡更新与遗忘balance the updating and forgetting ratio。

5 实验

5.1 实验条件

数据集：nuScenes。
Metrics：mIoU交并比（常用于评价语义分割/目标检测结果，参考https://blog.csdn.net/lingzhou33/article/details/87901365），mAP均值平均精度
基础模型：BEVFormer。因为该模型在提取BEV特征的能力强大。
attention中feature维度是256，patch size是10x10。
全局地图精度是0.3m，根据表7测试出来最好。

5.2 实验结果

分割能力提升

与HDMapNet/LSS/BEVFormer等相比，增加了NMP的模型的mIoU更高，表示分割能力越强。

向量化地图检测能力提升

boosts the performance of VectorMapnet
其AP更高。

BEV范围更大

在多个不同的BEV范围中，使用了NMP的模型的mIoU更高。

恶劣天气下表现更佳

在雨天，夜晚等恶劣天气下mIoU更高。