自动驾驶中之定位总结

1 前言

自动驾驶技术主要分为四个部分：环境感知、地图定位、决策规划、控制执行。环境感知是指对车辆周围环境信息进行采集和处理，主要包含车辆与行人的识别检测，车道线检测等。定位是指以精确的方式确定车辆在环境中的当前位姿。决策与规划是在感知和定位的前提下，根据环境和定位信息进行路径规划，并实施相应的控制策略来代替人类的驾驶决策。控制与执行则是负责车辆的加速、减速与转向。

所以定位目的在于明确车辆相对于全局的绝对位置或相对于周边环境（道路、行人等）的相对位置，以及车子的朝向、前后左右的倾斜程度（也就是说定位是：知道车在哪以及车的姿态，也就是车的位姿），定位精度直接决定了自动驾驶的安全性和准确性。

下面对已有的定位方法进行系统的梳理，重点分析各种定位方式的基本原理和优缺点，以及对现阶段典型的组合定位方式进行梳理，最后做出了定性和定量的对比。

2 典型的单个定位方式

从所使用的方法层面上，单个定位方式可以划分成三类：基于通信、基于航位推算和基于特征匹配的方式，下图为自动驾驶中单个定位方式概览图

2.1 基于通信的定位方法

2.1.1 GNSS 全球卫星导航系统

全球卫星导航系统(Global Navigation Satellite System，GNSS)包含了以下几种定位系统：

• 美国的全球定位系统（Global Positioning System，GPS）
• 中国的北斗卫星导航系统
• 欧洲的伽利略（Galileo）
• 俄罗斯的格洛纳斯（GLONASS）

是目前自动驾驶中最常用最基本的定位方式

2.1.1.1 gnss的优点与缺点

优势：GNSS是在高精度地图生产过程中唯一可以提供绝对位置的传感器。所以现在的自动驾驶方案都会有GNSS传感器的身影

缺点：因为gnss需要接收来自卫星微弱的信号来实现定位，很容易受环境的影响。城市峡谷或者林荫路会导致定位精度的急速下降，甚至在隧道等场景下完全不可用。所以单独的GNSS传感器肯定无法满足我们L4/L5级别的自动驾驶需求，所以在自动驾驶的定位系统中一般采用组合定位方式，来增强定位的精确性和稳定性。

2.1.1.2 gnss定位技术

GNSS传感器可以提供高精度位置的技术主要有两种（这两种技术也可以说是GNSS技术的辅助技术）：载波相位差分定位（RTK）和精密单点定位（PPP）

2.1.1.2.1 RTK定位技术

RTK，英文全名叫做Real-time kinematic，也就是实时动态载波相位差分定位技术，可以说RTK技术一个对GNSS进行辅助的技术

什么是RTK技术？

先了解下GNSS技术，GNSS卫星之所以能够对地球上的终端（例如手机、汽车、轮船、飞机等）进行定位，依靠的是三维坐标系。

它是通过测量已知卫星到接收机之间的距离（这个距离也被称为“伪距”），然后综合多颗卫星的数据进行计算，就可以知道接收机的具体位置。当然这个定位是存在误差的：

• 卫星星载时钟和接收机上的时钟不可能总是同步，所以会造成时间上的偏差。
• 卫星信号在经过大气层、对流层以及遇到障碍物时会出现各种反射，导致传播路径变长，出现测距误差

这些原因造成的误差高达2~10m

此时出现RTK技术，能够更好地消除误差、提高定位精度。

RTK技术通过基准站和流动站同时接收来自多颗卫星的观测数据，基准站把接收到的数据实时发送到流动站，流动站结合自身接收数据和基准站发射数据完成差分计算，从而精确地计算出流动站的三维坐标和精度。这种方法能够消费大气层、对流层以及时钟等误差，从而获得高定位精度，达到厘米级。

1. 第①步，基准站先观测和接收卫星数据。

2. 第②步，基准站通过旁边的无线电台（数据链），将观测数据实时发送给流动站（距离一般不超过20公里）。

3. 第③步，流动站收到基准站数据的同时，也观测和接收了卫星数据。

4. 第④步，流动站在基准站数据和自身数据的基础上，根据相对定位原理，进行实时差分运算，从而解算出流动站的三维坐标及其精度，其定位精度可达1cm~2cm。至此，测量完成

传统的RTK技术：流动站和基准站之间存在距离限制

距离越远，误差因素差异变大，定位精度就会下降。而且，距离远了，超过了无线电台的通信范围，也就无法工作了

网络RTK技术：在网络RTK技术中，在一个较大的区域内，均匀分散设置多个基准站（3个或以上），构成一个基准站网，

网络RTK相比传统RTK，其实是用区域型的GNSS网络误差模型取代了单点GNSS误差模型

多个基准站组成的基准站网，它们将数据发给中央服务器。中央服务器会根据数据，模拟出一个“虚拟基准站”。（所以，网络RTK也被称为“虚拟基准站技术”或“虚拟参考站技术”

其次，对于用户来说，不需要自建基准站，节约了大量成本（只需要支付一些通讯费用）

RTK定位技术已经非常成熟，而且国内也存在多家差分数据提供商以及国内外存在不下数十家的定位模组提供商，简单配置即可获得绝对的高精度位置，存在大量的商业应用案例

2.1.1.2.2 PPP定位技术

PPP定位技术，或者说延伸的PPP-RTK定位技术，个人看到的明显优于RTK技术的两个方面：

第一，可以在没有网络的情况下依然可以获取高精度位置；

第二，存在比较明朗的完好性技术路线。

PPP技术除了需要处理卫星信号，也需要接收服务商提供的精密卫星轨道钟差/伪距载波偏差/大气改正信息，修正后固定单差模糊度，进而获得高精度的位置。

当然也有部分主机厂，选择使用PPP-RTK技术。PPP-RTK技术可以认为是PPP的高级形态，也有人认为是PPP与RTK的融合，更有人吹嘘说是下一代的定位技术，暂时没有一个很明确的定义。

2.1.1.2 gnss定位技术总结

GNSS传感器基本上是自动驾驶不可或缺的硬件之一，RTK技术基本上是现在的主流自动驾驶采用的定位技术，也存在部分厂家采用了成本相对较高的PPP-RTK技术。

2.1.2 车联网定位

车联网(Vehicle to Everything，V2X)指车辆与其他一切事物的连接和信息交互，包含车辆对车辆通信（Vehicle to Vehicle，V2V）、车辆对基础设施通信（Vehicle to Infrastructure，V2I）、车辆对行人通信（Vehicle to Pedestrian，V2P）等，实现“聪明的车，智能的路”的协同。目前主流的通信标准有两个，一个是专用短程通信技术 （Dedicated Short-Range Communications, DSRC），它多应用在碰撞预警等场合；另一个是采用蜂窝通信网络的长期演进技术-车辆通信（ Long Term Evolution - Vehicle，LTE-V）标准，该标准在从LTE-V2X逐步向NR-V2X演进发展

V2V定位的基本原理是利用车辆自组网（Vehicular Ad-hoc Network，VANET），整合相邻车辆的位置信息进行定位。优点是：1）可以获取视野以外的车辆位置, 2）成本低，3）数据处理量小。缺点是在高速移动场景下，车辆与车辆之间的连接切换频繁，导致稳定性低。

V2I定位采用与路边单元 (Road Side Unit，RSU)或者蜂窝基站通信的方式，获取位置信息。它有以下优点：1）因使用固定安装的RSU,定位精度高；2）稳定性好。当然也有缺点：1）为实现连续通信，需要安装大量的RSU,因此，成本较高。

所以车联网定位在自动驾驶中用的较少。

2.1 基于航位推算的定位方法

利用物体的初始位置，通过观测物体的移动方向和距离，推测下一时刻位置的方法。此种方法是比较传统的定位方式，主要分为惯性导航定位系统（Inertial Navigation System，INS）和里程计定位两种方式

2.1.1 惯性测试单元定位IMU

（惯导系统不是IMU，IMU只是惯导系统里面最常用的器件，但一般我们将IMU出来的数据称为Inertial data 惯导数据）

在惯性导航定位系统中，最常用的器件是惯性测量单元（Inertial Measurement Unit，IMU）。它通过测量出物体的三个轴上的加速度和角速度（加速度用加速度计，角速度用陀螺仪）实现相对定位，其坐标系示意图如图4所示。一般情况，它包含3个方向的加速度计（用于获取加速度，积分后得到速度）和3个单轴的陀螺仪（用于获得方位角角速度，积分后得到俯仰角pitch和横滚角roll）。为了提高姿态的估计精度，一些IMU内还会添加磁力计（估计偏航角yaw）

（加速度积分得到该物体的速度。再积分得到该物体的位置或者说距离。角速度得到物体在旋转过程中所转过的角度，也就是角位移。所以IMU可以得到位置和姿态，分别由加速度计和陀螺机获得，但是是相对定位）

2.1.1.1 IMU陀螺仪的三个角度

IMU中有三个角度，roll，pitch和yaw

yaw:即偏航角ψ,围绕Z轴旋转的角度

pitch:即俯仰角0,围绕Y轴旋转的

roll:滚转角Ф,围绕X轴旋转的角度

在自动驾驶汽车来说的话，在平面上跑的话，不会存在roll和pitch，只有yaw偏航角，类似于左转右转这种

2.1.1.2 IMU的优缺点

该定位方式重要有以下优点：1）不依赖于外部环境，可独立工作，也可复杂环境条件下工作；2）更新频率高（100Hz）；3）可获取六个自由度的信息。主要缺点有：1）长里程定位，误差会累计，存在漂移现象；2) 精度受环境温度影响。因GPS没有累计误差，IMU不受多路效应和遮挡的影响，所以IMU常与GPS结合一起定位

2.1.1.3 IMU的预积分算法

预积分的目的：

• IMU通过加速度计和陀螺仪测出的是加速度和角速度，通过积分获得两帧之间的旋转和位移的变换；
• 在后端非线性优化的时候，需要优化位姿，每次调整位姿都需要在它们之间重新传递IMU测量值，需要重新积分，这将非常耗时，为了避免重新传递测量值，所以采取预积分策略；

2.1.1.4 IMU的构成

IMU是通过测量出物体的三个轴上的加速度和角速度（加速度用加速度计，角速度用陀螺仪）实现相对定位的，所以常见的IMU是由三轴的加速度计和三轴的陀螺仪构成的，也成为**六轴的IMU，有些还包含三轴的磁力计，成为九轴的IMU。用于自动驾驶中的航位推算**。

2.1.1.5 IMU的输出信号

IMU输出的不是位置信号，经纬度信息是GNSS输出的部分信号，而IMU输出的是六个（2组）信号，分别是3个加速度信号和3个角速度信号，这两组信号互相取长补短，以此来解算所测试物体的位姿

2.1.2 里程计估计定位（Odometry）

里程计是一种利用从移动传感器获得的数据来估计物体位姿随时间的变化而改变的**方法**，请注意他并不是某个物件。

他的输出是{pose[0],pose[1],pose[2]}

各种里程计分类就是通过不同的传感器类型去估计物体的位姿随时间的变化的算法

比如说轮式里程计，他并不是某个具体的传感器，而是通过轮速编码器去计算车辆底盘位姿的一种算法

里程计信息是指车辆行驶的距离，通常以米为单位。为了得到里程计信息，需要对 yawrate 和 speed 信息进行积分

具体来说，对 speed 信息进行积分可以得到车辆行驶的距离，对 yawrate 信息进行积分可以得到车辆的航向角度。将这两个积分结果结合起来，就可以得到车辆的里程计信息

需要注意的是，积分过程中会存在误差累积的问题，因此需要对积分结果进行修正和校准，以提高里程计信息的准确性

---

里程估计（odometry）的方式分为内部感知和外部感知（相当于人闭着眼睛和睁开眼睛走路的两种模式），内部感知有电机码盘和IMU，外部感知有激光里程计和视觉里程计，如下图：

目前来讲视觉里程计是最为热点的研究

2.1.2.1 轮式里程计（轮速计）

轮式里程计是一种通过安装在轮子上的传感器（轮速编码器）获取车辆速度和位移的信息的一种算法。它一般分为三类：纯机械式、机械-电子式和纯电子式。例如纯电子式旋转编码器，根据电磁感应原理，将轮胎转动圈数转变成电压信号，以此测量行驶速度和角度；再通过对速度在时间轴上的积分（通过积分处理之后的数据才是里程计信息），实现定位的目的

轮式里程计定位优点在于1）简单易用；2）体积小、成本低；3）短距离内，定位精确高。与IMU定位类似，该方法也有类似的缺点：1）误差会随时间而累积；2）轮子滑动或者道路不平情况下，会导致定位精度降低。因此，在行人导航和室内导航中应用较多，在自动驾驶中，常用作辅助定位

2.1.2.2 激光里程计

LO laser odometry：是通过激光雷达的方式去做里程估计的。激光雷达又是通过产生3D点云地图，然后使用特定的算法（如基于REGISTRATION的方法、基于FEATURES的方法或基于DEEP LEARNING的方法）对比当前采集的点云数据特征，找出车辆所在的位置和朝向（位姿）。

激光雷达是通过点云信息进行处理，视觉里程计是通过图像信息进行处理

2.1.2.3 视觉里程计

研究热点

VO visual odometry：视觉里程计是通过车辆卸载的摄像头传感器得到的图像信息来估计自身的运动的算法

2.1.2.4 惯性里程计

惯性里程计也就是我们说的IMU

IMU是一个集成的模块，直接放在车里面就可以。

2.3 基于特征匹配的定位方式

2.3.1 高精地图

为了实现高度自动驾驶，业界普遍认为，高精地图（High Definition Map，HD Map）是必不可少的。对于基于特征匹配的定位方式，更是如此。高精地图直接影响定位的精度，同时为规划模块提供基本的数据支持。

但对于高精地图的具体形式，目前还没有统一的标准。目前高精地图分为两类：平面分层地图和3D点云地图。前者通过卫星和航空影像，获取基本的地图图层信息，再加上车道级别路网信息，形成HD Map。它在不同的地图层上显示不同的道路环境信息；后者通过3D传感器，如激光雷达、相机等，获取地图中元素的三维信息，形成HD Map，如图5所示。Liu 等出了类似但不完全相同的分类方式。它将高精地图分为三个子模型：用于导航整体路线的道路模型（Road Model）、用于车道局部路线规划的车道模型（Lane Model）,及用于辅助定位的定位模型（Localization Model），同样具有重要的参考意义。

高精地图示例。绿色点为道路及周边点云模型，带箭头的直线和弧线为车道矢量模型

关于HD Map的数据格式标准，目前有2种较为流行：导航数据标准（Navigation Data Standard，NDS）和开放驾驶标准（OpenDRIVE）。这两者与传统的地理数据文件（Geographic Data File，GDF）标准对比如表1所示。不论使用哪一种分类方式，高精地图在基于特征匹配定位的方式上，都起重要作用

值得说明的是，高精地图区别于传统地图的重要一方面是，地图的精度从米级上升到厘米级。一个典型的例子是定位精度从道路级别，上升到车道级别。同时，未来的高清地图需要依靠空中下载技术（Over The Air，OTA）进行实时动态更新，5G技术和云计算的发展将推动其快速前进

2.3.2 激光雷达定位

激光雷达（Light Detection and Ranging，LiDAR），是由传统的雷达技术和现代的激光技术结合而成，通过发射“激光”，检测飞行时间，以确定自身到测量物之间的距离。根据测量维数的不同，LiDAR可分为线性、平面和三维3种类型

使用激光雷达进行定位时，首先通过采集车获取道路信息，利用建图技术生产出3D点云地图，然后使用特定的算法（如基于REGISTRATION的方法、基于FEATURES的方法或基于DEEP LEARNING的方法），对比当前采集的点云数据特征，找出车辆所在的位置和朝向

激光雷达具有如下优点：1）可直接产生丰富的空间数据，如点的3D坐标和纹理等；2）因为分辨率较高（距离、角度和速度），所以精度高、实时性好；3）抗干扰能力强，因激光波长较短，一定程度减小了多路效应；4）不受光照强度影响；5）体积小，安装方便。但也有一些缺点：1）受环境中气候的影响较大，如在雨、雪、雾、尘等极端天气下，传播距离会急剧衰减；2）价格高，这是目前很多汽车厂商（如TESLA）试图寻找其他定位方案的重要原因；3）数据量较大，需要高效的处理流程。

因自动驾驶对定位精度有较高的要求，所以激光雷达发挥越来越重要的作用。目前在RTK信号缺失时，使用激光雷达和高精地图进行匹配是主流的高精定位方式。机械式的激光雷达现阶段比较成熟，但因其旋转部件成本较高，低成本的固态式的激光雷达获得了逐步发展的机会。不过固态激光雷达也有自身的局限性，如水平视角（小于180°）不如机械式的激光雷达。所以多个固态激光雷达组合使用，可能是未来一种成本低、覆盖范围广的高精度定位方式

2.3.3 雷达定位

雷达（Radio Detection and Ranging，RADAR）是利用“电磁波”探测物体的距离、方向、速度或高度等的设备。按照波长，它可划分为毫米波雷达、分米波雷达等。目前在自动驾驶领域，应用较广泛的是毫米波雷达（频率范围10GHz~300GHz，其中常用的频段有24GHz和77GHz）。根据传播的距离，可将毫米波雷达分为短程雷达 (Short Range RADAR，SRR)、 中距雷达 (Medium Range RADAR，MRR)和长程雷达 (Long Range RADAR，LRR)。

整体来说，毫米波雷达有如下优点：1）可全天候工作，因其对烟雾和灰尘等有较强的穿透能力（除大雨天）；2）空间分辨率高；3)相对视觉和激光雷达而言，可以用来测量物体速度；4）天线尺寸较小，功耗低。当然，它也有自身的缺点：1）探测距离受制于频段损耗，即频段越高，探测距离才有可能越远；2）现阶段高频（如77GHz）的毫米波技术发展不成熟。

（1）SRR

短程雷达，主要使用24GHz的频段。它的探测距离较近，有30m左右，不过探测角度相对较大，最高可达120°左右。短程雷达有成本低，技术发展相对成熟的优点，同时也有体积相对较大的缺点。鉴于上述情况，短程雷达主要用于盲区检测、车道保持、变道辅助和泊车辅助等场合。

（2）MRR/LRR

中程雷达，主要使用76-77GHz的频段，探测距离在60m左右，探测角度可达60°左右。对于长程雷达，主要使用77GHz频段，探测距离一般可达在200m左右，探测角度一般只有20°左右。中长程雷达相对短程雷达，具有1）检测精度较高，2）体积小的优点；但同时也有1）制作工艺要求高，2）目前发展还不够成熟的缺点。鉴于此，它一般应用场合有辅助刹车、和紧急制动等。图7为三种车载毫米波雷达探测范围的一个示例

2.3.4 超声波定位

超声波（Ultrasound，又称超声波雷达）定位，即使用发射探头发出频率大于20KHz的声波和计算飞行时间来探测距离。常用的超声波频率有40KHz、48KHz和58KHz，其中最常用的频率是40KHz。使用超声波定位，一般精度在1cm3cm之间，探测适用范围在0.2m5m之间。

优点如下：1）穿透能力强，一定程度上可以防水、防沙、防尘；2）成本低；3）不受电磁效应的干扰。这种方式也有一些缺点：1）检测角度小、探测距离短，因此一辆车上会选择安装多个超声波传感器，并在低速行驶中使用；2）无法精确描述障碍物的位置，如两个障碍物同时返回相同的探测距离时；3）抗干扰能力差，易受到车速、震动、温度及湿度的影响。

由于以上特点，超声波在倒车、自动泊车、盲区检测等方面广泛应用，如图8所示。常用的超声波雷达有两种，停车辅助（Ultrasonic Parking Assistance，UPA）超声波雷达和自动泊车（Automatic Parking Assistance，APA）超声波雷达。UPA超声波雷达探测范围较近，一般在0.1m2.5m，常安装在车辆的前后保险杠上，辅助倒车。APA超声波雷达探测距离稍远，在0.3m5m左右，一般安装在车辆的侧面，且具有较强的指向性，用于探测车辆左右两侧的障碍物。不过相比之下，APA功率略大，成本略高

超声波在倒车时的应用示意图。蓝色扇形区域为APA超声波雷达探测范围，透明扇形区域为UPA超声波雷达探测范围

2.3.5 相机定位

基于图像的相机定位，是基于视觉的定位（Vision-Based Localization，VBL）中的一个重要研究领域。视觉定位是指在一个已知的空间表示（如矢量地图、点云地图等）中，使用视觉类的数据元素，检索出物体位姿（位置和朝向）的方法。这些视觉元素有图像、3D模型和彩色点云等，它们包含光学信息、几何信息和语义信息等。

总体来说，视觉定位有以下优点：1）硬件成本低，技术相对成熟；2）特定场合精度高（如交通标示识别）；3）提供的信息量充足；4）信息直观方便。但也有缺点：1）对光照依赖较大，在逆光、强光、黑夜、雾、霾及雨雪天气情况下定位困难；2）纹理少的区域，定位精度低；3）精度依赖图像分辨率、计算量较大，距离较远时物体分辨困难。

这里主要讨论自动驾驶应用场景下的基于图像的视觉定位的几个重要方法：多点透视问题（Perspective n Point，PnP）问题、视觉里程计（Visual Odometry，VO）、路标定位，以及与此关系密切的基于视觉的同步定位与地图构建技术（Visual Simultaneous Localization And Mapping，V-SLAM，或称为视觉SLAM）

2.4 单个定位技术对比

GPS在大场景室外定位中扮演重要角色；V2X提供的精确的信息对车辆定位有较大帮助；IMU因其独立作业的优点，对环境的**鲁棒性**较好；LiDAR在获取精确的尺度信息和地图构建上很有优势；RADAR定位在兼顾精度和距离的同时，对天气的适应能力更强；相机定位在精度和距离上有很大的发展空间。当然，没有哪种定位方式可以适用于所有场景，最终的决定因素在于用户的需求

3 融合定位技术

3.1 GPS/IMU融合定位

融合GPS和IMU进行定位是较典型的方式。一方面GPS依赖于外部卫星信号，易受天气、电磁波等的干扰，面临隧道无信号、有多路效应等问题；而IMU不依赖于外部信号，不会受上述因素的影响。一方面IMU有累计误差，而GPS的误差不会累计,所以两者取长补短（IMU每5ms更新一次，但是误差不断累计；每100ms，可以得到一次GPS数据更新，对IMU累计的误差进行校正）。但是在这种融合方式下，IMU在匀速运动时加速度计失效的情况，只能靠GPS单方面进行速度估计，不过普通GPS的米级精度对自动驾驶来说是不够的。然而，随着RTK-GPS技术的发展和普及，低成本的厘米级精度的方案也是可以预见的事情。

GPS和IMU的融合方式有两种：松耦合和紧耦合。松耦合的工作原理是两个系统单独工作，得到最终结果（位置和速度）后，再进行卡尔曼滤波，对IMU进行补偿校验。它具有简单易实现的优点，也有定位精度低的缺点。紧耦合将接收到的GPS原始数据直接与IMU的输出一起进行校正，最终得到一个统一的估计结果。它具有精度高的优点，但实现较复杂。基于**GPS/IMU定位的方式，还可以与轮式里程计定位相结合**。如冼承钧等[40]提出的多传感器融合导航方法，Dedicated Short-Range Communications, DSRC当GPS有效时，使用GPS/IMU定位；当GPS失效时，使用里程计抑制IMU误差的累计，进行定位。

此外人们还提出了不依赖与GNSS的定位，如下面两种融合方式。

3.2 Camera/IMU融合定位

将相机（单目相机、双目相机和RGB-D相机）与惯性测量单元IMU进行融合，形成的视觉惯性里程计（Visual-Inertial Odometry，VIO）,也是目前较为经典的、低成本的融合定位方式。它们组合在一起的导航系统，被称之为视觉惯性导航系统（Visual-Inertial Navigation System，VINS）。

相机类别	优点	缺点
单目相机	成本低、计算量少、使用方便	具有尺度不确定性、初始化容易漂移
双目相机	可通过双目计算深度	计算量较大
RGB-D 相机	测距准确	成本高、受日光干扰、测量范围小

融合的主要原因在于，相机可以提供丰富的场景信息，但获取尺度信息困难，且受环境（光照、天气等）影响较大，而IMU可提供尺度信息，基本不受环境影响。同时两者成本都较低、功耗小，所以常被用作GNSS无效的情况下（隧道、地下停车场等环境下）、低成本、高精度的定位方案。

3.2.1 特性互补

IMU 在长时间运动情况下累积误差会越来越大，而短时间内对 IMU 数据进行处理可以得到较准确的位姿信息。因此，视觉与 IMU 能有效地进行优势互补，可根据视觉信息估计 IMU 的噪声，同理可知，IMU 可为视觉提供图像模糊时的定位。融合 IMU 和视觉可以得到更高的定位精度、提高系统鲁棒性，IMU 数据与视觉数据融合的方式可分为松耦合和紧耦合

3.2.2 视觉与 IMU 松耦合

将 IMU 积分得到的位姿与视觉求解出来的位姿直接融合，一般使用卡尔曼滤波的方法对这两种数据进行处理

3.2.3 视觉与 IMU 紧耦合

一般使用非线性优化的方法处理视觉与 IMU 数据，并且能优化传感器的参数。

松耦合时， 视觉定位和 IMU 定位单独计算，将结果数据融合，计算较为简单。而紧耦合将两传感器的原始数据进行融合，考虑了两传感器噪声的互相影响， 充分利用了数据，更易达到全局最优解

所以一般选择视觉与惯导的紧耦合实 现车辆在没有 GPS 信号场景下的定位

3.2.4 融合视觉 与 IMU 数据的 SLAM 系统

相机与 IMU 具有互补性，融合视觉 与 IMU 数据的 SLAM 系统拥有更好的鲁棒性和更高的精度

(鲁棒性是指系统在面对不确定性因素时仍能保持稳定和性能的能力)

3.3 LiDAR/Camera融合定位

相机可以获取丰富的信息，但尺度信息获取较为困难，但LiDAR能获取精确的尺度信息，两者可以优势互补。在制作HD Map过程中，两者都发挥着不可或缺的作用。在车辆行驶过程中，可以通过LiDAR和Camera获取当前位置的特征（如点云信息、车道信息等），然后跟事先已经建立好的HD Map进行对比，实现精确定位。

Xu等人提出使用立体图像匹配3D点云数据（位置、强度等信息）的定位方法。该方法首先将3D点坐标从世界坐标系转换到相机坐标系，然后与图像上对应的点进行对比定位。其定位误差可达0.08m~0.25m。为满足在不同季节变化环境中的定位，Viswanathan等人[44]首先采集不同季节的卫星图像；然后依据LiDAR数据将车辆全景相机拍摄的图像分成地面和非地面部分，再进行变换得到鸟瞰图；最后对比卫星图像的地面部分和上述鸟瞰图以实现定位。Zuo等人为了提高定位的鲁棒性和精度，提出LIC-Fusion，使用多状态约束卡尔曼滤波器（Multi-State Constraint Kalman Filter，MSCKF）架构，将LiDAR、IMU和Camera进行数据融合。与此融合方式类似的工作，还有Zhao提出的融合了VIO和激光里程计（Lidar Odometry and Mapping，LOAM）、将精度优化到1cm的VIL-SLAM。

当然欲达到自动驾驶的高精度、高可靠性，定位信息应该有冗余，以便于在某一个传感器失效时，系统还能正常工作。下面探讨多种传感器混合的定位方式。

3.4 多种方式混合定位

自动驾驶是一个综合性的任务，同一个传感器不一定只能满足一种需求（如使用相机可以用于定位，也可以用于检测目标、分析语义）；同样，多个传感器可能都具备某一种功能（如定位）。所以，充分发挥每一种传感器的功能，是十分有意义的。

百度Apollo项目组的Wan等人，提出基于RTK-GNSS/IMU/LiDAR融合的定位方案。其充分利用LiDAR的强度和高度信息，在预先建立好的GMM（Gaussian Mixture Model）网格单元地图上进行初步定位，然后融合RTK和IMU的定位结果，在复杂场景下（市区道路、隧道）达到5cm~10cm的横向和纵向精度。与此类似，Levinson等人同样使用GPS/IMU/LiDAR及概率网格地图以实现高精度的定位；不同的是，该方法使用Bayes推理以减少地图元素的不确定性，并试图通过离线SLAM方法对地图中的环境元素作对齐操作，以提高在动态环境中定位的鲁棒性。

但是使用RTK或者LiDAR意味着成本较高。Suhr等人提出基于粒子滤波（Particle Filter，PF）的GPS/IMU/Camera融合的低成本定位方式。其使用道路标记(symbolic road marking，SRM，如车道线、直行箭头和左转箭头等)制作轻量级的地图，再使用相机检测这些特定标记得到初步的位置信息，然后融合GPS/IMU/里程计的信息实现定位。不过该方式在没有道路标记的地方，精度会有所下降。

4 SLAM系统

同步定位与建图（Simultaneous Localization And Mapping，SLAM）技术

已经在移动机器人领域活跃了几十年，移动机器人领域的成功与解决 SLAM 问题紧密相关，即通过逐步构建的环境地图来定位机器人。SLAM 可以应用在许多方向，从空间探索到自动驾驶。近些年，人们对智能汽车的关注进一步推动了汽车制造商对智能汽车的研究，SLAM 也成为了自动驾驶研究的重要方向之一。目前，智能汽车使用的 SLAM 技术按传感器的不同可分为激光 SLAM 和视觉SLAM（Visual SLAM，SLAM）。使用激光雷达等距离传感器在构建 2D 地图方面已经比较成熟，但激光雷达成本高、易受干扰、没有周围环境的语义信息。随着计算机视觉技术的发展与 GPU 算力的提升，相机凭借其信息丰富、便携、成本低等优势，在自动驾驶领域得到了广泛的研究与应用，例如车道线检测、行人车辆的目标检测、交通标志识别等。因此， 视觉 SLAM 的研究有着非常重要的意义。

5 ADAS ICA 等自动驾驶专有名词

高级驾驶辅助系统(Advanced Driving Assistance System，ADAS）

ADAS 通过安装在车辆上的各类传感器获得汽车周围的环境信息，识别静态和动态物体并结合地图导航定位数据，分析这些数据以确定潜在危险，将其与预先设定的预警等级对比，从而发出警报提示驾驶员采取必要措施。因此，ADAS 能有效的提高驾驶的安全性。高级驾驶辅助系统在实际应用中有着非常优异的表现， 需求迅速增长，比较常用的高级驾驶辅助系统有盲区检测系统、自动紧急制动、车道偏离警示系统、自动泊车系统、前向碰撞预警系统、防抱死系统等。

ICA（Integrated Cruise Assist）集成式巡航辅助系统：这是一种高速辅助驾驶功能，它在车速较高时（一般大于60Km/h）为驾驶员提供横向和纵向的辅助驾驶。ICA可以看作是ACC（自适应巡航控制）和LKA（车道保持辅助）功能的组合，它控制车辆以一定的车速在车道线内行驶。与TJA（交通拥堵辅助）不同的是，ICA的工作车速更高，而且始终把车辆维持在车道中心附近行驶，不具备无车道线时的跟车行驶功能。

NOA（Navigate on Autopilot）自动辅助导航驾驶：这种功能结合了“导航”和“辅助驾驶”，在原来L2辅助驾驶的基础上（如车道线保持、自动跟车），加上车机的导航信息（如百度地图），实现从A点到B点的自动驾驶。这种功能允许车辆自动变道，并根据导航信息行驶。