自动驾驶常用传感器介绍

一、摄像头

1. 概述

摄像头是自动驾驶核心传感器，是实现自动驾驶众多规划、控制的基础，相比于激光雷达和毫米波雷达，最大的优势在于可以识别车辆周边的环境信息和纹理信息，能够“看到”目标的类型、信号灯的颜色等，类似于人类的眼睛。

摄像头是将光学组件获得的光信号，投射到图像传感器上，完成由光信号到电信号的转换，然后再转换为数字图像信号，最后进行信号的算法处理。基于图像数据从而实现感知车辆周边路况的功能，实现如车辆、行人、车道线、交通标识物的检测、距离估计等模块。

2. 摄像头在自动驾驶中的应用

根据摄像头的安装位置，可以分为前视、侧视、后视、内置、环视等。在高级别自动驾驶车辆上，配置的摄像头有多个甚至十多个。如特斯拉Autopilot2.0硬件系统就包含8个摄像头。

3. 车规级摄像头性能要求

针对车规级的摄像头，因为车辆全天候全天时的运作，对光线、温度的变化都有较高的要求（如进出隧道等明暗反差过大的场合，北方冬天极寒场景等），且能够满足车辆震动的要求，所以要求自动驾驶中摄像头主要需要满足：

1）耐高温：车载摄像头需要在-40℃-85℃范围内都能够正常工作，且能够适应温度的剧烈变化；

2）抗震：车辆在路面行驶时会产生较强的震动，所以车载摄像头必须能抗各种强度的震动；

3）防水：车辆需要在全天候全天时工况下运行，就需要摄像头密封严实、满足在雨水中浸泡仍可正常使用；

4）使用寿命：车载摄像头的使用寿命至少 10 年；

5）高动态低噪点：车辆需要在全天候全工时状态下运行，摄像头面对的光线环境变化剧烈且频繁，所以要求摄像头的 CMOS 具有高动态性；在光线较暗时，能够有效的抑制噪点的产生；

6）对于某些特定功能的摄像头，如侧视摄像头、环视摄像头等，还需要水平视场角比较广。

4. 摄像头的优劣势分析

5. 摄像头关键参数

◆ 焦距：指平行光从透镜中心到光聚的焦点的距离，如4mm,6mm,12mm;

◆ 有效的探测距离：如近距，中距，远距等对应不同探测距离需求；

◆ 视场角：水平视场角（HFOV）和垂直视场角（VFOV），一般来说，焦距越小，视场角越大(如下图所示)；

◆ 分辨率大小：200W（1920x1080），500W（2560x2048）,800W（3200x2400）;

◆ 最低照度：CMOS对环境光线的敏感程度;

◆ 信噪比：输出的信号电压和噪声电压的比值;

◆ 动态范围：正常显示细节的最亮和最暗物体的亮度值所包含的那个区间;

二、激光雷达

1. 概述

激光雷达(Lidar)，全称 Laser Detecting and Ranging，即激光探测和测距，是一种用于精确获得三维位置信息的传感器，可以确定目标的位置、大小、外部轮廓等。与毫米波雷达工作原理相似，激光雷达通过发射和接收激光束，获取空间的位置点信息（即点云），并根据这些信息进行三维建模。

除了获取位置信息外，激光信号的反射率还可以区分目标物质的不同材质，激光雷达的线束越多，其测量精度越高。由于激光的频率高，波长短，可以获得极高的角度、距离和速度分辨率，这就意味着可以利用多普勒成像技术，构建出清晰的 3D 图像。

2. 工作原理

激光雷达一般包括发射系统、接收系统、信息处理三大部分组成，部分激光还包括扫描系统。

激光雷达是向目标发射激光探测信号束，然后将收到的从目标反射回来的信号（目标回波）与发射信号进行比较，测量发射信号与接收信号地时间差或者相位差，获得目标的距离信息，然后通过水平旋转扫描来测量角度，建立二维极坐标系，然后通过不同的俯仰角度信息，获得目标的高度信息等，从而完成对目标的探测、跟踪、识别。下图可以反映出激光雷达的组成：

激光雷达的测距有两种，一种是基于时间的测量方法，也叫飞行时间法（TOF），另一种是不基于时间的测距法。基于时间的测量方法又分为脉冲法和三角法两种。

脉冲法，也称为直接法，数学模型如下：距离 = 光速 * 往返时间 / 2;

三角法，也叫间接法，如下图：

激光雷达发射器发射激光，经过物体(object)反射后被 Imager 捕捉，假设捕捉点为$x_2$，通过焦点 O 作一条虚线平行于入射光线，与 Imager 交于$x_1$，由于图中β已知，所以可以得到$x_1$的位置。假设$x_1$与$x_2$之间的距离为$x$，可以得到左右两个三角形相似，所以有:$\frac{q}{f}=\frac{s}{x}$，又因为$sin\beta =\frac{q}{d}$，所以有$d=\frac{sf}{xsin\beta }$，这就得到了物体到激光的距离。

三角式结果比较简单，测试速度快，但对器件的灵敏性要求高，主要应用在微位移测量，比如物体表面轮廓、宽度、厚度等。不光是脉冲法还是三角法，都需要测量激光的往返时间，难度较大，精度相对低，所以有了不依赖时间的相位式的测量方法。相位式方法不以时间为基准，而是将调制信号对激光光强进行调制，通过测量相位差来检测测量往返时间，其数学模型如下：

其中为距离，为激光往返一次所产生的相位差，为调制信号的波长，A/2称为测尺，即相位变化为2π时所对应的距离。相位法适合中短距离的测量，是目前测距精度较高的一种方式。

3. 激光雷达的特性

相比于其他传感器，激光雷达有自己的优势：
1）不受光线的干扰，激光雷达可以全天候进行运作，它只需要接收激光束的回波信号来获取目标信息，所以，如阴影，黑夜等对激光雷达的影响很小；

2）获取的信息量丰富，可以获取目标的三维信息，距离、角度、反射强度、速度等，生成目标多维度图像；

3）激光雷达波长短，可发射发散角非常小的激光束，其多路径效应小（不会形成定向发射，与微波或者毫米波产生多路径效应），可以探测低空或超低空目标，能有效解决近距离横向视觉盲区问题；

4）激光雷达的有效距离比摄像头远，在低速时，视觉采样点不足，拟合的车道线准确度较低，而激光有效的采样点较多，精准度远高于视觉系统；相比于毫米波雷达，激光雷达的工作频率高于毫米波数个量级，具有极高的距离分辨率、角分辨率和速度分辨率；

5）低速近距离状态下，对于未知物体或者有遮挡物体，激光雷达的目标检测能力要优于摄像头；

6）点云前处理算力较低，可以直接通过点云进行高密度绘制，输出通行空间，无需二次转化。

4. 激光雷达的分类

分类	优点	缺点
机械式激光雷达	拥有 360°视场角，测量精度相对较高	线束越高，体积越大；价格昂贵，旋转部件可靠性低
混合式激光雷达	1）MEMS 微振镜相对成熟，可以以较低的成本和较高的准确度实现固态激光扫描（只有微小的微振镜振动），并可以针对需要重点识别的物体进行重点扫描，落地快2）传感器可以动态调整扫描方式，以此来聚焦特殊物体，采集更远更小物体的细节信息并对其进行识别；	1）没有解决接收端问题，光路较复杂，依然存在微振镜的震动，结构会影响整个激光雷达部件的寿命，且激光扫描受微振镜面积限制，与其他技术路线在扫描范围上存在一定差距；2）存在激光的反射，反射过程中激光会有较大的损失，导致回波信噪比偏低；
光学相控（OPA）激光雷达	1）结构简单，尺寸小；2）标定简单3）扫描速度快，扫描精度高4）可控性好，光束指向完全由电信号控制，在允许角度范围内可以做到任意指向；5）多目标监控，相控阵面分割为多个小模块，每个模块单独控制就可以监控多个目标	1）扫描角度有限；2）光栅衍射除了中央明纹外还会形成其他明纹，这就造成激光雷达最大功率外形成旁瓣，分散激光能量；3）加工难度高，由于光学相控阵要求阵列单元尺寸必须不大于半个波长，一般激光雷达的工作波长为 1 微米，所以阵列单元的尺寸必须大于500nm；4）接收面大、信噪比差
面阵闪光（Flash）激光雷达	Flash 激光束直接向各个方向漫射，可以快速记录环境信息，避免扫描过程中目标或激光雷达移动带来的运动畸变	1）Flash 视场角受限，扫描速率较低；2）探测距离小，当目标距离过大时，会导致返回的光子数有限，导致探测精度降低，无法准确感知目标方位

5. 激光雷达在自动驾驶中的应用

1）感知，前面已经介绍了，Lidar 通过扫描得到障碍物反射回的点云后采用分类聚类或者深度学习的方法进行障碍物检测，目前 Lidar 已经可以高效的检测行人和车辆，输出检测框或者对点云中的每个点输出 label 进行点云分割，还有使用 Lidar 进行车道线检测或者路面探测的。但如何在包含遮挡、背景干扰、噪声以及数据分辨率变化等复杂场景中实现对目标的检测识别与分割，依然是激光雷达存在的一个挑战性的问题。

2）标定，就是给出不同的传感器数据集，找出两个数据集的空间变换关系，使得两个数据集统一到同一坐标系的过程。标定分为静态标定和动态标定两种。静态标定一般用来确定传感器的初始姿态信息，主要依赖转台标定、物体表面标记点或者人工选点的方法来实现。动态标定一般用来解决车辆运动过程中，传感器之间相对姿态信息变换的问题。一般标定方法首先采用最小张树方法和连接图算法实现数据间的邻接关系，再采用关键点、线、面匹配的方法，求解出传感器的姿态信息。

3）里程计与定位，根据标定得到的相对姿态变换关系后，利用传感器数据来估计载体车辆姿态随时间的变化改变关系。如利用当前帧与上一帧进行数据匹配，或者利用当前帧和累计帧构建出来的子图进行匹配，得到微子变换关系，从而实现里程计的作用。当使用当前帧与整个点云地图进行匹配时，就可以得到传感器在整个地图中的位姿，从而实现在地图中的定位。

三、毫米波雷达

1. 概述

毫米波是一种波长介于 1-10mm 的电磁波，其波长短、频段宽，比较容易实现窄波束，具有分辨率高，不易受干扰等特点。毫米波雷达是采用毫米波对目标进行探测，获取目标的相对距离、相对速度、方位的高精度传感器。

毫米波导引头具有体积小、质量轻、空间分辨率高的特点；

毫米波导引头穿透雾、烟、灰尘的能力强，传输距离远，具有全天候全天时的特点；

毫米波性能稳定，不受目标物体形状、颜色的干扰，能够很好的弥补如红外、激光、超声波、摄像头等其他传感器在车载应用中不具备的使用场景。

2. 工作原理

笼统来讲，车载毫米波雷达通过发射天线向外发射毫米波，通过接收天线接收目标物的反射信号，经后方信号处理后快速准确地获取汽车车身周围的物理环境信息（如汽车与反射物体之间的相对距离、相对速度、角度、运动方向等）。

细分来讲，毫米波雷达的工作原理又分为测距原理、测速原理及测角原理。

测距：通过给目标连续发送电磁波，然后利用传感器接收从物体返回的电磁波，通过探测电磁波的飞行（往返）时间来获得目标物距离。

测速：根据多普勒效应，通过计算返回接收天线的雷达波的频率变化就可以得到目标相对于雷达的运动速度，简单来说就是相对速度正比于频率变化量。

测方位角：通过并列的接收天线收到同一目标反射的雷达波的相位差来计算得到目标的方位角。

3. 在自动驾驶行业中的应用

24GHz毫米波雷达目前大量用于汽车的盲区检测、辅助变道等，主要用作侧向雷达。24GHz 毫米波雷达主要优点为探测范围光；缺点是频率低，带宽窄，只有250MHz，探测距离近。

77GHz毫米波雷达有等效同性各向辐射功率(EIRP)的优势，可用于前端远程雷达，探测前车与本车的相对距离和相对速度，实现如自适应巡航控制等功能。

4. 毫米波雷达的优劣势

5. 毫米波雷达性能参数

性能参数

▪ 距离：最大探测距离，距离分辨率，距离精度；

▪ 速度：最大探测速度，速度分辨率，测速精度；

▪ 角度：探测视角范围FOV，角度分辨率（一般指水平分辨率），测角精度；

雨雾尘天气对LiDAR和Radar的影响:

◆ 雾气的粒子直径为1~100μm 微米，集中于10~15μm；

◆ 灰尘的颗粒直径小于500μm，PM10小于10μm，PM2.5小于2.5μm；
◆ 雨滴的直径0.5~5mm 毫米；

◆ 波长比雨雾的粒子直径足够大时，就能够穿透雨雾而不会发生能量衰减，一般30mm以上的微波就可以做到；

◆ 毫米波（24Ghz、77GHz）对应波长为12.5mm、3.9mm，能够穿透雾气、灰尘，但不能穿过较大雨滴（大雨）；

◆ 激光雷达的波长集中于0.85~1.55μm之间，雾气、灰尘、雨滴都有影响，雾气和灰尘的粒子更多，影响更大；

四、惯性传感器（IMU）

1. 概述

惯性测量单元，Inertial Measurement Unit（IMU），俗称惯性传感器，主要用来检测和测量加速度与旋转运动的传感器。主要是采用惯性定律实现的。

车载惯性传感器，又称为Micro-Electro-Mechanical-System，即MEMS，是汽车传感器的主要部分，其主要由3个轴加速计和3个角速度计（陀螺仪）组成，加速度计检测物体在载体坐标系独立三轴的加速度信号，陀螺仪检测载体相对导航系统坐标系的角速度信号。加速度计和陀螺仪安装在相互垂直的测量轴上，通过算法对信号进行处理后，便可计算出物体的姿态。

IMU提供的是一个相对的定位信息，其作用是测量相对于起点物体所运动的路线，所以IMU不能提供所在的具体位置信息，所以经常和GPS一起使用当在某些GPS信号微弱时，IMU就可以帮助汽车获得绝对位置的信息。

2. IMU的特性

由于制作工艺等一系列原因，IMU测量的数据通常会有一定的误差。其误差可以分为:

影响IMU测量的因素有很多，可以规则为如下四类：

3. 在自动驾驶中的应用

对于自动驾驶来说，高精定位是必须的，高精度定位有两层含义：
1）自车与周围环境之间的相位位置，即相对定位；
2）自车的精确经纬度，即绝对定位。

GPS可以为车辆提供精度为米级的绝对定位，差分GPS或者RTK GPS可以为车辆提供厘米级的绝对定位，但并非所有路段所有时间都能够得到良好的GPS信号。所以一般需要RTK GPS的输出与IMU、车身传感器（轮速计、方向盘转角传感器等）进行融合。

IMU的作用：
1） IMU可以验证RTK GPS结果的自洽性，并对无法自洽的绝对定位数据进行滤波和修正；
2）IMU可以在RTK GPS信号消失之后，仍然提供持续若干秒的亚米级定位精度，为自动驾驶汽车争取宝贵的异常处理的时间；

五、GNSS与RTK

1. GNSS介绍

GNSS全称Global Navigation Satellite System，是利用一组卫星的伪距、星历、卫星发射时间等观测量，同时还必须知道用户钟差。全球导航卫星系统是能在地球表面或近地空间的任何地点为用户提供全天候的3维坐标和速度以及时间信息的空基无线电导航定位系统。只需4颗卫星，就能获得目标经纬度和高度。

GNSS它是泛指所有的卫星导航系统，包括全球的、区域的和增强的，如美国的GPS、俄罗斯的Glonass、欧洲的Galileo、中国的北斗卫星导航系统，以及相关的增强系统，如美国的WAAS（广域增强系统）、欧洲的EGNOS（欧洲静地导航重叠系统）和日本的MSAS（多功能运输卫星增强系统）等，还涵盖在建和以后要建设的其他卫星导航系统。国际GNSS系统是个多系统、多层面、多模式的复杂组合系统。

2. RTK介绍

RTK（Real - time kinematic，实时动态）载波相位差分技术，是实时处理两个测量站载波相位观测量的差分方法，将基准站采集的载波相位发给用户接收机，进行求差解算坐标。厘米级定位精度，是GPS应用的重大里程碑。其原理是将位于基准站上的GPS接收机观测的卫星数据，通过数据通信链（无线电台）实时发送出去，而位于附近的移动站GPS接收机在对卫星观测的同时，也接收来自基准站的电台信号，通过对所收到的信号进行实时处理，给出移动站的三维坐标，并估计其精度。利用RTK测量时，至少配备两台GPS接收机。

3. 在自动驾驶中的应用

◆ GNSS:国内用的多的是GPS+北斗+GLONASS三套卫星导航系统；

◆ 在自动驾驶领域，GNSS高精度定位涉及到五个必要的时空因素：GNSS卫星、高精度地图、全疆域通讯网络覆盖、GNSS基站、移动端GNSS接收机；

◆ GNSS与其他传感器的结合 ：在自动驾驶领域，多传感器共同工作的环境，也使该领域对GNSS设备的精确性、抗干扰性提出了更高的要求。未来，每辆自动驾驶汽车都将配备有多种传感器，包括激光雷达、毫米波雷达、摄像头、惯性测量单元和GNSS系统；

◆ GNSS定位可以为自动驾驶提供全局定位信息的来源。GNSS是通过使用三角定位法，通过3颗以上的卫星，可以准确地定位地球表面的任一位置。但由于GPS是有很大的误差，通过使用RTK技术，GNSS可以提供精确到厘米级别的定位精度；

◆ GNSS+IMU方案是一种最常用的组合惯导系统的方案；

六、超声波雷达

1. 工作原理

超声波雷达的工作原理是通过超声波发射装置向外某一个方向发射出超声波信号，在发射超声波时刻的同时开始计时，超声波通过空气进行传播，途中遇到障碍物就会立即反射传播回来，超声波接收器在收到反射波的时刻立即停止计时。在空气中，超声波的传播速度为340m/s，计时器通过记录时间t就可以测算出从发射点到障碍物之间的距离长度（s），即s=340*t / 2。

目前，超声波雷达探头的工作频率有40kHz，48kHz和58kHz三种。一般来说，频率越高，灵敏度越高，但水平和垂直方向的探测角度就越小，所以一般采40kHz的探头。

2. 超声波雷达的类型

常见的超声波雷达有两种：
◆ 一种是安装在汽车前后保险杠上的，用于测量汽车前后障碍物的倒车雷达，即所谓的UPA，探测距离一般在15~250cm；

◆ 一种是安装在汽车侧面的，用于测量侧方障碍物距离的超声波雷达，即所谓APA，探测距离一般在30~500cm，相比于UPA，APA的探测范围更远，但成本更高，功率更大。

3. 超声波雷达的优劣势

优势：

1. 因其固有的特性，在传播过程中，能量消耗比较慢；
2. 在介质中传播的距离比较远，穿透性强，即使在雨雾
   灰尘或者少量泥沙遮挡的条件下，都能够有很好的测
   距性能；
3. 且测距方法简单，成本较低；

劣势：

5. 超声波雷达探测的距离与其传播速度、传播时间相关
   （距离=速度*时间/2）；
6. 在车辆高速运行的状态下，其测量距离也有一定的局
   限性
7. 超声波雷达散射角较大，方向性差，无法精准的描述
   障碍物的位置（如下图，不知道具体在A或者B）；
   

4. 达在自动驾驶中的应用

超声波雷达在智能驾驶领域除了障碍物探测外，还有其他的功能，如泊车库位检测，高速横向辅助。