【Apollo】感知基础

一、感知的作用

1、概念

        感知：是对感官信息的组织、识别和解释，以表示和理解所呈现的信息或环境。

        自动驾驶感知涉及从车辆传感器收集数据，并将这些数据处理成对车辆周围世界的理解，为后续PnC（规划控制）模块提供必要信息。

 2、环境感知

a、静态环境结果
        路面信息（车道线、转弯标识、停车位、斑马线……）
        路标（限速牌、禁停标志……）
        红绿灯
        ……
b、动态障碍物结果
        机动车
        自行车
        行人
        ……
c、Fusion
        状态
        障碍物的位置、速度、种类、预测轨迹
        红绿灯状态、读秒器显示
        ……
d、场景
         高速、十字路口、无保护左转、停车场
        天气（雨雪雾……）
        ……

二、常见传感器

        环境传感器：相机、激光雷达、毫米波雷达、超声波雷达
        自车传感器：GNSS、IMU、轮速计

1、相机（camera）

a、相机分类

        前视摄像头、环视摄像头、鱼眼摄像头、双目摄像头、事件相机等。

b、相机优势

        成本低，物体纹理信息。

c、缺点

        缺乏深度信息，光干扰

d、算法

分类：

        图片级别；识别图片中的物体类别

目标检测:

        物体级别

        识别物体类别同时，用BoundingBox来表示物体的位置

        2D目标检测：YOLO系列，RCNN系列

        3D目标检测：SMOKE，FCOS3D

语义分割

        像素级别

        识别物体类别，注意不区分个体

        自动驾驶：freespace, FCN，UNet，ENet

 实例分割

        像素级别

        目标检测+语义分割

        可区分个体

        MaskRCNN

        自动驾驶车道线检测：SCNN，PINet

2、激光雷达（lidar）

a、简介

b、测距原理

c、激光雷达点云检测算法：

Point-based 检测算法

        由采样、表征学习和检测头检测三部分组成

        主要采样算法：PointNet系列提出的FPS

        主要算法：PointRCNN，3DSSD，Pointformer

        推理时间难以满足实时性，在自动驾驶中较少采用。

Grid-based 检测算法

        网格表示：Voxel，Pillar，BEV Map

        网格化表征+基于网格的DNN+检测头

        主干网络：3D sparse CNN，2D CNN

        代表网络：VoxelNet，Pointpillars，CenterPoint

Point-voxel based 检测算法

        PVCNN，Fast Point R-CNN系列

Range-based 检测算法

        前视角特征提取+BEV检测

 激光雷达点云分割常见算法：

 Semantic Segmentation：

         Point-based: PointNet系列        

        Grid-based: FCPN, LatticeNet

        Range-based: RangeNet++,SqueezeSeg

Instance Segmentation

        Detection-based: LiDARSeg

        Clustering-based: SGPN

Panoptic Segmentation

        Panoptic-PolarNet

Transformer

        PCT (Point CloudTransformer)

3、毫米波雷达（radar）

        毫米波雷达，顾名思义，就是工作在毫米波（Millimeter wave，频率30~300GHz，波长1-10mm）波段的雷达。英文名为Radar（Radio Detection and Ranging），即无线电探测和测距；
与普通雷达相似，Radar通过发射无线电信号并接收反射信号来测量自车与障碍物之间的距离和相对速度。毫米波雷达兼具微波雷达和光电雷达的一些优点，非常适合于自动驾驶汽车领域的应用；由于毫米波雷达具有较好的穿透性，能轻松穿透塑料材质的保险杠或标牌，因此常被安装在汽车保杠或标牌后面。

a、分类

        远距离雷达

        角雷达

        3D

                X, Y, V

        4D

                X, Y, Z, V

b、按工作频率

        77GHz

        24GHz

c、优势

        抗干扰

        有径向速度

d、缺点

        角分辨率低

        无物体纹理信息

        小目标检测效果差

4、超声波雷达

        超声波雷达的工作原理是通过超声波发射装置向外发出超声波，到通过接收器接收到发送过来超声波时的时间差来测算距离。常用探头的工作频率有 40kHz, 48kHz 和 58kHz 三种。一般来说，频率越高，灵敏度越高，但水平与垂直方向的探测角度就越小，故一般采用 40kHz 的探头。超声波雷达防水、防尘，即使有少量的泥沙遮挡也不影响。探测范围在 0.1-3 米之间，而且精度较高，因此非常适合应用于泊车。

5、GNSS

        全球导航卫星系统（Global Navigation Satellite System，GNSS），又称全球卫星导航系统，是能在地球表面或近地空间的任何地点为用户提供全天候的3维坐标和速度以及时间信息的空基无线电导航定位系统  。其包括一个或多个卫星星座及其支持特定工作所需的增强系统  。

        全球卫星导航系统国际委员会公布的全球4大卫星导航系统供应商，包括中国的北斗卫星导航系统（BDS）、美国的全球定位系统（GPS）、俄罗斯的格洛纳斯卫星导航系统（GLONASS）和欧盟的伽利略卫星导航系统（GALILEO）。其中GPS是世界上第一个建立并用于导航定位的全球系统，GLONASS经历快速复苏后已成为全球第二大卫星导航系统，二者正处现代化的更新进程中；GALILEO是第一个完全民用的卫星导航系统，正在试验阶段；BDS是中国自主建设运行的全球卫星导航系统，为全球用户提供全天候、全天时、高精度的定位、导航和授时服务。

        全球定位系统由以下三个部分组成： 空间部分(GPS卫星)、 地面监控部分和用户部分。
GPS定位的基本原理是： 至少测量出当前位置与4颗卫星的距离和对应时间， 通过解方程即可求得当前位置在地球坐标系下的位置（ x, y, z） 。为什么是4颗呢？ 因为除了需要确定（ x, y, z） 三个位置参数， 还需要一个卫星提供相对零点时间从而消除时间误差。

RTK

        RTK（ Real - time kinematic， 实时动态） 载波相位差分技术， 是实时处理两个测量站载波
相位观测量的差分方法， 将基准站采集的载波相位发给用户接收机， 进行求差解算坐标。卫星定位是存在误差的， 误差既来自系统的内部， 也来自外部。 例如卫星信号穿透电离层和对流层时产生的误差， 还有卫星高速移动产生的多普勒效应引起的误差， 以及多径效应误差、通道误差、 卫星钟误差、 星历误差、 内部噪声误差等。 这些误差， 有些可以完全消除， 有些无法消除或只能部分消除。 它们影响了系统的准确性和可靠性。

1. 基准站先观测和接收卫星数据。
2. 基准站通过旁边的无线电台（ 数据链），将观测数据实时发送给流动站（ 距离一般不超
过20公里） 。
3. 流动站收到基准站数据的同时， 也观测和接收了卫星数据。
4. 流动站在基准站数据和自身数据的基础上，根据相对定位原理， 进行实时差分运算， 从而解算出流动站的三维坐标及其精度， 其定位精度可达1cm~2cm。
 

 

6、IMU

     惯性测量单元（ 英语： Inertial measurement unit， 简称IMU） 是测量物体三轴姿态角（ 或
角速率） 以及加速度的装置。
        一般的， 一个IMU内会装有三轴的陀螺仪和三个方向的加速度计， 来测量物体在三维空间中的角速度和加速度， 并以此解算出物体的姿态。 为了提高可靠性， 还可以为每个轴配备更多的传感器。 一般而言IMU要安装在被测物体的重心上。

 

7、轮速计

        轮速计主要是用来测量汽车车轮转速的传感器。

三、感知融合

融合：将多传感器检测到的目标在时间和空间两个尺度上达成同一。
        时间：每个传感器的频率不一致，如LiDAR 10Hz，Camera 30Hz，Radar 10Hz
        空间：各传感器的感知结果投影到车身坐标系。
前融合：原始信号融合，一般用于同类传感器融合，原始信息不损失，计算量大，融合难度大。
特征融合：传感器信号进行独立特征提取后进行融合，最近比较流行BEV。
后融合：每种传感器独立进行感知检测，在结果层进行融合，原始信息损失较大，计算量小，难度低。

 1、时间同步

2、BEV

BEV优势
        前融合、特征融合
        多模态融合（多传感器融合、时空融合）
        感知结果与下游任务预测、PnC衔接
        提供了新的End2End范式基础
        V2X融合