视觉笔记向 | 图像与雷达的数据融合算法（下）

3.1 毫米波雷达数据处理方法

雷达信号处理：利用一定的方法获取目标的各种有用信息，如距离、速度和目标的形状等。

雷达数据处理：预测目标未来时刻的位置，形成可靠的目标航迹，从而实现对目标的实时跟踪。

基于毫米波雷达的车辆前方障碍物目标识别

为解决毫米波雷达识别目标不准确的问题，提高目标检测的稳定性，根据雷达采集信号的特点，一般首先利用卡尔曼滤波递推方法估计出前方目标与自车之间的相对加速度；

然后以相对距离、相对速度和相对加速度为状态变量，利用线性预测矩阵估计下一时刻状态变量值，基于生命周期法对目标进行稳定性检查，初步筛选出稳定的目标；

最后利用同车道纵向距离最近的原则筛选出对自车具有最大潜在威胁的目标作为最终的有效目标。

3.2激光雷达数据处理方法

在实际的无人驾驶系统中，每一帧的数据都会有时间戳，根据时间戳进行后续和时间有关的计算（如距离信息的微分等）。

每一线点云的数据结构又是由点云的数量和每一个点云的数据结构组成。由于激光雷达的数据采集频率和单线的点云数量都是可以设置的，因此1线点云数据中需要包含点云数量这个信息。

4.1图像与雷达数据融合

相机与雷达信息融合

无人车的感知端由不同的传感器组成，其中激光雷达用于定位以及障碍物检测，相机用于基于深度学习的物体识别以及定位辅助。

图像与雷达数据同步

Lidar与相机外参标定原理

步骤：

1. 两个传感器至少需要3次棋盘图案来产生图像和激光雷达数据；
2. 应用相机标定方法来确定相机坐标系中的棋盘平面；
3. 从激光雷达数据中加入棋盘平面，并在lidar坐标系中计算棋盘面；
4. 计算旋转矩阵R和评议矩阵t；
5. 将所有激光雷达数据映射到成像平面上，用于数据配准和融合。

5.1基于卡尔曼滤波的数据处理

卡尔曼滤波五个公式

5.2 基于粒子滤波的目标车辆跟踪

粒子滤波步骤：

1. 初始状态：用大量粒子模拟X（t），粒子在空间内均匀分布；
2. 预测阶段：根据状态转移方程，每一个粒子得到一个预测粒子；
3. 校正阶段：对预测粒子进行评价，越接近于真是状态的粒子，其权重越大；
4. 重采样：根据粒子权重对粒子进行筛选，筛选过程中，既要大量保留权重大的粒子，又要有一小部分权重小的粒子；
5. 滤波：将重采样后的粒子代入状态转移方程得到新的预测粒子，即步骤2.