多传感器信息融合的典型应用_自动驾驶学习笔记（9）| 传感器融合：传递更加精准的目标信息...

引言

自动驾驶硬件系统包含各种各样的传感器，如已经量产的视觉传感器和毫米波雷达。视觉摄像头擅长识别和分类目标，而雷达在探测目标的距离和相对速度有优势。比如在道路上摄像头可以说左侧车道前方有一辆汽车，而雷达可以说这辆车距离本车有多远，相对速度有多大。传感器融合就是为了将各个分立传感器的优势结合在一起，提供冗余、完备、准确、时效的环境目标信息，从而提高系统决策的正确性和安全性。自动驾驶中传感器融合使用的融合算法主要有贝叶斯理论、卡尔曼滤波和深度学习等。

传感器融合

传感器融合很好，那么怎么融合？目前主要的融合方式有原始数据融合、特征融合、决策层融合等。原始数据融合对系统带宽和中央控制器要求高，因为大量的传感器检测数据不经过处理直接发送在车辆总线上；特征融合是指传感器本身具备一定的数据处理能力，中央控制器接收并融合的是各个传感器发送的关于目标的特征（比如速度、方位角等）；决策级融合是面向应用的融合。

传感器融合方式

卡尔曼滤波

说到传感器融合，不得不提卡尔曼滤波（Kalman Filter）。”滤波”是从含有干扰噪声的信号中提取有用信号的技术，卡尔曼滤波将来自不同传感器的测量数据融合在一起，一定程度上去除噪声，得到状态变量的最优估计。

卡尔曼滤波工作过程分为预测和测量更新，根据上一时刻的状态和系统数学模型预测当前时刻的状态，然后将预测的状态与当前时刻的测量值进行“加权”，加权后的结果作为实际状态的最优估计。也就是说，卡尔曼滤波认为真实的状态量需要兼顾物理模型预测值和传感器观测值。（这里所说的状态可能是距离、速度、角度等目标特征。）状态量迭代更新的同时，状态量误差（协方差）也同步更新。

预测和更新

具体推导需要用到概率统计和线性代数的知识，公式略多，但是本质上是预测高斯分布（下图褐色区域）和测量高斯分布（下图灰色区域）相乘得到一个相对精确的最优估计高斯分布（绿色区域，联合概率分布）。

联合概率分布

对于单传感器系统来说，预测部分用的是系统状态转移方程（数学模型），更新则使用传感器测量值。(因此单传感器的融合可以理解成数学模型和测量值的融合。)对于多传感器系统，预测部分用的也是数学模型，更新则同步或异步更新各个传感器，比如接收到激光雷达测量值就更新距离状态，毫米波雷达测量值更新速度状态（这就达到了结合各个传感器的优势的目的）。因此卡尔曼滤波需要对系统建模，使得预测部分能够不断迭代下去。需要注意的是，系统建模的好坏会直接影响融合的效果。

卡尔曼滤波是一种时域方法，适用于估计线性高斯动态系统的最优状态，只需要知道前一时刻的状态和当前测量值来循环迭代得到当前时刻下状态的最优估计，计算量小，实时性好，因此在导航、目标定位和跟踪、信号处理甚至经济领域得到广泛的应用。对于非线性系统，可以用扩展卡尔曼滤波（Extended Kalman Filter）和无迹卡尔曼滤波（Unscented Kalman Filter）来估计系统状态。

那么问题来了：如果某个传感器测量精度足够高，采样也快，是否可以直接使用该测量值？我想也是可以的。但是实际上所有的传感器都有噪声，如果噪声对于系统功能的影响可以忽略，那么理论上也可以不用卡尔曼滤波。如果检测的目标被遮挡，或传感器测量值突然丢失、发生明显不合理跳变等情况下，卡尔曼滤波可以根据数学模型预测目标状态，直到测量值恢复后进行测量更新，这是卡尔曼滤波的优势，这在目标跟踪应用中尤其重要。

结语

传感器融合能够提升自动驾驶系统的安全性，但是由于计算复杂度加大，需要处理的数据很多，如果融合策略没有做好，反而会影响自动驾驶系统的整体性能。如果融合前的分立传感器提供的信息有错误，那么基于错误信息的融合也会出问题。传感器融合的目标是1+1>2，对于融合算法，需要在控制计算量的前提下，尽可能发挥各个分立传感器的优势。

卡尔曼滤波在工程中的就像三极管对数字电路一样重要，如果需要深入掌握卡尔曼滤波，那么需要运用概率统计和线性代数的知识进行公式推导，了解一些现代控制理论状态空间和状态估计的知识，在实际应用中还需要读一些代码实现。

愿大家都能从学习中获得乐趣！

参考资料

[1] 知乎问题：如何通俗并尽可能详细解释卡尔曼滤波？

[2] http://www.bzarg.com/p/how-a-kalman-filter-works-in-pictures/#mjx-eqn-gaussequiv

[3] An Introduction to the Kalman Filter.Greg Welch and Gary Bishop.2006

[4] Understanding the Basis of the Kalman Filter Via a Simple and Intuitive Derivation. Ramsey Faragher.2012

---

本专栏是笔者工作经验和学习心得的原创，如有错误，欢迎指正~

如需转载及使用，烦请私信沟通