【多传感器融合理论】04多传感器信息融合理论(下)

目录

信息融合的体系框架

集中式

 分布式

 混合式

信息融合的级别分类

前融合

后融合

---

信息融合的体系框架

在多传感器融合中，按照对原始数据 处理方法的不同，多传感器融合系统的体 系结构可以分为三种：集中式，分布式和 混合式(混合式又分为有反馈结构和无反 馈结构)

集中式

集中式，就是将各传感器获得的原始数据直接送到中央处理器进行融合处理，可以实现实时融合。

从上图中可以看出，各传感器没有自己的处理器，只有将数据都传到中央处理器中，然后实现实时融合。 集中式融合结构结构简单，数据处理精度较高，算法相对灵活，融合速度快；但也存在一定的弊端，如各 传感器之间相互独立，数据直接流向融合中心，缺乏必要的联系；融合中心的计算和通信负载过重，系统容 错性差，可靠性较低。

 分布式

分布式融合结构就是先对各个独立传感器所获得的原始数据进行局部处理，然后将结果送入到中央处理器中 进行融合处理，最终获得目标结果。 

如上图，每个传感器都有自己的处理器，各自处理完各自收集的数据后，将目标结果送入到中央处理器中。这种分布式融合的优点
在于：

a. 每个传感器都具有估计全局信息的能力，任何一种传感器失效都不会导致系统崩溃，系统可靠性和容错性高；

b. 对通信带宽要求低，计算速度快，可靠性和延续性好；

但也有明显的缺点：

a）传感器模块需要具备应用处理器，这样的话自身的体积将更大，功耗也就更高；

b）中央处理器只能获取各个传感器经过处理后的对象数据，而无法访问原始数据；

因此，想要“放大”感兴趣的区域将很难实现； 

 混合式

混合式架构，是集中式和分布式的混合应用，即部分传感器采用集中式融合架构，其余传感器采用分布式 融合架构。

如上图，部分传感器带有处理器(如毫米波一直都输出目标），剩余传感器不带有处理器。带有处理的传感 器输出目标数据到中央处理器中，而不带处理器的传感器将原始数据传输到中央处理器中。混合式融合架构有 其自有的特点：

a) 兼顾了集中式融合和分布式的优点，稳定性强，且具有较强的使用能力；

b) 对通信带宽和计算能力要求较高；

信息融合的级别分类

依据传感器信息在整个融合流程中的位置划分（也可以理解为传感器信息在处理过程中的抽象程 度），即前融合（包括数据级融合（或者像元级融合）与特征级融合）、后融合（目标级融合/决策级 融合）。

 判断一个融合系统是前融合还是后融合，主要看该系统中有几个感知算法。前融合只有一个感知算法（不管是数据层面的融合还是特层面的融合，都只有一个感知算法 ），而后融合系统中，有几个传感器，就有几个感知算法。

前融合

所谓前融合，就是在空间、时间同步的前提下 ，将传感器数据融合在一起，然后进行处理，得到一个具有多维综合属性的结果层目标。比如将 摄像头、激光雷达、毫米比雷达数据进行融合， 就可以得到一个既有颜色信息、形状信息、又有运动信息的目标（即融合了图像RGB、Lidar三维 信息、毫米波距离速度信息）。

前融合根据传感器数据信息的处理程度，又可以分为像元级融合和特征级融合。 

前融合--像元级融合 

像元级融合就是将多个传感器对共视区内同一目标探测的原始数据（raw data）直接进行融合，然后再从融合数 据中提取特征向量进行判断识别。如相机和激光雷达的融合，将激光雷达的点云数据（x,y,z)通过标定参数投影到图 像上，实现图像和深度的融合，即RGBD信息，从而帮助感知系统进行基于图像的分割或者深度学习模型的训练。

这种将原始数据直接融合的方式，可以尽可能多的保留传感器信息，具有很高的精度。但这种方法也有其局限性：

1) 由于传感器数据量大，所以处理时间较长，效率低下，实时性很难 保证；对融合系统的通信带宽要求较高；

2) 不同传感器的采样频率和内外参数各不相同，所以对传感器的时间 同步和空间同步精度要求极高；

3) 由于传感器信息存在不确定性或者不稳定性，所以需要融合系统具 有极强的鲁棒性。

 像元级融合主要有如下方法：代数法、IHS变换、小波变化、主城分析变换（PCT）、K-T变换，深度学习方法等

前融合--特征级融合 

特征级融合，就是先把每个传感器获得的原始数据进行特征提取，提取的特征信息应该为原始信息的充分表示 量或充分统计量，然后按特征信息对多源数据进行分类、聚类和综合，产生特征矢量，然后再采用一些基于特征融合 的方法融合这些特征矢量，最终数据基于融合特征的目标。这其中，选择合适的特征进行融合是比较关键的。 根据特征信息，又可以分为目标状态融合和目标属性融合。两者存在如下区别：目标状态融合关注于目标的跟 踪状态，在完成传感器数据在线标定后，才开始数据关联和状态估计；而目标属性融合关于点在于目标特征的处理， 即先完成特征关联，然后再对特征矢量进行模式识别，（这其中的目标属性包括目标边缘、方向、速度、形状等）。

后融合

也叫目标级融合，就是每个传感器各自独立处理生成的目标数据；比如激光雷达处理后得 到点云目标属性，摄像头处理后得到图像目标，然后经过坐标转换得到世界坐标系下的目标属性，毫 米波雷达直接获得目标的速度、距离信息；当所有传感器完成目标数据处理后（如目标检测、速度预 测），再使用一些传统方法来融合所有传感器的结果，得到最终的目标信息。这一类融合所有传感器 结果的方法一般是一些滤波算法，如前面提到的卡尔曼滤波等，也可以用基于优化的方法。 

 点个赞吧！

The end!