毫米波雷达和视觉融合简记

写在前面：
1、按照信息抽象的五个层次，融合可分成五个级别，即：检测级融合、位置级融合、属性（目标识别级融合）、态势评估和威胁评估。
2、因本人还没学会在博客中插入流程图、图表等，因此本文均采用手画。

毫米波雷达和摄像头概述

毫米波雷达和视觉传感器融合

时间融合

空间融合

一、毫米波雷达和摄像头概述

首先，先简要介绍一下毫米波雷达和摄像头的测距原理：

毫米波是指工作频率在 30～100GHz，波长在1～10mm之间的电磁波。开放给民用的波段为24GHZ（厘米波）、60GHZ、77GHZ。而77GHZ是规划给汽车防撞雷达，检测距离大于160m，可全天候工作。
毫米波雷达主要是通过对目标物发送电磁波并接收回波来获得目标物体的距离、速度和角度。可以用来进行测距、测速、测角度、目标有无的检测。

而视觉测距原理简单说来就是先对视野里的目标进行检测（识别），然后根据摄像头的参数（测距前需先对摄像头进行内外参数标定，具体标定原理可参考张正友老师的张世标定法，Tsai标定法，本质上是一样的，即映射。），将检测到的目标的图像坐标转换成世界坐标，由此来估算目标的世界距离。

如图1所示，为视觉及毫米波雷达传感器的优缺点简要对比：

基于视觉及毫米波传感器各自的优缺点，取长补短，将两种传感器进行融合是当前各人工智能领域（例如无人驾驶）的主流应用。

二、毫米波雷达和视觉传感器融合

对于视觉和毫米波雷达的融合，技术上的主要难点在于摄像头和雷达采样目标点的匹配、融合、多目标的关联等多方面的因素。首要考虑的就是两种传感器之间的时间、空间同步问题。分别为时间融合和空间融合。

1. 时间融合
   利用毫米波雷达和视觉传感器进行数据采集 ，需要在时间上进行同步，即实现时间上的融合。两种传感器的采样频率不同，在此，我们以毫米波雷达采样频率为25hz，摄像头采样频率为30fps为例，即，雷达数据采样间隔时间为25ms，每秒40帧；摄像头采样间隔约为33.33ms，每秒30帧。为了保证数据的可靠性，以采样周期长的传感器即摄像头的采样速率为基准，向下兼容的方式进行时间数据融合，以保证毫米波雷达和摄像头数据时间上的同步。如图2所示 ，为毫米波雷达和视觉传感器时间融合示意图。
   

2. 空间融合
   
   毫米波与视觉传感器的空间融合，简单地说，就是将两种传感器基于各自坐标系下的测量值转换到同一个坐标系上去，即，坐标系的统一。因此建立世界坐标系、毫米波雷达坐标系、相机坐标系、图像坐标系以及像素坐标系之间的转换关系，是实现毫米波雷达和视觉传感器数据的空间融合的关键，示意图如图3所示。
   该同步可由传感器的联合标定实现。

坐标系之间的关系示意图如图4所示，坐标系的统一，无外乎RT矩阵的变换关系，在此不进行数学推导展开。