相机与毫米波雷达数据融合
毫米波雷达介绍：
毫米波雷达是工作在毫米波波段（millimeter wave），工作频率在30～100GHz，波长在1～10mm之间的电磁波，通过向障碍物发射电磁波并接收回波来精确探测目标的方向和距离。
工作原理：
当目标向雷达天线靠近时，反射信号频率将高于发射机频率；反之，当目标远离天线而去时，反射信号频率将低于发射机率。由多普勒效应所形成的频率变化叫做多普勒频移，它与相对速度V成正比，与振动的频率成反比。如此，通过检测这个频率差，可以测得目标相对于雷达的移动速度，也就是目标与雷达的相对速度。根据发射脉冲和接收的时间差，可以测出目标的距离。
优点：
抗杂波干扰能力强，有一定的绕射能力，穿透能力越强，对烟雾灰尘具有更好的穿透性、受光照和天气因素影响较小，所以具有全天候的工作能力。
为什么要做相机与毫米波雷达融合
单一的视觉相机传感器检测识别精度不够高，稳定性也比较差，检测纵向距离范围也比较近，相机容易受到光线、天气等因素的影响，尤其在晚上，下雨天。毫米波雷达受光照和天气的因素影响比较小，稳定性比较高，并且测距精度也比较高，距离也比较远，但是目前毫米波雷达分辨比较低，对金属比较敏感，进而识别性能比较差，并且不能够识别目标的特征信息，所以单一的传感器是不能够解决所有问题的，毫米波雷达与相机的融合也必然是一种趋势。激光雷达虽然能探测到3D信息，准确率更高，但是容易受到下雨天，雾霾天气环境的约束，成本非常高，还容易损坏，平均寿命也就2～3年，所以车厂跟容易青睐毫米波雷达。
主要有原始数据级融合， 特征级别融合， 目标级融合三种方式
(1) 原始数据积融合，数要是雷达点云与图像像素的匹配
雷达的点云数据坐标目标投影到图像像素上 ，与图像像素联合标定匹配。
缺点： 雷达分辨率较低，点云数量极少，且噪声较大，很难与图像匹配。
(2) 特征级融合的特点，主要是雷达辅助图像。
基本的思路是将雷达的点目标投影到图像上，围绕该点我们生成一个矩阵的感兴趣区域，然后我们只对该区域内进行搜索，搜索到以后跟雷达点目标进行匹配。它的优点是可以迅速地排除大量不会有车辆的区域，极大地提高识别速度。而且呢，可以迅速排除掉雷达探测到的非车辆目标，增强结果的可靠性。
缺点： 首先，这个方法实现起来有难度。理想情况下雷达点出现在车辆中间。首先因为雷达提供的目标横向距离不准确，再加上摄像头标定的误差，导致雷达的投影点对车的偏离可能比较严重。我们只能把感兴趣区域设置的比较大。感兴趣区域过大后导致里面含有不止一辆车，这个时候目标就会被重复探测，这会造成目标匹配上的混乱。交通拥挤的时候尤其容易出来这种情况。
(3) 目标级融合 ，主要是图像检测的障碍物结果与雷达探测的结果，进行有效融合。
缺点： 单目相机识别的纵向距离不准确，在障碍物比较多的情况下，很难匹配准确。还有可能雷达识别到了，单目相机却没有识别到。
相机与毫米波雷达融合关键点
空间上同步（标定解决），时间上同步（时间戳解决）
雷达与相机联合标定
建立精确的毫米波雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标转换关系，是实现毫米波和视觉融合的关键。毫米波雷达与视觉传感器在空间的融合就是将不同传感器坐标系的测量值转换到同一个坐标系中。
传感器之间的标定问题：将毫米波检测的目标转换到图像上。
分为三个步骤：
a. 毫米波坐标系下的坐标转换到以相机为中心的世界坐标系中
b. 将世界坐标系的坐标转换到相机坐标系
c. 将相机坐标系的坐标转换到图像坐标系
a .毫米波坐标的坐标转换到以相机为中心的世界坐标系中
毫米波雷达检测扫射平面为二维平面，可以得到目标的x,y坐标信息，没有目标的z坐标信息，以雷达平面建立坐标系（右图），可以将毫米波坐标系Om到世界坐标系Ow的转换看做二维X-Y坐标系的转换，Ow和Ow之间的关系不外乎平移和旋转,如下公式
雷达坐标系转化为以相机位中心的世界坐标系
图像平面坐标系转化为像素坐标系
相机坐标系转化为图像坐标系
世界坐标系转化为相机坐标系
世界坐标系转化为像素坐标系
将世界坐标系转化为图像像素坐标系
pitch角度 α ， 航向角度β ，相机高度h ，垂直方向焦距fu， 水平方向焦距fv
计算公式：
毫米波雷达与相机时间同步
传感器需要在时间同步，采集雷达与相机获取数据的频率，以频率最低的传感器为时间基准为主（Radar传感器采样时间慢，以Radar为准）。
毫米波雷达与图像数据信息关联
毫米波和图像两者传感器数据相互关联配对，实体A1 ，A2 ， 观测量 Z1，Z2，Z3。
数据关联步骤：
建立关联门，确定关联门限：矩形关联门，椭圆关联门。
门限过滤：设置边界条件，将测量Z1过滤掉。
确定相似性度量方法，建立目标代价函数：几何距离。
建立关联矩阵。
确定关联判定准则：代价值最小。 形成关联对。
Z2 —>A1 Z3 —>A2