红外与可见光图像融合

　红外/可见光图像配准融合
　　根据文献【1】，对于平行光轴的红外可见光双目配置进行图像配准，主要的限制是图像配准只是对特定的目标距离（Dtarget）有效。配准误差 x（以像素单位）的数学表达式为：

                                                       
　　其中f为焦距，lpix为像素大小，dc为基线长度。Doptimal是目标距离，即图像对齐误差为0。如果光轴平行，即Doptimal=无穷远，只有目标物体在相对相机很远的位置将会精确对齐，对于距离较近（Dtarget<无穷远）将会出现配准误差。
图像融合流程：
图像融合框架如下图：
                                                               
    
　　其中标定方法采用的是OpenCV中的标定方法，只是标定板有所不同。需要注意的是图像尺度因子及红外相对可见光图像的偏移。
（1）图像尺度因子
　　由于红外和可见光的焦距不一样，导致空间物体在两种图像上成像大小不一样，同时，使用的红外/可见光硬件系统光心在Y方向上存在偏差，即使根据焦距大小对图像进行缩放也并不能使得同一物体在不同图像上的成像大小相同。

                                                     　　 

　　本次采用的方法是计算标定板两两圆心之间的在红外和可见光图像间的像素差，得到图像的缩放比例，将空间物体在两种图像上的尺寸统一。

                                        
　　其中ThermalPoint和VisiblePoint为圆心n红外和可见光图像上的x或者y像素坐标值。根据求得的缩放因子，即可将空间物体在红外和可见光图像的尺寸统一，测试结果将在融合部分给出。
                                                             

（2）红外相对可见光图像的偏移
　　本次红外和可见光的原始大小分别为：640*512,1920*1080，将红外和可见光图像缩放到统一大小之后，将小尺寸的红外图像移动到可见光图像上需要知道偏移距离（x，y）。采用的方法为：根据标定板中圆形的坐标位置在红外和可见光图像的像素坐标位置，计算对应点的像素差，则可将红外与可见光像素对齐，公式如下。           

                                                        
                                                     
　　X和Y分别为同一个圆心分别在红外和可见光图像中的像素坐标值。但是由于缺少深度信息，上述求出的偏移数据只能将空间距离与标定板距离接近的物体对齐，即假设标定板是在1.5m处求出的偏移距离，则使用该参数对于处于同样距离的空间物体，对齐误差为0，而对于大于或小于1.5m距离的物体，存在偏差，根据参考文献，当最佳对齐（对齐误差为0）位置为50m时，位于其他位置的物体的对齐误差如下表所示：

                               
　　从表中可以看出，当在50m处的对齐误差为0时，对于物体在0~20m范围内，误差从4pixel到小于1piexl。而对于20m到无穷远处的物体，对齐误差始终在1piexl以内。
（3）对齐精度分析
硬件平台参数：

                         

　　对于该硬件平台，根据公式（1），当Doptimal=50m，对距离相机25m处的物体在图像上的对齐误差：

                                
　　即如果应用场景的可接受对齐误差为±1piexl，对于该设备的有效目标距离为25m到无限远。匹配误差的数学表达式（公式1）表明，除了目标距离和最佳匹配距离，匹配误差还与双目的基线（dc），像素大小（lpix）和焦距（f）有关。上述表明，对于相同的目标距离，将相机配置为大的视场角（短焦距）对齐误差将会变小。
（4）测试结果
　　由于对于远距离下利用标定板求图像的偏移距离存在难度，为了简化测试，本次测试采集了一组人在相对相机不同距离下的一组图片，对其进行图像对齐，下表为测试结果：
                     
　　测试数据中，人与相机的距离从6m~48m之间，每6m采集一组图像，之后通过手动的方法将红外和可见光图像进行对齐，在通过反复调整偏移参数后，获取了在上述偏移距离参数。从中可以看出，当物体距离大于12m之后，x方向的偏移基本保持不变，而y方向上，偏移参数的变化区间为[325,322](篇幅所限，给出少量测试结果)。

实验结果：
                        
　　　　　　　　　　　　　　　　　　　　　         实验结果（1）

                        

　　　　　　　　　　　　　　　　　　　　　　 实验结果（2）

                        

　　　　　　　　　　　　　　　　　　　 实验结果（3）

参考文献和博客：

【1】St-Laurent L, Prévost D, Maldague X. Fast and accurate calibration-based thermal/colour sensors registration[J]. Quantitative Infrared Thermography QIRT, 2010.

【2】 https://www.cnblogs.com/lwc3258/p/6444188.html