可见光热红外图像融合算法设计
本设计方式中对于多源图像融合算法采用以下三个步骤进行：
- 多源图像目标特征提取；
- 多源图像配准；
- 多源图像融合。
1．多源图像目标特征提取
多源图像的目标特征提取中，优先对目标图像进行预处理，对于可见光图像进行3D降噪与宽动态显示，提高信噪比。对热红外图像进行DDE增强。
红外图像有大动态范围的特点，尤其是在采用高精度数字采集电路对制冷探测器信号进行探测后，很难直观的进行成像。如果只是简单的对输出数据(14 位)进行简单的压缩处理，会严重损坏图像细节部分。传统的方法是对图像做直方图处理，包括直方图均衡、直方图投影和平台直方图处理。然而直方图容易造成过度增强、均匀区域噪声放大和漂白等不良效果。因此本设计采取一种新的图像增强算法，算法流程如下。
图. 算法流程
算法处理过程主要分为 4 个步骤：
（a）采用分滤波器对图像进行分层处理。
利用引导滤波器对图像进行滤波处理，得到图像的背景层（BaseLayer）。
（b）对背景层进行直方图均衡处理，可选用高斯滤波做预处理。
（c）对细节层进行自增益增强，细节层图像有原始图像和背景层做差得到。
(d)图像按权值重建
运用上述算法对红外图像进行增强，对细节部分增强有很好的效果。
图 增强对照图片，左侧为增强前图像，右侧为增强后图像
预处理完成后对各个图像中进行特征的提取，特征提取算子采用SURF。SURF（加速稳健特征）算法，是加速版的 SIFT。在 SIFT中在构建尺度空间时使用 DoG对LoG进行近似。SURF使用盒子滤波器（box_filter）对LoG进行近似。下图显示了这种近似。
在进行卷积计算时可以利用积分图像（积分图像的一大特点是：计算图像中某个窗口内所有像素和时，计算量的大小与窗口大小无关），是盒子滤波器的一大优点。而且这种计算可以在不同尺度空间同时进行。同样 SURF 算法计算关键点的尺度和位置是也是依赖与 Hessian 矩阵行列式的。
为了保证特征矢量具有选装不变形，需要对于每一个特征点分配一个主要方向。需要以特征点为中心，以 6s（s 为特征点的尺度）为半径的圆形区域内，对图像进行 Harr 小波相应运算。这样做实际就是对图像进行梯度运算，但是利用积分图像，可以提高计算图像梯度的效率，为了求取主方向值，需要设计一个以方向为中心，张角为 60 度的扇形滑动窗口，以步长为 0.2 弧度左右旋转这个滑动窗口，并对窗口内的图像 Haar 小波的响应值进行累加。主方向为最大的 Haar 响应累加值对应的方向。在本应用中不需要旋转不变性，所以不需要确定它们的方向，如果不计算方向的话，又可以使算法提速成为无需方向不变形从而得到加速的 U-SURF，它具有更快的速度，同时保持了对 +/-15 度旋转的稳定性。
(2) 多源图像配准
由于图像来源的不一致，其信噪比、分辨率均有较大差异。因此对于配准来说提出来了较大的挑战。考虑到以上的因素，提出了基于全局相关性的centre-invariant尺度配准方法。Cross相关性来表述图像特征的近似程度。其公式如下：
其中CC代表两幅图像中的cross相关性，R,S代表两幅图像的特征表述图。
代表两幅图像的差异，根据得出的值进行从大到小的排序后得出图像间的配准点。
对于光学物理特征的配准中基于光学镜头焦距反馈与图像实际放大倍数的计算转换。镜头光学焦距与放大倍数是非线性矩阵，采用视场角计算公式对应到放大倍数的计算中，公式如下：
水平视场角=2arctan（靶面宽/（2*焦距））
对应获取的焦距（反馈数值）与实际物体放大倍数（横轴）曲线如下图所示。
根据获取到的焦距，实际为电阻值，换算为放大倍数，对尺度先做一次调整，再根据上述提出的配准方法进行二次配准，以提高精度。
（3）多源图像融合
多源图像融合过程是多源图像中的特征信息提取到同一幅图像中的方法，多源图像中不同的光照、大气环境等变化下有不同的特征表现，因此为了适应更多的复杂环境变化进行信息的融合以表现出更多的信息。多源图像经过配准后图像的尺度已经得到的匹配，思路上需要对图像进行背景图与细节图的分离。背景往往被认为是细节少的，代表光照、色彩（仅可见光）信息的部分。输入的图像矩阵为D∈RH×W，分离为特征矩阵A与稀疏矩阵E：
稀疏矩阵E可以描述为凸优化问题：
输入的两个多源图像可以描述为{DA,DB}，DA,DB∈RH×W，分别得到稀疏矩阵EA,EB，对应的得到5×5区域下的方差矩阵VA,VB，以此作为融合的参考。
此部分中WAB（i,j），我们称为决策图，在做图像融合的时候作为参考标准，得到融合后的图像FAB。相比较多种融合方法，提出的方法相比其他方法有更高的性能，如下。
| LP |
WT |
NSCT |
Ours |
|
| MSE |
2.19 |
2.29 |
1.37 |
0.16 |
| SNR |
7.35 |
7.17 |
8.34 |
12.84 |
| PSNR |
20.68 |
20.49 |
22.72 |
32.05 |
| Q |
0.938 |
0.928 |
0.959 |
0.994 |
另一方面，相较于其他方法在噪声抑制能力上也表现出了更优的，有助于在夜晚环境、热红外图像的融合场景中。
| 原始图1 |
原始图2 |
LP |
WT |
Ours |
||
| 5×5 |
8.76 |
12.45 |
26.30 |
22.24 |
17.50 |
|
| 10×10 |
11.52 |
14.93 |
26.24 |
26.68 |
17.10 |
|
图 图像融合效果
图 不同的融合后渲染效果