红外图像和可见光图像异源图像配准问题研究

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

图像配准方法有很多，可分为基于灰度的图像配准方法和基于特征的图像配准方法，其中基于特征的图像配准方法是目前图像配准算法中常用方法，如尺度不变特征变换（Scale Invariant Feature Transform, SIFT）图像配准算法。SIFT算法利用图像的尺度空间检测特征点，采用128维描述向量对特征点进行描述，并根据特征点的描述向量进行特征点匹配。该方法对于图像的平移、旋转、光照和尺度变换具有不变性，能够很好地适用于图像配准应用。
在采用基于特征的图像配准方法将红外和可见光图像进行配准时，由于红外相机利用场景的红外辐射进行成像，使红外图像存在局部或全局对比度反转问题，导致红外图像中特征点描述和可见光图像中特征点的描述存在较大差异，无法完成与可见光图像的特征点匹配。为了解决红外图像对比度反转导致的配准失败，本文采用描述子重组策略将红外图像的特征描述进行重组，实现红外和可见光图像的特征匹配，完成了图像配准。

一、配准的基本原理

红外和可见光图像相机在进行图像采集时，由于两者之间的分辨率不同、相机空间位置差异及相机光轴不平行等原因，使两幅图像之间存在几何变换（平移、旋转、缩放），图像配准技术可实现红外和可见光图像空间对齐。图像配准技术可以按照某种变换模型，将待配准图像对应到参考图像中，实现图像间的匹配。
图像配准过程中，存在两幅待配准图像分辨率差异大的问题，主要是由于不同图像传感器成像阵列规模的差异导致，有两种方法对具有分辨率差异的图像进行处理，一是放大分辨率较低的图像，使其与参考图像大小相近，二是对分辨率较高的图像进行降采样处理，使其与待配准图像大小相近。通常情况下，可见光图像的空间分辨率大于红外图像，若采用方案一对红外图像进行上采样，需要对红外图像进行插值等超分辨率处理，容易造成图像边缘模糊，尤其是图像分辨率差异较大的情况下。因此，如果要将两幅分辨率差异过大的图像进行配准时，通常将高分辨率图像下采样后进行图像配准。

1.1 常用的配准方法

常用的图像配准方法有基于灰度分布的图像配准方法和基于特征的图像配准方法。基于灰度分布的图像配准方法采用某种判别依据，如互信息、归一化积相关、Hadamard变换等，来判别参考图像和待配准图像中像素灰度值的相似度。通过调整图像间的变换参数，使图像间的相似度取得极大值，完成图像配准。基于特征的图像配准方法通过提取两幅图像的特征，采用特征描述子对其进行描述，最后根据描述子的相似程度对两幅图像的特征之间进行匹配。
基于图像灰度的配准方法常用于解决参考图像和待配准图像中仅有平移或旋转变换的情形，其关键在于图像灰度匹配，要求两幅图像的灰度具有全局相关性，但红外和可见光图像中对应区域中像素灰度关系复杂，如对比度反转，因而，基于灰度的图像配准方法不适用于红外和可见光图像配准。
基于特征的图像配准方法中特征主要包括点、线（边缘）、区域（面）等，其中由于基于区域（面）特征的提取耗时较高，使用范围受限，所以基于特征的图像配准方法常提取图像的点和线特征作为配准的依据。基于线特征的图像配准方法主要是依赖于边缘检测算子提取的边缘特征，如Canny算子、Sobel算子、Robert算子等，常用于图像中轮廓清晰、背景简单的图像配准。红外和可见光图像配准时，由于红外相机的分辨率较低，导致红外图像中的细节信息丢失严重。同时，本文配准图像为基于城市复杂道路交通环境的车载成像系统采集图像，图像背景复杂，障碍物轮廓信息不明显，基于线特征的边缘检测很难实现红外和可见光图像的配准。
基于点特征的图像配准方法是基于特征的图像配准方法中最常用的方法，通过提取图像的角点，如FAST（Features from Accelerated Segment Test）角点检测，或是根据特征提取的极值点，也称为特征点，如SIFT算法，作为配准依据。该类特征通常具有尺度不变性和旋转不变性，对图像噪声的干扰有一定的抑制作用，适用于红外和可见光图像的配准。

1.2 配准流程

在红外和可见光图像配准过程中，红外图像由于其传感器制造工艺等原因，存在清晰度较差、噪声明显等问题，若直接对相机采集的图像进行特征提取可能会出现特征点数量较少或特征点集中于对比度高的区域，因此，在图像配准前，采用图像预处理算法对图像进行处理，提高夜间可见光图像对比度，降低红外和可见光图像的噪声。

1.3 图像预处理

1.3.1 增强

（1）伽马变化
（2）直方图均衡化
（3）频域变化

I = imread('火影1.jpg');
J = histeq(I);

figure;
subplot(221);imshow(I);
subplot(222);imshow(J);
subplot(223);imhist(I);
subplot(224);imhist(J);

参考博客：图像增强算法
（后期继续补充相关的增强算法代码）

1.3.2 去噪

（1）双边滤波
（2）引导滤波
（3）非局部均值滤波
（4）曲率滤波
（5）滑动窗口滤波
（6）。。。。
（后期继续补充相关的滤波算法代码）

二、图像配准算法

SIFT算法采用128维向量对提取的特征点进行描述，导致该算法的计算量大，效率低。为了提高算法效率，本文在保证能够有效实现特征点匹配的前提下，采用奇异值分解（Singular value decomposition, SVD）的数据降维算法降低特征向量的维数，减少特征匹配的计算量。此外，在红外和可见光图像配准过程中，由于红外图像存在对比度反转问题，严重影响图像配准结果。为了解决该问题，本文采用描述子重组策略重构红外图像特征点的描述向量，使其能够与可见光图像的特征点匹配。

1.SIFT算法

SIFT算法通过构建高斯差分尺度空间提取图像特征点，计算特征点周围其它像素点的梯度幅值和方向，并对其方向进行直方图统计，将直方图峰值方向作为主方向，把坐标系的x轴旋转至主方向上，保证特征点的旋转不变性，采用16个邻域区域内的像素在八个方向上的梯度方向，共128维向量对特征点进行描述。最后，采用欧式距离对特征点匹配。
SIFT图像配准算法分为三部分：特征点检测、特征点描述以及特征向量匹配，其过程主要包括：高斯金字塔建立、极值点检测、去除边缘效应、特征点主方向计算、特征描述子计算以及特征点匹配。
利用输入图像构建高斯金字塔的主要过程为，首先通过图像下采样操作，获取多组不同分辨率的图像；其次为了使每一层图像具有多个尺度特征，对每一层图像采用不同参数的高斯滤波核进行高斯模糊；最后将这些图像构成一个由下至上构建塔状结构。
高斯差分金字塔（Difference of Gaussian, DoG）利用高斯金字塔的相邻尺度图像相减获取。
将DoG尺度空间中的像素点与其周围8个相邻点，及其所在尺度的相邻尺度图像中18个点（如图2.11）进行比较，若该点均大于或均小于其它点，则将其标记为特征点。
。。。。。。。。。。。。。
后面太多了，自己查一下吧

1.1 描述子重组

异源图像传感器所采集到的图像在视觉方面存在较大差异，这种差异性体现在红外图像中为对比度反转现象，如图2.16中矩形框标注，可见光图像中标注的红色和绿色矩形框区域和红外图像标椎的红色和绿色矩形框为同一物体，但其在图像上的对比度完全相反。在红外和可见光图像的配准过程中，红外图像对比度反转会导致红外图像特征点描述向量的主方向和可见光图像相反，使同一个位置上应该匹配特征点无法匹配，进而导致图像配准失败。

描述子重组策略（Descriptor-Rearranging，DR）。DR策略的思想：通过对红外图像特征提取后的特征描述子进行反转，获取对比度反转描述子，而不需要对红外图像对比度反转后的图像重新进行特征提取和特征描述，减少了一次图像特征点提取，提高了图像配准速度。在红外和可见光图像特征点匹配时，同时利用反转和未反转的红外图像特征描述子与可见光图像特征描述子进行匹配，实现红外和可见光图像的配准，


。。。。。。。

总结

本文阐述的流程可以有效实现异源图像配准。

代码稍后上传到CSDN资源，后面持续更新。。。