基于配准的图像超分重建

基于配准的图像超分辨率重建

1 基本原理
在图像重建过程中，要想从多幅低分辨率图像获取一幅高分辨率图像，则必须能够获取对于同一场景存在亚像素位移的多幅低分辨率图像。这样的多幅低分辨率图像才会包含不同的场景信息，可能重建出一幅高分辨率图像。我们可以通过使用同一照相机对同一场景进行多次重复拍摄来获取多幅低分辨率图像，也可以通过不同的照相机拍摄同一场景来获取多幅低分辨率图像。如果通过图像配准和信息融合技术获得了已知场景的亚像素位移信息，则有可能重建出一幅高分辨率图像。
基于配准的超分算法基本流程如图1。

图1. 基于配准的图像超分辨率算法流程图
在航空成像环境下[1]，当飞机平稳飞行拍摄静态目标或者只对刚性动态目标做运动估计时，可以认为相邻图像间的运动模式为全局运动，它包括水平竖直平移(Translation)、角度旋转(Rotation)、尺度放缩(Scale)等刚性变换，一般可简单用4 参数仿射变换模型表示。如公式(1)所示，假设参考图像为f0(x,y)，待配准图像为fk(x’,y’)，图像间的坐标变换可以用矩阵方程描述。

其中，Δx、Δy分别表示水平平移和竖直平移参数， 表示旋转参数，A表示放缩参数。对于全局形变的图像配准来说，其任务就是快速准确地找到这样一种参数，建立参考图像与待配准图像间的运动模型。
2 国内外研究现状
李新芳[2]提出基于先验信息的航空图像超分辨率重构方法。首先采用基于互信息的图像配准方法完成图像配准，通过最大信息熵复原方法对配准后图像进行去模糊处理；其次利用小波变换方法将图像序列中的冗余信息以及互补信息融合至一帧图像中，最后通过O-MOMS插值算法对融合后的单帧图像进行插值放大，获取高分辨率航空图像。
辛蕾等[3]提出一种针对遥感图像的超分辨率重构技术，利用快速弹性图像配准方法，构造遥感图像在多重变换域下的稀疏表达，并把其作为先验模型引入到最大后验概率重构方法中，形成以L1范数最小化为核心的超分重构代价函数。李家德等[4]针对超分重构在工程应用中会由于实际图像存在局部运动而不易直接进行运动估计的问题，提出了一种采用非局部均值的超分辨率重构算法。针对工程实际情况，对算法进行简化和优化。该算法不需要显式运动估计，重构后图像更清晰、细节更加丰富；同时在时间开销上比改进前算法提速30%左右。田浩南[5]对文献4进行GPU加速，使算法耗时大大降低。
基于特征点匹配的算法有SIFT算法、SURF算法、ORB算法等，这几种算法都只能达到像素级配准。为了实现亚像素配准，何林阳[1]提出了一种改进BRISK特征的快速图像配准算法。BRISK 算法主要包含三步：特征点检测、特征描述、特征匹配。首先，构建尺度空间金字塔，并通过AGAST（Adaptive and Generic Accelerated SegmentTest）特征点检测算子提取连续尺度空间中亚像素级精度的稳定极值点。然后，利用局部图像邻域内随机采样点对的灰度大小关系来建立局部图像的二值特征描述子。最后，采用汉明距离和进行特征匹配。AGAST特征点检测算法是对著名的FAST特征点检测算法的改进。图像的显著特性在平面上是连续的，在尺度空间也是连续的。因此，可以通过构建尺度空间金字塔，采用AGAST算法检测特征点，对连续尺度空间里的测度响应函数值进行二次线性拟合，并在尺度空间进行非极大值抑制，剔除非稳定极值点。
针对BRISK算法的缺陷，作者提出两点改进：基于图像显著性的自适应阈值选择方法和基于FLANN结合RANSAC方法的快速二值特征匹配算法。使用改进的BRISK算法对图像进行配准后，采用正则化超分辨率重建算法对图像进行重建。
陈建等人[6]提出了改进的基于BM3D滤波的POCS算法和一种新的超分辨率复原评价方法，并分别通过基于红外动态场景仿真系统实验和基于红外图像采集及处理系统实验，验证了改进算法和评价方法的有效性。

3参考文献：
[1]何林阳等. 航空图像超分辨率重建关键技术研究[D].长春：长春光电技术研究所, 26-27.
[2]李新芳. 航空图像超分辨率重构技术[J].现代电子技术,2017,40(15):17-20.
[3]辛蕾等. 遥感图像超分辨率重构技术[J].
[4]李家德等.采用非局部均值的超分辨率重构[J].光学精密工程, 2013,21(6):1576-1580.
[5]田浩南等. 超分辨率重构在航空光电成像系统中的应用[J].国外电子测量技术, 2015,34(2):73-78.
[6] JianChen. A POCS super resolution restoration algorithm based on BM3D[J]. IEEE transactions on pattern analysis and machine intelligence, Vol.38, No2, 2016-02: 295-307.