【图像超分辨率】Remote Sensing Image Super-resolution: Challenges and Approaches

遥感图像超分辨率的挑战和方法

1 摘 要

随着卫星图像处理的发展，遥感在现代社会中也越来越重要。然而，由于目前成像传感器的局限性和复杂的大气条件，空间分辨率、光谱分辨率、辐射分辨率和时间分辨率有限，我们在遥感应用中面临着巨大的挑战。因此，超分辨率技术引起了人们的广泛关注，通过该技术可以提高低质量低分辨率的遥感图像。本文讨论了遥感图像超分辨率中的挑战，回顾了相关方法。更具体地说，我们回顾并讨论了不同类别的遥感技术，即基于学习的、基于插值的、基于频域的和基于概率的方法。此外，还对超分辨率的应用和未来的研究方向进行了讨论。

在遥感成像应用中，需要高质量的图像，而高分辨率(HR)图像通常是遥感图像分析和处理过程中所需要的。然而，由于遥感图像传感器的限制和其他因素，如光学系统畸变、大气干扰、运动、成像系统噪声等，RS图像总是失真。同时，获取的低分辨率RS图像在许多遥感应用中存在困难，如地图更新、道路提取和军事目标识别等。因此，从低分辨率(LR)图像构建HR图像是非常有用的。这样就可以提高LR图像的分辨率与补充信息，提高图像质量。SR技术可以突破图像采集设备的分辨率限制，在亚像素级实现LR图像序列的互补信息的图像重建。因此，SR技术可以在资源开发、环境监测、灾害研究、全球变化分析等方面提供帮助。

超分辨率(SR)技术是用单幅低分辨率(LR)图像或LR图像序列重建HR图像。LR图像序列的亚像素移动通常用于SR图像重建。它们可以从不同传感器的同一区域图像中同时获取。SR重建技术是由Harris[1]和Goodman[2]在20世纪60年代提出的，旨在利用单幅LR图像重建HR图像。1984年，为了提高Landsat TM图像的空间分辨率，Tsai和Huang[3]首次提出了多帧LR图像的重建思想。经过多年的发展，超分辨率重建技术已经趋于成熟，并在很多领域得到了应用。SR技术因其简单易行的定位模型(registration model)，可以实现对视频图像、静态图像的良好重建。但对于遥感影像，由于地形地貌复杂，定位难度较大。SPOT-5卫星系统中的超级模式是最成功的应用之一。它通过使用硬件方法和影像处理方法来克服注册的问题[4]。本文其余部分的组织结构如下：

1. 第一节，介绍SPOT-5卫星系统中的超模式。
2. 第二节，首先介绍了观测模型，并描述了遥感图像的退化过程，然后介绍了四类SR图像重建技术。
3. 第三节讨论了四类SR图像重建技术。
4. 第四节介绍了不同现状SR图像重建方法的实验结果。
5. 第五节是本文的结论。

2 遥感观测模型

图像在采集过程中会出现各种退化。降级过程可以通过四种操作[4]，[5]，[6]来建模。

• 翘曲（Warping）：平移、旋转和缩放。
• 模糊（Blurring）：低通滤波器。
• 下采样（Down-sampling）：按q1×q2的系数进行下采样。
• 噪声（Noise）：大概率的白高斯（white Gaussian）。

该模型可以用矩阵形式表示：

Yk=DkBkWkX+Nk，k=1，2，…，Z （1）

其中

• X为原始HR图像，大小为M1×M2，
• Z为LR图像的总数，
• Wk为翘曲矩阵，保留图像采集过程中的运动信息，
• Bk为模糊矩阵，代表光学系统问题引起的模糊因子，
• Dk为下采样算子，Nk通常表现为高斯噪声，
• Yk为第k张LR图像，大小为L1×L2，其中L1=M1/q1，L2=M2/q2。

HR图像和LR图像均采用词序向量形式表示，大小分别为M1M2×1和L1L2×1。
根据公式1，降级程序可以简化模型，使Ak=DkBk。则公式表示为

yk＝Akx＋nk，k＝1，2，…，z （2）

HR图像与LR图像相关的观测模型如图1所示。SR重建是一个可行的图像退化的逆过程。因此，解等于确定矩阵Ak。即

• （一) 运动估计得到Wk
• (二)模糊估计得到Bk
• (三)噪声估计，确定Nk

这三个矩阵都是稀疏的，应从LR图像中估计，因此SR重建是一个病态问题（ill-posed problem）[7]。

3 遥感中的SR模型

超分辨率重建方法是指从低分辨率（LR）图像序列中生成高分辨率（HR）图像的技术。如本文前面所述，遥感中使用的SR图像重建技术可分为四类。

• (i)基于学习的方法
• (ii)插值法
• (iii)基于频域的方法
• (iv)基于概率论的方法

3.1 基于学习的SR模型

基于学习的方法是目前SR重建的一个重要研究方向。它的目的是通过训练数据库中LR和HR图像之间的对应块（patch）来学习事先的映射知识。映射模型可以是一组学习到的插值核，也可以是LR图像块的查找表或LR图像块和HR图像块之间的映射系数。
稀疏表示法是基于学习的SR方法之一。它最早是由Yang等人在[8]中提出的，可以分为三个步骤。首先，从训练集中简单随机采样的训练补丁中学习一个超完全字典。然后，将每个测试补丁用具有稀疏系数的过完备字典表示。最后，用加权系数重建HR图像。

在[9]中，应用稀疏表示法重建遥感图像。过完全字典可以分为两部分，原始字典对和残差字典对。第一种是从单幅LR图像中获得初始HR遥感图像。第二种是基于学习的方法，从原始HR图像中重建有损信息。据考证，采用这种方法，可以有效提高分辨率。支持向量回归（SVR）是一种内核回归方法，具有良好的非线性映射能力。Zhang等人在[10]中利用支持向量回归(SVR)方法学习HR图像和LR图像之间的先验知识。将[10]中缺乏高频的插值图像过度采样到相同分辨率，采用双线插值法进行插值。在重建HR图像时，利用从SVR中学到的先验知识来估计高频成分。[10]的目的是将LR ETM+图像转换为单一的HR ASTER图像。[10]的实验结果表明，即使是少量的样本，SVR也能很好地学习模型。

3.2 基于内插的SR模型

与基于学习的方法相比，SR图像重建的插值法是一种比较直观的方法。它可以分为三个步骤。

1. 识别步骤：SR重建的基础。
2. 重建步骤。将LR图像插值到规则的HR网格中。插值方法可以是二次插值、投影到凸集上(POCS)、迭代反向传播(IBP)等。
3. 去模糊化步骤：去除模糊和噪声，提高重建图像的分辨率。

在这三个步骤中，步骤(ii)是插值SR的核心步骤。步骤(i)和(iii)是辅助步骤。Aguena等[11]采用POCS方法来做融合过程中的插值。POCS算法最早是由Stark和Oskoui[7]提出的，他们成功地将先验知识以凸集的形式结合到模型中。

[11]的目标是得到多光谱(CBERS-1的波段)和全色(Landsat-7的波段)图像的组合特征。该过程可分为两步：插值重建和综合。在这里，我们只介绍重建过程。POCS最重要的特点是可以很容易地将解的先验信息纳入到模型中，找到一个满足限制条件的点。凸约束集由所有的限制条件组成。通过迭代投影到凸集上，可以在交点中找到所需的点，并将其纳入SR重建图像中。

迭代反向传播(IBP)也是最流行的插值方法之一。在[12]中，通过成像模糊模拟LR图像与观察到的LR图像之间的差值进行反向传播，从而估算出SR图像。重建过程是通过迭代最小化误差能量来实现的。在原有方法的基础上，Li等人[13]对遥感图像应用了改进的IBP，并对每个传感器分别选择模糊核。此外，在反向传播过程中，对误差图像采用了不同的系数。通过对一组由一个ETM+通道生成的图像和一组ALOS图像序列进行实验，将得到SR重建结果。

3.3 频域SR模型

频域的SR模型通过傅里叶变换和反傅里叶变换（或其他变换，如小波变换）来解决重建问题。频域SR重建的主要思想是以较低的计算复杂度直观地增强高分辨率信息。它可以分为四个步骤。

1. (i)图像注册；
2. (ii)向频域变换；
3. (iii)重建；
4. (iv)回空间域变换。

为了提高图像在频域的分辨率，我们可以增加图像的高频成分。其中一个可行的方法是避免别名效应。Chen等[14]采用频谱去锯齿的方法重建HR图像。LR图像首先由原始HR遥感图像的子采样和傅里叶变换生成。为了得到转换参数，采用相位相关法。有了转换参数和光谱去锯齿法，就可以重建图像。最后，通过反傅里叶变换生成HR图像。与双线性插值法相比，去锯齿法的结果表现更好。基于小波插值的方法将小波变换和插值结合起来，最早由Nguyen和Milanfar[15][16]提出。

在[17]中，Tao等人首先用DWT方法对遥感图像进行分解。小波系数插值图像可以通过最近插值、双线插值或双立方插值生成。通过反离散小波变换得到SR图像。结果表明，小波-小波插值组合算法有效地保护了原HR图像的高频信息。傅里叶-小波正则化解卷(ForWarD)是另一种恢复HR图像的方法[18][19]。它利用傅里叶域和小波域的标量收缩来实现噪声正则化和重建。ForWarD是一种两步算法。第一步是基于傅里叶的Weiner滤波，这是为了建立一个锐利的图像。第二步是应用静止小波变换进行去噪。对NASA的几幅卫星图像进行了测试。结果表明，该算法可以应用于任何分辨率的图像，以实现高分辨率。

3.4 概率论SR模型

由于SR重构问题是一个不确定的问题，因此必须附加一些先验条件和限制，以将SR重构问题转化为一个确定的问题.，由此提出了一些基于概率论的方法。贝叶斯方法由于可以将先验概率密度函数与先验约束条件结合起来，因此在SR重建中得到了广泛的应用。其基本思想是同时考虑LR观测图像和未知HR图像的先验知识，用贝叶斯理论得到HR图像。最大似然(ML)方法是最流行的基于贝叶斯的方法之一，它是由Tom和Katsaggelos[20]首先提出的。解决的方法是找到HR图像的ML估计方法，关键点是求解概率密度函数（PDF）。

最大后验(MAP)方法是另一种基于贝叶斯的流行方法，该方法假设在LR图像序列存在的条件下，通过最大化其后验概率可以获取HR图像。Wang等[21]提出了一种基于迭代优化的MAP方法，在保留多光谱图像光谱信息的前提下重建SR图像。除了一组SPOT XS LR图像外，还需要全色图像。通过高通滤波器，可以提炼出高频信息，用于与插值的多光谱图像相结合。基于映射计算均值和方差后，将得到初级HR图像。然后提出基于MAP的迭代优化方法，以收到进一步提高分辨率和避免质量下降的效果。通过这种方法，重建后的HR图像的空间分辨率得到提升，且光谱信息损失小。

总变异(TV)是一种有效的基于正则化的SR方法，具有保留边缘的能力。然而，伪边缘也可以被保留并产生平滑区域。针对这一缺点，袁志明等[22]提出了一种基于遥感图像的区域空间自适应总变异(RSATV)模型，明显改善了伪边缘。首先，逐个像素提取空间信息，并采用中值滤波器对其进行增强。然后构建空间权重，并进行过滤。之后，采用K-means聚类进行分类。通过这两个过滤过程，分别对伪边缘进行抑制。最后，对于每个区域，聚类中心值代表正则化强度。所以，总变正则化由基于像素的转变为基于区域的。在遥感上测试，这种方法不仅可以保留边缘，而且对噪声也很健壮。tikhonov正则化也是一种SR重建方法，它以Tikhonov A N命名[23]。它是解决不确定问题的一种常用方法。通过加法，Tikhonov正则化在均方误差成本函数的基础上生成原图像的先验概率函数。与其他正则化方法相比，Tikhonov正则化可以同时保持边缘和平滑噪声。

4 实验结果

本文利用从ISPRS下载的多伦多市中心上空拍摄的数字航空图像做遥感SR重建实验。如图2所示，将尺寸为512×512的裁剪图像作为原始HR图像，生成LR图像。在图1所示观测模型的基础上，通过亚像素精度的移位和变焦系数的下采样，得到4幅LR图像（每幅尺寸为256×256）。我们采用四种方法来比较SR重建的效果。稀疏表示法(SRP)、POCS、小波插值法(WI)、Tikhonov正则化法(TR)。POCS和Tikhonov Regularization方法需要一个LR图像序列来利用互补信息。我们将四幅LR图像全部作为输入，但小波插值法和Tikhonov正则化法需要一连串的LR图像来利用互补信息。然而，小波插值法和稀疏表示法只需要一张LR图像。所以我们取第一幅LR图像作为输入。特别是对于稀疏表示法，我们采用论文的官方代码[8]。训练数据为100张数字航空图像。我们选择50000个补丁来训练另一个字典。

结果分别如图2所示。为了评价重建结果的质量，与原始HR图像进行比较，我们采用了三个质量评价因子。PSNR(Peak Signal to Noise Ratio)、MSE(Mean Squared Error)、SSIM(Structural Similarity)。我们还计算了每种方法的时间成本。所有的评价指数都在表I中列出。时间成本的获得其中CPU为Intel® Xeon® E5-2630 v2，双核处理器，主频2.60GHz，内存64G。根据表I中的结果，我们可以得出结论，WI方法在我们测试的RS图像上优于其他方法。而且，WI方法的速度比其他方法快。值得注意的是，SRP方法的训练过程需要较长的时间来获得补丁数据和用于训练的RS图像的字典。

5 结论

本文对遥感图像的超分辨率重建技术进行了全面综述。具体介绍了四种SR重建类别：基于学习的SR、基于插值的SR、基于频域的SR和基于概率理论的SR。我们还基于几种最新的方法进行了实验，提出了遥感图像的SR重建结果。由于SR重建技术可以克服成像系统固有的分辨率限制，可以有效提高航空图像或卫星图像的分辨率。因此，SR重建技术在遥感领域已被证明具有实用性和重要价值，在识别定位、图像融合、环境监测、灾害研究和全球变化分析等方面得到了广泛应用。

参考文献

[1] J. L. Harris, “Diffraction and Resolving Power,” Journal of the Optical Society of America (1917-1983), vol. 54, p. 931, Jul. 1964.
[2] J. W. Goodman et al., Introduction to Fourier optics. McGraw-hill New York, 1968, vol. 2.
[3] R. Tsai and T. S. Huang, “Multiframe image restoration and registration,” Advances in computer vision and Image Processing, vol. 1, no. 2, pp. 317–339, 1984.
[4] H. Zhang, Z. Yang, L. Zhang, and H. Shen, “Super-resolution reconstruction for multi-angle remote sensing images considering resolution differences,” Remote Sensing, vol. 6, no. 1, pp. 637–657, 2014.
[5] C. Papathanassiou and M. Petrou, “Super resolution: an overview,” DTIC Document, Tech. Rep., 2005.
[6] J. Yang and T. Huang, “Image super-resolution: Historical overview and future challenges,” Super-resolution imaging, pp. 20–34, 2010.
[7] P. Oskoui-Fard and H. Stark, “Tomographic image reconstruction using the theory of convex projections,” IEEE Transactions on Medical Imaging, vol. 7, no. 1, pp. 45–58, 1988.
[8] J. Yang, J. Wright, T. S. Huang, and Y. Ma, “Image super-resolution via sparse representation,” IEEE Transactions on Image Processing, vol. 19, no. 11, pp. 2861–2873, 2010.
[9] Y. Zhang, W. Wu, Y. Dai, X. Yang, B. Yan, and W. Lu, “Remote sensing images super-resolution based on sparse dictionaries and residual dictionaries,” in International Conference on Dependable, Autonomic and Secure Computing (DASC). IEEE, 2013, pp. 318–323.
[10] H. Zhang and B. Huang, “Scale conversion of multi sensor remote sensing image using single frame super resolution technology,” in International Conference on Geoinformatics. IEEE, 2011, pp. 1–5.
[11] M. L. Aguena and N. D. Mascarenhas, “Multispectral image data fusion using pocs and super-resolution,” Computer Vision and Image Understanding, vol. 102, no. 2, pp. 178–187, 2006.
[12] S. C. Park, M. K. Park, and M. G. Kang, “Super-resolution image reconstruction: a technical overview,” IEEE Signal Processing Magazine, vol. 20, no. 3, pp. 21–36, 2003.
[13] F. Li, D. Fraser, and X. Jia, “Improved ibp for super-resolving remote sensing images,” Geographic Information Sciences, vol. 12, no. 2, pp. 106–111, 2006.
[14] X. Chen, “The research on the althorithms of super-resolution remote sensing image reconstruction in spectral domain (in chinese),” Master’s thesis, China University of Geosciences (Beijing), 2008.
[15] N. Nguyen and P. Milanfar, “An efficient wavelet-based algorithm for image superresolution,” in International Conference on Image Processing, vol. 2. IEEE, 2000, pp. 351–354.
[16] ——, “A wavelet-based interpolation-restoration method for superresolution (wavelet superresolution),” Circuits, Systems and Signal Processing, vol. 19, no. 4, pp. 321–338, 2000.
[17] H. Tao, X. Tang, J. Liu, and J. Tian, “Superresolution remote sensing image processing algorithm based on wavelet transform and interpolation,” in Third International Asia-Pacific Environmental Remote Sensing Remote Sensing of the Atmosphere, Ocean, Environment, and Space. International Society for Optics and Photonics, 2003, pp. 259–263.
[18] R. Neelamani, H. Choi, and R. Baraniuk, “Forward: Fourier-wavelet regularized deconvolution for ill-conditioned systems,” IEEE Transactions on Signal Processing, vol. 52, no. 2, pp. 418–433, 2004.
[19] S. A. Devi and A. Vasuki, “Image super resolution using fourier-wavelet transform,” in International Conference on Machine Vision and Image Processing (MVIP). IEEE, 2012, pp. 109–112.
[20] B. C. Tom and A. K. Katsaggelos, “Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of lowresolution images,” in Proceedings of the IEEE International Conference on Image Processing, vol. 2. IEEE, 1995, pp. 539–542.
[21] S. Wang, L. Zhuo, and X. Li, “Spectral imagery super resolution by using of a high resolution panchromatic image,” in IEEE International Conference on Computer Science and Information Technology (ICCSIT), vol. 4. IEEE, 2010, pp. 220–224.
[22] Q. Yuan, L. Yan, J. Li, and L. Zhang, “Remote sensing image superresolution via regional spatially adaptive total variation model,” in IEEE International Geoscience and Remote Sensing Symposium (IGARSS). IEEE, 2014, pp. 3073–3076.
[23] A. N. Tikhonov, “Regularization of incorrectly posed problems,” in Soviet Math. Dokl, vol. 4, no. 6, 1963, pp. 1624–1627.