【图像超分辨率】Remote Sensing Image Super-resolution: Challenges and Approaches

Remote Sensing Image Super-resolution: Challenges and Approaches

  • 遥感图像超分辨率的挑战和方法
    • 1 摘 要
    • 2 遥感观测模型
    • 3 遥感中的SR模型
      • 3.1 基于学习的SR模型
      • 3.2 基于内插的SR模型
      • 3.3 频域SR模型
      • 3.4 概率论SR模型
    • 4 实验结果
    • 5 结论
    • 参考文献

遥感图像超分辨率的挑战和方法

1 摘 要

随着卫星图像处理的发展,遥感在现代社会中也越来越重要。然而,由于目前成像传感器的局限性和复杂的大气条件,空间分辨率、光谱分辨率、辐射分辨率和时间分辨率有限,我们在遥感应用中面临着巨大的挑战。因此,超分辨率技术引起了人们的广泛关注,通过该技术可以提高低质量低分辨率的遥感图像。本文讨论了遥感图像超分辨率中的挑战,回顾了相关方法。更具体地说,我们回顾并讨论了不同类别的遥感技术,即基于学习的、基于插值的、基于频域的和基于概率的方法。此外,还对超分辨率的应用和未来的研究方向进行了讨论。

在遥感成像应用中,需要高质量的图像,而高分辨率(HR)图像通常是遥感图像分析和处理过程中所需要的。然而,由于遥感图像传感器的限制和其他因素,如光学系统畸变、大气干扰、运动、成像系统噪声等,RS图像总是失真。同时,获取的低分辨率RS图像在许多遥感应用中存在困难,如地图更新、道路提取和军事目标识别等。因此,从低分辨率(LR)图像构建HR图像是非常有用的。这样就可以提高LR图像的分辨率与补充信息,提高图像质量。SR技术可以突破图像采集设备的分辨率限制,在亚像素级实现LR图像序列的互补信息的图像重建。因此,SR技术可以在资源开发、环境监测、灾害研究、全球变化分析等方面提供帮助。

超分辨率(SR)技术是用单幅低分辨率(LR)图像或LR图像序列重建HR图像。LR图像序列的亚像素移动通常用于SR图像重建。它们可以从不同传感器的同一区域图像中同时获取。SR重建技术是由Harris[1]和Goodman[2]在20世纪60年代提出的,旨在利用单幅LR图像重建HR图像。1984年,为了提高Landsat TM图像的空间分辨率,Tsai和Huang[3]首次提出了多帧LR图像的重建思想。经过多年的发展,超分辨率重建技术已经趋于成熟,并在很多领域得到了应用。SR技术因其简单易行的定位模型(registration model),可以实现对视频图像、静态图像的良好重建。但对于遥感影像,由于地形地貌复杂,定位难度较大。SPOT-5卫星系统中的超级模式是最成功的应用之一。它通过使用硬件方法和影像处理方法来克服注册的问题[4]。本文其余部分的组织结构如下:

  1. 第一节,介绍SPOT-5卫星系统中的超模式。
  2. 第二节,首先介绍了观测模型,并描述了遥感图像的退化过程,然后介绍了四类SR图像重建技术。
  3. 第三节讨论了四类SR图像重建技术。
  4. 第四节介绍了不同现状SR图像重建方法的实验结果。
  5. 第五节是本文的结论。

2 遥感观测模型

图像在采集过程中会出现各种退化。降级过程可以通过四种操作[4],[5],[6]来建模。

  • 翘曲(Warping):平移、旋转和缩放。
  • 模糊(Blurring):低通滤波器。
  • 下采样(Down-sampling):按q1×q2的系数进行下采样。
  • 噪声(Noise):大概率的白高斯(white Gaussian)。

该模型可以用矩阵形式表示:

Yk=DkBkWkX+Nk,k=1,2,…,Z (1)

其中

  • X为原始HR图像,大小为M1×M2,
  • Z为LR图像的总数,
  • Wk为翘曲矩阵,保留图像采集过程中的运动信息,
  • Bk为模糊矩阵,代表光学系统问题引起的模糊因子,
  • Dk为下采样算子,Nk通常表现为高斯噪声,
  • Yk为第k张LR图像,大小为L1×L2,其中L1=M1/q1,L2=M2/q2。

HR图像和LR图像均采用词序向量形式表示,大小分别为M1M2×1和L1L2×1。
根据公式1,降级程序可以简化模型,使Ak=DkBk。则公式表示为

yk=Akx+nk,k=1,2,…,z (2)

【图像超分辨率】Remote Sensing Image Super-resolution: Challenges and Approaches_第1张图片

HR图像与LR图像相关的观测模型如图1所示。SR重建是一个可行的图像退化的逆过程。因此,解等于确定矩阵Ak。即

  • (一) 运动估计得到Wk
  • (二)模糊估计得到Bk
  • (三)噪声估计,确定Nk

这三个矩阵都是稀疏的,应从LR图像中估计,因此SR重建是一个病态问题(ill-posed problem)[7]。

3 遥感中的SR模型

超分辨率重建方法是指从低分辨率(LR)图像序列中生成高分辨率(HR)图像的技术。如本文前面所述,遥感中使用的SR图像重建技术可分为四类。

  • (i)基于学习的方法
  • (ii)插值法
  • (iii)基于频域的方法
  • (iv)基于概率论的方法

3.1 基于学习的SR模型

基于学习的方法是目前SR重建的一个重要研究方向。它的目的是通过训练数据库中LR和HR图像之间的对应块(patch)来学习事先的映射知识。映射模型可以是一组学习到的插值核,也可以是LR图像块的查找表或LR图像块和HR图像块之间的映射系数。
稀疏表示法是基于学习的SR方法之一。它最早是由Yang等人在[8]中提出的,可以分为三个步骤。首先,从训练集中简单随机采样的训练补丁中学习一个超完全字典。然后,将每个测试补丁用具有稀疏系数的过完备字典表示。最后,用加权系数重建HR图像。

在[9]中,应用稀疏表示法重建遥感图像。过完全字典可以分为两部分,原始字典对和残差字典对。第一种是从单幅LR图像中获得初始HR遥感图像。第二种是基于学习的方法,从原始HR图像中重建有损信息。据考证,采用这种方法,可以有效提高分辨率。支持向量回归(SVR)是一种内核回归方法,具有良好的非线性映射能力。Zhang等人在[10]中利用支持向量回归(SVR)方法学习HR图像和LR图像之间的先验知识。将[10]中缺乏高频的插值图像过度采样到相同分辨率,采用双线插值法进行插值。在重建HR图像时,利用从SVR中学到的先验知识来估计高频成分。[10]的目的是将LR ETM+图像转换为单一的HR ASTER图像。[10]的实验结果表明,即使是少量的样本,SVR也能很好地学习模型。

3.2 基于内插的SR模型

与基于学习的方法相比,SR图像重建的插值法是一种比较直观的方法。它可以分为三个步骤。

  1. 识别步骤:SR重建的基础。
  2. 重建步骤。将LR图像插值到规则的HR网格中。插值方法可以是二次插值、投影到凸集上(POCS)、迭代反向传播(IBP)等。
  3. 去模糊化步骤:去除模糊和噪声,提高重建图像的分辨率。

在这三个步骤中,步骤(ii)是插值SR的核心步骤。步骤(i)和(iii)是辅助步骤。Aguena等[11]采用POCS方法来做融合过程中的插值。POCS算法最早是由Stark和Oskoui[7]提出的,他们成功地将先验知识以凸集的形式结合到模型中。

[11]的目标是得到多光谱(CBERS-1的波段)和全色(Landsat-7的波段)图像的组合特征。该过程可分为两步:插值重建和综合。在这里,我们只介绍重建过程。POCS最重要的特点是可以很容易地将解的先验信息纳入到模型中,找到一个满足限制条件的点。凸约束集由所有的限制条件组成。通过迭代投影到凸集上,可以在交点中找到所需的点,并将其纳入SR重建图像中。

迭代反向传播(IBP)也是最流行的插值方法之一。在[12]中,通过成像模糊模拟LR图像与观察到的LR图像之间的差值进行反向传播,从而估算出SR图像。重建过程是通过迭代最小化误差能量来实现的。在原有方法的基础上,Li等人[13]对遥感图像应用了改进的IBP,并对每个传感器分别选择模糊核。此外,在反向传播过程中,对误差图像采用了不同的系数。通过对一组由一个ETM+通道生成的图像和一组ALOS图像序列进行实验,将得到SR重建结果。

3.3 频域SR模型

频域的SR模型通过傅里叶变换和反傅里叶变换(或其他变换,如小波变换)来解决重建问题。频域SR重建的主要思想是以较低的计算复杂度直观地增强高分辨率信息。它可以分为四个步骤。

  1. (i)图像注册;
  2. (ii)向频域变换;
  3. (iii)重建;
  4. (iv)回空间域变换。

为了提高图像在频域的分辨率,我们可以增加图像的高频成分。其中一个可行的方法是避免别名效应。Chen等[14]采用频谱去锯齿的方法重建HR图像。LR图像首先由原始HR遥感图像的子采样和傅里叶变换生成。为了得到转换参数,采用相位相关法。有了转换参数和光谱去锯齿法,就可以重建图像。最后,通过反傅里叶变换生成HR图像。与双线性插值法相比,去锯齿法的结果表现更好。基于小波插值的方法将小波变换和插值结合起来,最早由Nguyen和Milanfar[15][16]提出。

在[17]中,Tao等人首先用DWT方法对遥感图像进行分解。小波系数插值图像可以通过最近插值、双线插值或双立方插值生成。通过反离散小波变换得到SR图像。结果表明,小波-小波插值组合算法有效地保护了原HR图像的高频信息。傅里叶-小波正则化解卷(ForWarD)是另一种恢复HR图像的方法[18][19]。它利用傅里叶域和小波域的标量收缩来实现噪声正则化和重建。ForWarD是一种两步算法。第一步是基于傅里叶的Weiner滤波,这是为了建立一个锐利的图像。第二步是应用静止小波变换进行去噪。对NASA的几幅卫星图像进行了测试。结果表明,该算法可以应用于任何分辨率的图像,以实现高分辨率。

3.4 概率论SR模型

由于SR重构问题是一个不确定的问题,因此必须附加一些先验条件和限制,以将SR重构问题转化为一个确定的问题.,由此提出了一些基于概率论的方法。贝叶斯方法由于可以将先验概率密度函数与先验约束条件结合起来,因此在SR重建中得到了广泛的应用。其基本思想是同时考虑LR观测图像和未知HR图像的先验知识,用贝叶斯理论得到HR图像。最大似然(ML)方法是最流行的基于贝叶斯的方法之一,它是由Tom和Katsaggelos[20]首先提出的。解决的方法是找到HR图像的ML估计方法,关键点是求解概率密度函数(PDF)。

最大后验(MAP)方法是另一种基于贝叶斯的流行方法,该方法假设在LR图像序列存在的条件下,通过最大化其后验概率可以获取HR图像。Wang等[21]提出了一种基于迭代优化的MAP方法,在保留多光谱图像光谱信息的前提下重建SR图像。除了一组SPOT XS LR图像外,还需要全色图像。通过高通滤波器,可以提炼出高频信息,用于与插值的多光谱图像相结合。基于映射计算均值和方差后,将得到初级HR图像。然后提出基于MAP的迭代优化方法,以收到进一步提高分辨率和避免质量下降的效果。通过这种方法,重建后的HR图像的空间分辨率得到提升,且光谱信息损失小。

总变异(TV)是一种有效的基于正则化的SR方法,具有保留边缘的能力。然而,伪边缘也可以被保留并产生平滑区域。针对这一缺点,袁志明等[22]提出了一种基于遥感图像的区域空间自适应总变异(RSATV)模型,明显改善了伪边缘。首先,逐个像素提取空间信息,并采用中值滤波器对其进行增强。然后构建空间权重,并进行过滤。之后,采用K-means聚类进行分类。通过这两个过滤过程,分别对伪边缘进行抑制。最后,对于每个区域,聚类中心值代表正则化强度。所以,总变正则化由基于像素的转变为基于区域的。在遥感上测试,这种方法不仅可以保留边缘,而且对噪声也很健壮。tikhonov正则化也是一种SR重建方法,它以Tikhonov A N命名[23]。它是解决不确定问题的一种常用方法。通过加法,Tikhonov正则化在均方误差成本函数的基础上生成原图像的先验概率函数。与其他正则化方法相比,Tikhonov正则化可以同时保持边缘和平滑噪声。

4 实验结果

本文利用从ISPRS下载的多伦多市中心上空拍摄的数字航空图像做遥感SR重建实验。如图2所示,将尺寸为512×512的裁剪图像作为原始HR图像,生成LR图像。在图1所示观测模型的基础上,通过亚像素精度的移位和变焦系数的下采样,得到4幅LR图像(每幅尺寸为256×256)。我们采用四种方法来比较SR重建的效果。稀疏表示法(SRP)、POCS、小波插值法(WI)、Tikhonov正则化法(TR)。POCS和Tikhonov Regularization方法需要一个LR图像序列来利用互补信息。我们将四幅LR图像全部作为输入,但小波插值法和Tikhonov正则化法需要一连串的LR图像来利用互补信息。然而,小波插值法和稀疏表示法只需要一张LR图像。所以我们取第一幅LR图像作为输入。特别是对于稀疏表示法,我们采用论文的官方代码[8]。训练数据为100张数字航空图像。我们选择50000个补丁来训练另一个字典。

结果分别如图2所示。为了评价重建结果的质量,与原始HR图像进行比较,我们采用了三个质量评价因子。PSNR(Peak Signal to Noise Ratio)、MSE(Mean Squared Error)、SSIM(Structural Similarity)。我们还计算了每种方法的时间成本。所有的评价指数都在表I中列出。时间成本的获得其中CPU为Intel® Xeon® E5-2630 v2,双核处理器,主频2.60GHz,内存64G。根据表I中的结果,我们可以得出结论,WI方法在我们测试的RS图像上优于其他方法。而且,WI方法的速度比其他方法快。值得注意的是,SRP方法的训练过程需要较长的时间来获得补丁数据和用于训练的RS图像的字典。
【图像超分辨率】Remote Sensing Image Super-resolution: Challenges and Approaches_第2张图片

【图像超分辨率】Remote Sensing Image Super-resolution: Challenges and Approaches_第3张图片

5 结论

本文对遥感图像的超分辨率重建技术进行了全面综述。具体介绍了四种SR重建类别:基于学习的SR、基于插值的SR、基于频域的SR和基于概率理论的SR。我们还基于几种最新的方法进行了实验,提出了遥感图像的SR重建结果。由于SR重建技术可以克服成像系统固有的分辨率限制,可以有效提高航空图像或卫星图像的分辨率。因此,SR重建技术在遥感领域已被证明具有实用性和重要价值,在识别定位、图像融合、环境监测、灾害研究和全球变化分析等方面得到了广泛应用。

参考文献

[1] J. L. Harris, “Diffraction and Resolving Power,” Journal of the Optical Society of America (1917-1983), vol. 54, p. 931, Jul. 1964.
[2] J. W. Goodman et al., Introduction to Fourier optics. McGraw-hill New York, 1968, vol. 2.
[3] R. Tsai and T. S. Huang, “Multiframe image restoration and registration,” Advances in computer vision and Image Processing, vol. 1, no. 2, pp. 317–339, 1984.
[4] H. Zhang, Z. Yang, L. Zhang, and H. Shen, “Super-resolution reconstruction for multi-angle remote sensing images considering resolution differences,” Remote Sensing, vol. 6, no. 1, pp. 637–657, 2014.
[5] C. Papathanassiou and M. Petrou, “Super resolution: an overview,” DTIC Document, Tech. Rep., 2005.
[6] J. Yang and T. Huang, “Image super-resolution: Historical overview and future challenges,” Super-resolution imaging, pp. 20–34, 2010.
[7] P. Oskoui-Fard and H. Stark, “Tomographic image reconstruction using the theory of convex projections,” IEEE Transactions on Medical Imaging, vol. 7, no. 1, pp. 45–58, 1988.
[8] J. Yang, J. Wright, T. S. Huang, and Y. Ma, “Image super-resolution via sparse representation,” IEEE Transactions on Image Processing, vol. 19, no. 11, pp. 2861–2873, 2010.
[9] Y. Zhang, W. Wu, Y. Dai, X. Yang, B. Yan, and W. Lu, “Remote sensing images super-resolution based on sparse dictionaries and residual dictionaries,” in International Conference on Dependable, Autonomic and Secure Computing (DASC). IEEE, 2013, pp. 318–323.
[10] H. Zhang and B. Huang, “Scale conversion of multi sensor remote sensing image using single frame super resolution technology,” in International Conference on Geoinformatics. IEEE, 2011, pp. 1–5.
[11] M. L. Aguena and N. D. Mascarenhas, “Multispectral image data fusion using pocs and super-resolution,” Computer Vision and Image Understanding, vol. 102, no. 2, pp. 178–187, 2006.
[12] S. C. Park, M. K. Park, and M. G. Kang, “Super-resolution image reconstruction: a technical overview,” IEEE Signal Processing Magazine, vol. 20, no. 3, pp. 21–36, 2003.
[13] F. Li, D. Fraser, and X. Jia, “Improved ibp for super-resolving remote sensing images,” Geographic Information Sciences, vol. 12, no. 2, pp. 106–111, 2006.
[14] X. Chen, “The research on the althorithms of super-resolution remote sensing image reconstruction in spectral domain (in chinese),” Master’s thesis, China University of Geosciences (Beijing), 2008.
[15] N. Nguyen and P. Milanfar, “An efficient wavelet-based algorithm for image superresolution,” in International Conference on Image Processing, vol. 2. IEEE, 2000, pp. 351–354.
[16] ——, “A wavelet-based interpolation-restoration method for superresolution (wavelet superresolution),” Circuits, Systems and Signal Processing, vol. 19, no. 4, pp. 321–338, 2000.
[17] H. Tao, X. Tang, J. Liu, and J. Tian, “Superresolution remote sensing image processing algorithm based on wavelet transform and interpolation,” in Third International Asia-Pacific Environmental Remote Sensing Remote Sensing of the Atmosphere, Ocean, Environment, and Space. International Society for Optics and Photonics, 2003, pp. 259–263.
[18] R. Neelamani, H. Choi, and R. Baraniuk, “Forward: Fourier-wavelet regularized deconvolution for ill-conditioned systems,” IEEE Transactions on Signal Processing, vol. 52, no. 2, pp. 418–433, 2004.
[19] S. A. Devi and A. Vasuki, “Image super resolution using fourier-wavelet transform,” in International Conference on Machine Vision and Image Processing (MVIP). IEEE, 2012, pp. 109–112.
[20] B. C. Tom and A. K. Katsaggelos, “Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of lowresolution images,” in Proceedings of the IEEE International Conference on Image Processing, vol. 2. IEEE, 1995, pp. 539–542.
[21] S. Wang, L. Zhuo, and X. Li, “Spectral imagery super resolution by using of a high resolution panchromatic image,” in IEEE International Conference on Computer Science and Information Technology (ICCSIT), vol. 4. IEEE, 2010, pp. 220–224.
[22] Q. Yuan, L. Yan, J. Li, and L. Zhang, “Remote sensing image superresolution via regional spatially adaptive total variation model,” in IEEE International Geoscience and Remote Sensing Symposium (IGARSS). IEEE, 2014, pp. 3073–3076.
[23] A. N. Tikhonov, “Regularization of incorrectly posed problems,” in Soviet Math. Dokl, vol. 4, no. 6, 1963, pp. 1624–1627.

你可能感兴趣的:(图像超分辨率论文)