遥感图像超分辨率论文推荐

有监督的深度学习遥感方法

基于CNN的遥感SR方法

2015年，Dong等首次使用卷积神经网络进行超分辨率重建。因为深度卷积神经网络在实现端对端的全局最优求解和性能上表现优越。

DONG C，LOY C C，HE K，et al.Image super-resolution using deep convolutional networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，
38（2）：295-307.

Liebe等人将SRCNN(Super Resolution Convlution Neural Network)引入遥感图像的超分辨中。因为地面采样间隔大，遥感图像SR不能直接使用自然图像高低分辨率之间的映射关系，因此作者利用SENTINEL2图像（含有13个频带，可达10 m）制作了遥感数据集，使用此数据集对SRCNN重新进行了训练，使其能够学习到遥感图像高低分辨率图像之间的关系，得到了具有处理高辐射分辨率的多光谱卫星图像的能力的网络模型msiSRCNN（multispectral satellite images SRCNN）。

LIEBE L，KORNER M.Single-image super resolution for multispectral remote sensing data using convolutional neural networks[J]. ISPRS-International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences，2016，41：883-890.

由于遥感图像局部细节信息缺失严重，而普通的CNN超分辨方法往往只使用感受野较大的深层的特征进行SR重建，忽略了局部信息，Lei等针对此问题设计了一种“分支”结构的网络（Local-Global Combined Network，LGCnet），来学习遥感图像的多尺度表示，利用CNN随着网络深度加深感受野随之扩大的特点，通过级联浅层和深层的特征映射来实现局部与全局信息的结合，从而更好地指导遥感超分辨重建。

LEI S，SHI Z，ZOU Z.Super-resolution for remote sensing images via local -global combined network[J]. IEEE Geoscience and Remote Sensing Letters，2017，14（8）： 1243-1247.

LGCnet级联了深度不同的卷积层，但并未改变卷积核的大小，Qin等鉴于GoogLeNet提出了级联不同卷积核的多尺度卷积网络（Multi-Scale Convolutional Neural Network，MSCNN）。在特征提取阶段同时利用 不同大小的卷积核多尺度提取图像不同角度的特征，将提取到的特征进行通道拼接之后，利用深层次卷积将这 些特征进行融合，得到更加全面的深度特征从而提高模型的SR效果。

QIN X，GAO X，YUE K.Remote sensing image superresolution using multi-scale convolutional neural network[C]//2018 11th UK-Europe-China Workshop on Millimeter Waves and Terahertz Technologies（UCMMT）， 2018：1-3

上述两种方法虽然都对遥感图像局部信息缺失的特点的问题进行了研究，但两者为了保证特征图像能够融合，都在卷积时对特征图进行了填充，至此特征图像 含有较多的噪声信号，导致模型训练难度增加，且不利于最终SR图像的重建。另外，上述方法网络层数少，而遥感图像结构复杂的同时信息量较大，因而网络不能很好的拟合遥感图像的高低分辨率之间的关系，影响SR结果的精确性。

基于残差学习的遥感SR

为了解决网络层数的加深，导致梯度爆炸和梯度消失的问题，He等[33] 提出了残差网络。Pan等受到Haris等提出的深度反投影网络（Dense Back-Projection Networks，DBPN）的启发，提出了一种基于残差稠密网络的方法（Residual DBPN，RDBPN）。该方法在DBPN投 影单元的基础上添加了稠密的跳跃连接，从而构建了全局和局部残差，并通过特征的复用为高倍放大提供了信息，因此使其在高倍放大时显示出较好的性能。

PAN Z，MA W，GUO J，et al.Super-resolution of single remote sensing image based on residual dense backprojection networks[J]. IEEE Transactions on Geoscience and Remote Sensing，2019，57（10）：7918-7933.

针对大尺度超分辨率需要大量的特征信息，pan利用了稠密残差链接来实现特征的复用，利用了稠密残差链接来实现特征的复用，Dong等人认为仅利用网络末端的特征，限制了SR重建的效果，设计了稠密采样机制（Dense Sampling Super Resolution， DDSR），将网络不同深度的特征都传递到最终的上采 样模块中进行最终的重建。该方法为了充分利用不同的特征，在网络残差块中拓宽了通道注意力机制的输入，并采用了链式训练策略，以小比例因子的模型作为 大比例超分辨的初始化参数以简化训练，提高性能。该方法对于大比例放大具有明显的优势。

DONG X，SUN X，JIA X，et al.Remote sensing image super-resolution using novel dense-sampling networks[J]. IEEE Transactions on Geoscience and Remote Sensing， 2021，59（2）：1618-1633

针对遥感高分辨图像数据缺乏的问题，为了不增加参数且保持模型性能，Haut等把视觉注意力机制融入到基于残差的网络设计中（Remote Sensing Residual Channel Attention Network，RSRCAN），该机制可以引导网络训练过程朝向信息量最大的特征。注意力模块 通过增强图像高频信息，抑制低频信息，从而让模型的 去更多学习高频分量之间的映射关系，集中在需要更精细HR细节相关的地表特征上。

HAUT J M，FERNANDEZ-BELTRAN R，PAOLETTI M E， et al. Remote sensing image super resolution using deep residual channel attention[J]. IEEE Transactions on Geoscience and Remote Sensing，2019，57（11）： 9277-9289.

考虑到注意力机制能够挖掘遥感图像的高频信息， Zhang等提出了高阶混合注意力机制（Mixed High-
Order Attention Network，MHAN）。在特征提取阶段通 过核为1的卷积给不同层次的卷积施加权重，保留了更重要的信息。在特征细化阶段增加了频率感知链接，通过高阶注意力模块将不同深度的特征进行融合提炼，以生成更丰富的高阶特征。

ZHANG D，SHAO J，LI.et al.Remote sensing image super-resolution via mixed high-order attention network[J]. IEEE Transactions on Geoscience and Remote Sensing， 2020，99：1-14

针对遥感图像场景差异大，且目标物尺寸差异大的 问题，Zhang等用迁移学习的方法对不同场景的HR和LR遥感图像进行建模（Multiscale Attention Network， MASN）。通过AID数据集训练好基准模型后，对30个场景下的映射关系进行模型微调，最终获得30个模型， 对不同场景的遥感图像能够自适应的分配模型进行超分辨重建。该方法针对目标物尺寸差异大提出了多级 激活特征融合模块，采用了不同大小的卷积核提取不同 尺度的特征，并利用通道注意力机制对不同尺度的特征进行了融合。此方法虽然取得了不错的效果，但模型数量和参数量增加。

ZHANG S，YUAN Q，LI J，et al.Scene-adaptive remote sensing image super-resolution using a multiscale attention network[J]. IEEE Transactions on Geoscience and Remote Sensing，2020，58（7）：4764-4779

虽然网络加深能够提取到更抽象的特征，但目前大多数方法缺乏对浅层特征的利用。为了充分利用不同层次特征，Li等提出了群组并行链接模块（Parallel-Connected Residual Channel Attention Network， PCRCAN）。在主干分支以外增加数个子分支进行特征提取，如此对相同的特征进行了多方面的提取，提高了信息利用的效率。

LI Y H，IWAMOTO Y，LIN L F，et al.Parallel-connected residual channel attention network for remote sensing image super-resolution[C]//Proceedings of Asian Conference on Cpmputer Vision，2021：18-30

上述方法中的注意力机制虽然能够加强网络对重要特征的学习，但缺乏对同一特征不同空间区域的判 性学习能力。Lei等提出了利用Iception模块提取不同尺度特征，结合通道注意力和空间注意力机制，学习区分重要特征的网络（Inception Residual Attention Network，IRAN），再对每个特征图的不同区域进行注意力分配。该方法能够较为全面的对遥感特征进行判别性的学习，但增加了模型复杂度。

LEI P，LIU C. Inception residual attention network for remote sensing image super-resolution[J]. International Journal of Remote Sensing，2020，41（24）：9565-9587.

SZEGEDY C，LIU W，JIA Y，et al.Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：1-9.提出Iception模块。

上述基于深度学习的方法都是在空间域进行重建的，并致力于学习LR与HR图像中对应像素之间的关系，很少有研究将频域的方法应用到深度学习当中。对此，Ma等将小波变换引入基于深度学习的遥感超分辨中，提出了结合小波变换的残差递归网络（Wavelet Transform Combined with Recursive Res-net，WTCRR）。该模型通过删除DRRN（Deep Recursive Residual Net-work）网络的BN层得到。该方法利用小波变换对图像在频域进行分解，将小波分解得到的高频分量和原始图像一起作为网络的输入进行SR映射。根据 WTCRR中跳跃链接的方式，网络中每个模块都能够使用原始特征，网络末端能够得到更加全面的深度特征来进行最终的小波逆变换SR重建

MA W，PAN Z，GUO J，et al.Achieving super-resolution remote sensing images via the wavelet transform combined with the recursive res-net[J]. IEEE Transactions on Geoscience and Remote Sensing，2019，57（6）：3512-3527

基于残差学习的超分辨方法虽然能够有效提升SR 结果的精确性，但网络结构较为复杂，训练时间较长，对数据的依赖性较高，在缺乏数据的情况下难以实现较好的结果。

基于生成对抗网络的有监督遥感SR方法

SRGAN是设计专用于超分辨的GAN（Generative Adversarial Network），SRGAN能够利用感知损失将SR 结果推送到自然图像的流形上，以得到更符合人类视觉感知的图像，借助GAN的训练策略能够使SR生成器生 成更加符合人的感知的图像。鉴于SRGAN取得的优异效果，以下方法利用GAN的思想，使遥感图像超分辨效果更符合人眼的观测效果。

遥感图像的退化过程受到很多因素的影响，往往包含较多的噪声，而基于GAN的原始方法对噪声较为敏感，会产生与输入图像无关的高频噪声。在土地覆盖分类，地面目标识别等高级计算机视觉任务中，该问题会降低准确性。对此，Jiang等从边缘增强的角度，提出了EEGAN（Edge-Enhanced GAN）。首先使用改良的稠密残差块组成生成网络；生成SR基准图像后；通过 Laplacian算子构建的边缘增强网络，提取SR基准图像 的边缘并对其增强；得到增强的边缘后于SR基准图像 融合生成边缘清晰的HR遥感图像，以此缓解遥感图像目标地物边缘模糊的问题。

JIANG K，WANG Z，Yi P，et al.Edge-enhanced GAN for remote sensing image super-resolution[J].IEEE Transactions on Geoscience and Remote Sensing，2019，57（8）： 5799-5812.

与自然图像相比，遥感图像有更多的平坦区域和更多的低频图像成分，使用GAN对遥感图像进行SR时， 判别器很难判断这些图像区域是从真实的HR遥感图像 生成还是采样得到的（分辨模糊问题），导致生成HR遥 感图像质量受到影响。对此Lei等设计了一种新的GAN网络：耦合鉴别GAN（Coupled-Discriminate GAN， CDGAN）网络；通过构建双通道网络将真实HR图像和 SR图像同时输入判别器，将双通道网络提取到的特征进行拼接输入后续层中，并构建了专用的耦合损失函数来更新网络参数，该模型增强了对遥感图像低频区域的鉴别力，改善了基于GAN的图像SR方法在处理低频图像区域时分辨模糊的现象。

LEI S，SHI Z W，ZOU Z X.Coupled adversarial training for remote sensing image super-resolution[J]. IEEE Transactions on Geoscience and Remote Sensing，2019， 58（5）：3633-3643.

Yu 等以 DBPN为基础构建了生成器网络E-DBPN（Enhanced-DBPN），并在其中加入了改进的残差通道注意力机制，以促进网络拥有对特征的判别性学习能力，从而保持对SR更有贡献的特征。同时，设计了顺序特征融合模块，以渐进融合的形式处理上投影单元
的特征映射。该方法利用了DBPN的误差反馈机制对LR和HR的深层关系进行了探索，以对抗生成策略加强 了模型的SR性能。

YU Y，LI X Z，LIU F X，E-DBPN：Enhanced deep back-projection networks for remote sensing scene image superresolution[J].EEE Transactions on Geoscience and Remote Sensing，2020，58（8）：5503-5515.

HARIS M，SHAKHNAROVICH G，UKITA N.Deep backprojection networks for super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2018：1664-1673.提出DBPN

基于GAN的有监督学习方法，能够有效提高生成 的HR图像的感知质量，但需要借助判别器网络，增加了训练的难度。在上述方法中EEGAN对遥感图像中地物的边缘采取了强化，忽略了平坦区域的信息，CDGAN[48]对遥感图像中较为平坦的区域进行增强，忽略了边缘信息，而E-DBPN缺乏对遥感图像空间信息的判别性处理，对遥感图像中微小细节的恢复能力不足。上述3种 方法都只对遥感图像中的一项特征进行增强，在实际应用时，有一定的局限性。

基于深度学习的遥感SR无监督方法

有监督学习的网络结构实现了从LR图像到HR图像的映射，但高分辨遥感图像通常难以获取，且退化得到的图像与实际的低分辨遥感图像仍存在差异，而无监督的方法能够在不使用任何其他外部数据的情况下对每个特定的LR输入图像进行超分辨率处理，Haut等从无监督的角度对遥感数据进行SR重建，构建了SR遥 感图像的生成网络模型（A New Deep Generative Network，ANDGN）。该方法首先将随机噪声扩张到目标 HR维度，通过生成网络补充图像信息，利用网络生成的HR结果下采样之后和原始LR遥感图像构建了迭代的损失函数以确保生成HR图像与LR图像相对应，在之后的迭代中将生成的图像作为网络输入，通过反复的迭代直至生成最终需要的HR遥感图像。

HAUT J M，FERNANDEZ-BELTRAN R，PAOLETTI M E，et al.A new deep generative network for unsupervised remote sensing single-image super-resolution[J]. IEEE Transactions on Geoscience and Remote Sensing，2018，56（11）：6792-6810.

Wang等基于CycleGAN提出了一种用于遥感图像SR的无监督学习网络CycleCNN，该网络包含图像退化网络和图像超分辨网络。在退化网络中用GaoFen-2 中GSD为1 m/pixel的全色图像作为HR进行退化；在超分辨网络中，将GSD为4 m/pixel的多光谱（MS）中的前3 个波段转换到YCbCr颜色空间，用作LR进行超分辨重建。将退化和超分辨网络得到图像又分别输入超分辨和退化网络中，构建循环损失函数，从而使退化网络能够退化出更真实的低分辨图像，提高超分辨网络的性能。

WANG P，ZHANG H，ZHOU F，et al. Unsupervised remote sensing image super-resolution using cycle CNN[C]//IEEE International Geoscience and Remote Sensing Symposium，2019：3117-3120.

在Haut的启发下，Zhang等提出了一种基于GAN的无监督遥感图像超分辨网络模型（Unsupervised GAN，UGAN）。该网络直接用LR遥感图像作为生成网络的输入，采用核尺寸逐渐减小的卷积层提取不同尺度的特征，为无监督的SR保留了更多的信息，并通过计算每幅图像及其高层特征的L1损失和SSIM损失，改进了损失函数。

ZHANG N，WANG Y，ZHANG X，et al. An unsupervised remote sensing single -image super-resolution method based on generative adversarial network[J]. IEEE Access，2020，8：29027-29039.

在上述方法中，Wang用不同的采样间隔的数据 集作为生成器和退化模型的输入以模拟HR和LR图像，与真实数据仍有一定的差距。Zhang采用平均池化，虽然能够提高退化模型的泛化能力，但影响遥 感图像退化的因素众多，池化不能完全表示退化模型。 针对遥感图像复杂的退化情况，Zhang等提出先用大量的合成退化的数据集来训练一个退化模型，而后设计了生成器模型将原始遥感图像先进行SR再进行退化， 以退化结果和原始LR的遥感图像做差形成损失函数优化网络。该网络（Multi-Degradation GAN，MDGAN）能够较为真实的模拟出退化过程，但遥感图像退化与自然图像退化仍有较大的差别，模拟遥感图像退化需要考虑成像、大气等因素，建模较自然图像更为困难。

ZHANG N，WANG Y，ZHANG X，et al.A multi-degradation aided method for unsupervised remote sensing image super resolution with convolution neural networks[J]. IEEE Transactions on Geoscience and Remote Sensing，2020（1）：1-14.

基于深度学习的遥感SR方法能够直接学习到LR 遥感和HR遥感图像之间的关系。但在有监督的遥感 SR方法中，模型训练需要对原始图像进行人工下采样得到训练数据，人工下采样得到的数据进行SR之后和 原始遥感图像做差建立损失函数。这样构建的模型是不合理的，现实中存在的LR遥感图像与HR遥感图像之间的关系复杂，只用人工下采样来模拟，SR效果有限。而基于深度学习的无监督的遥感SR方法性能并不显著，与有监督的方法相比存在较大效果差异。

方向

1. 原始HR遥感图像难以获取的问题。SR任务需要从LR图像重建HR图像，目前方法多利用标准数据集提供的HR-LR对进行训练和性能测试。然而，由于遥感图像采集过程中大气扰动、噪声和运动等影响，真实的HR图像难以获得。因此，目前的方法距离实际使用还有一定的距离。目前，基于GAN网络的方法试图利用生成器克服这一困难，一些无监督的方法试图通过学习退化过程得到HR图像。考虑到迁移学习能够从其他样本中学得先验，并在目标域中优化，可以从迁移学习和零样本学习的方法中借鉴思路解决这一问题。
2. 遥感图像较自然图像，细节丢失更为严重。通常，遥感图像单个像素所代表的实际距离超过5m，导致图像中细节损失，重建困难。对此，现有方法分别从局部-全局联合特征提取、注意力机制、结合小波变换、边缘增强等策略出发，试图重建出更为丰富的细节信息。 可以参考微小目标检测的方法，对遥感图像中的细微目标地物进行提取和增强，以缓解细节缺失的问题。
3. 遥感图像场景内容差异较大。遥感拍摄往往涉及到多种地貌，因此会拍摄到多种场景内容，导致样本的多样性。因此，遥感数据集对于单个场景的贡献也被削弱。这就要求所设计的方法对样本的包容性更强，学习能力更强，即通过一个模型来描述不同场景下目标的 HR与LR之间的关系。针对此问题，文献[39]对30个不同的遥感场景进行了超分辨建模，但需要付出较大的计 算和存储代价。遥感SR模型的轻量化对于多场景建模具有重要意义。ZHANG S，YUAN Q，LI J，et al.Scene-adaptive remote sensing image super-resolution using a multiscale attention network[J]. IEEE Transactions on Geoscience and Remote Sensing，2020，58（7）：4764-4779.
4. 遥感图像同一场景下，目标物空间大小差异较大。在一副遥感图像中往往包含多个目标，且这些目标物的尺寸大小都不相同，如在街道场景中车辆可能只占了几个像素，房屋占了几百个像素，在卷积的过程中，可能丢失小目标的特征，从而影响SR结果的精确性。因 而，多级特征提取及特征融合在遥感SR领域仍有重要的研究意义。