(论文阅读）图像超分辨率的回顾与展望

1 引言

图像超分辨率（super-resolution,SR）是指利用算法将图像从低分辨率（low resolution,LR）恢复到高分辨率（high resolution,HR）的过程，是计算机视觉和图像的重要技术之一。

图像超分辨率技术根据其输入输出不同大致可分为三类，即多图像、视频和单图像超分辨率。

2 超分辨率技术的分类

2.1 多图像超分辨率

多图像超分辨率方法利用多幅LR图像得到一幅真实且清晰的HR图像，主要采用基于重建的算法，即试图通过模拟图像形成模型来解决LR图像中的混叠伪像问题。

目前典型的空域重建算法有迭代反向投影（IBP）方法、凸集投影（POCS）方法和贝叶斯最大后验（maximum a posterior,MAP）估计方法。

2.2 视频超分辨率

视频超分辨率输入的是一个视频序列，该技术不仅可以提高视频中每一帧的分辨率，还可以利用算法在时域中增加图像帧的数目，从而达到提高视频整体质量的目的。

视频超分辨率方法可以分为以下两大类：1.增量视频超分辨 2.同时视频超分辨率方法

增量视频超分辨率方法的优点是速度快，相比于同时视频超分辨率方法更适合对实时性要求高的应用，但输出的HR视频视觉效果较差。

同时视频超分辨率方法考虑到了不同视频帧之间的一致性，因此可以生成较清晰的、质量较高的视频，但其计算速度比较慢，不适合实时应用场景。

2.3 单图像超分辨率

仅利用一幅LR图像来重建得到HR图像。

2.3.1 基于插值的单图像超分辨率算法

基于插值的单图像超分辨率算法利用基函数或插值核来逼近损失的图像高频信息，从而实现HR图像的重建。最近邻插值、双线性插值和双三次插值都是典型的插值算法。

2.3.2 基于重建模型的单图像超分辨率算法

基于重建模型的图像超分辨率算法通过将图像的先验知识作为约束条件加入到图像的超分辨率重建过程中，使得超分辨率重建这个不适定问题变得可解。

2.3.3 基于学习的单图像超分辨率算法

基于学习的图像超分辨率算法通过训练图像数据集学习低分辨与高分辨图像之间的映射关系，来预测低分辨图像中丢失的高频信息，从而达到重建高分辨率图像的目的。基于学习的超分辨率重建方法是目前研究的主流方向，其效果也是最好的。

3 基于深度学习的单图像超分辨率重建

由于深度学习在其他计算机视觉领域中取得了突破性进展，人们尝试引入深度神经网络，通过构建深层次的网络进行训练来解决图像超分辨率重建问题。

目前，越来越多具有深度学习功能的超分辨率模型被提出，根据是否依赖于LR图像和对应的HR图像训练网络模型，可以粗略地将其分为有监督的超分辨率和无监督的超分辨率，由于有监督的超分辨率技术能够取得较好的重建效果，是目前研究的主流方向。

3.1 有监督学习的单图像超分辨率

3.1.1 网络模型基本模块

（1）网络模型框架
单图像超分辨率是从LR到HR空间的一对多映射，由于其不适定性，如何进行上采样，即从低分辨率输入产生高分辨率输出是关键问题。
a. 预上采样超分辨率：预定义的传统算法完成了难以进行的上采样任务，深度CNN仅需要细化大致略图，降低学习难度。
b. 后上采样超分辨率:通过替换预定义的上采样操作在低维空间中执行大部分映射，使计算复杂度和空间复杂度大大降低，并且也带来了相当快的训练速度。
c. 渐进上采样超分辨率:该框架下的模型基于CNN级联并逐步重建出更高分辨率的图像，通过将困难的任务分解为多个简单的任务，在每个阶段图像被上采样到更高的分辨率并由CNN细化。拉普拉斯金字塔超分辨率网络（Laplacian pyramid super-resolution networks,LapSRN)是典型采用渐进上采样超分辨率框架的网络模型。
d. 迭代上下采样超分辨率:试图迭代地计算重建误差，然后将其融合以调整HR图像，该框架下的模型可以更好地挖掘LR-HR图像对之间的深层关系，从而提供更高质量的重建结果。

（2）网络设计策略
在超分辨率领域，研究人员在超分辨率框架之上应用各种网络设计策略来构建最终的超分辨率网络模型。大致地可将超分领域目前流行的网络设计策略归纳为以下几类：残差学习、递归学习、密集连接、生成对抗、注意力机制等。
a. 残差网络（residual network,ResNet)网络的残差学习可以分为局部残差和全局残差，全局残差要求输入图片与重建的目标图片有极大的相关性，通过分析其相关性进行学习。局部残差主要用于缓解由于网络的加深而带来的退化问题，提高其学习能力。
b.递归学习可用于缓解更深的网络带来的过度拟合和模型复杂的问题。
c.密集网络（dense network,DenseNet），通过密集块中的信道数量和连接后挤压信道大大减少了参数数量，有效缓解了梯度消失问题。基于密集网络的图像超分辨率（superresolution dense network,SRDenseNet)将密集连接引入超分辨率中，融合低级和高级特征以提供更丰富的信息来重建高质量细节。
d. 生成对抗 SRGAN首次将生成对抗网络用于图像的超分辨率重建工作中，利用生成对抗学习策略对网络模型进行优化，网络实现了较大放大因子下的图像重建，模型产生了相对较好的重建效果。
e. 注意力机制 考虑到不同通道之间特征表示的相互依赖性和相互作用，利用通道注意力机制提出了一个深度残差通道注意力网络（deep residual channel attention networks,RCAN），该模型不仅在表达能力上得到了极大提高，而且SR性能也得到了优化。

（3）学习策略
a.损失函数 在超分辨率中，损失函数用于测量生成的超分辨率图像和真实HR图像之间的差异，并指导模型优化。在超分的模型中常见的损失函数有像素损失、内容损失、对抗损失等。
i：像素损失主要包括L1损失（即平均绝对误差）和L2损耗（即均方误差），像素损失约束产生的超分辨率图像在像素级上与原来的真实的HR图像更加相似。
ii：内容损失主要表示为两个图像的特征表示的欧式距离。
iii：对抗损失 SRGAN[20]中通过生成器和鉴别器的相互对抗学习产生相当好的输出。

b. 批量标准化 batch normalization,BN）以减少网络的内部协变量偏移。通过此策略可以避免梯度消失和梯度爆炸，加速网络的收敛，提高网络的泛化能力，优化网络结构。

c.多监督是指增加多个额外监督模型中的信号用于增强梯度传播并避免梯度消失和爆炸，在实际中往往是在损失函数中添加所需的特定条件来实现的，可以通过反向传播监督信号来达到加强模型的训练效果。

d. 数据集在深度学习中，数据集也同样发挥着重要的作用。通过增大数据集，可以使得网络学习到更多的图像特征，增强网络模型的性能。提前对数据集的图片进行预处理，增加图片的多样性，在数据增强的帮助下，超分辨率模型的性能可以得到极大的提高。

3.1.2 典型网络模型

（1）基于深度卷积神经网络的图像超分辨率
卷积神经网络图像超分辨率重建（super-resolution convolutional neural network,SRCNN)
该方法中构建了一种基于三层卷积神经网络的图像超分辨率模型，可以实现一种由低分辨率图像到高分辨率图像端到端的映射。在实现过程中，主要分为三个步骤：特征提取、非线性变换和图像生成。基于卷积神经网络的超分辨率算法将这三个步骤都统一到一个模型中，显著地提高了模型效率。不需要另外学习参数，因此用时较短。但该方法的弊端是在网络的层数加深时模型的学习效果会下降，并且对于较大图片的处理速度不够好。

快速卷积神经网络图像超分辨率重建（fast super-resolution convolutional neural network,FSRCNN)
借助于反卷积核之间的协作，网络不需要预处理就可以学习到一个原始LR与HR之间的端对端的映射。该模型保证精度的同时还实现了加速。通过该网络的卷积层来实现不同上采样因子之间的快速训练和测试，没有重建质量的损失，但效果相比于SRCNN没有具体的改进。

(2）基于深度递归卷积网络的图像超分辨率
深度递归卷积网络（Deeply-recursive convolutional network,DRCN）
DRCN通过采用递归监督策略和跳跃层来处理模型训练问题，特别是解决爆炸/消失的梯度问题。利用残差学习的思想（跳跃连接），加深了网络结构（16个递归），增加了网络感受野，提升了性能。网络模型中使用更多的卷积层增加网络感受野，利用递归模块实现权重共享，避免了过多网络参数，并采用跨层连接的方式实现多层特征融合。

(3）基于高效亚像素卷积神经网络的图像超分辨率
高效亚像素卷积神经网络（efficient sub-pixel convolutional neural,ESPCN）
ESPCN[53]提出了一种在低分辨率图像上直接计算卷积得到高分辨率图像的高效率方法，其核心概念是亚像素卷积层。网络输入原始低分辨率图像，通过两个卷积层以后，得到的特征图像大小与输入图像相同。通过使用亚像素卷积层，实现图像从低分辨率到高分辨率放大的过程，插值函数被隐含在前面的卷积层中，可以自动学习到。

(4）基于生成对抗网络的图像超分辨率
基于生成对抗网络的图像超分辨率（SRGAN)
将生成对抗网络（GAN）应用到图像超分辨率领域。生成器模型根据输入的低分辨率图像生成其对应的高分辨率图像，而鉴别器用于判断图像属于生成的高分辨率图还是真实的高分辨率图像，两者相互迭代训练，直到鉴别器无法分辨出输入的图像是生成的图像还是真实的图像，则认为两者达到了纳什均衡，最后生成器模型能够生成出以假乱真的高分辨率图像。

3.2 无监督学习的单图像超分辨率

由于实际中提供网络训练的图像通常为非配对图像，因此相比有监督的学习，在真正的现实样例中无监督的学习训练建立的模型更加符合实际。

3.2.1 “零样本”超分辨率技术

“零样本”超分辨率技术是第一个基于CNN的无监督超分辨率方法，算法利用了深度学习的强大学习功能，但不依赖于之前的训练。在单个图像中利用信息的内部重现，并在测试时训练一个特定于图像的小型CNN，仅从输入图像本身提取一个样本。因此，它可以适应每个图像的不同设置，如旧照片、噪声图像、生物数据以及获取过程未知或不理想的其他图像。

3.2.2 弱监督超分辨率技术

使用未配对的LR-HR图像学习具有弱监督学习的超分辨率模型，提出了弱监督超分辨率技术。
首先训练HR到LR的GAN，然后使用未配对的LR-HR图像来学习退化，通过应用两阶段过程，模型有效提高了实际LR图像超分辨率重建图像的质量。
周期内超分辨率网络（cyclein-cycle generative adversarial network,CinCGAN），该网络由4个发生器和2个鉴别器组成，分别构成两个循环GAN来进行弱监督学习的超分辨率重建。该网络模型通过学习一个从源域到目标域的映射来进行图像的迁移，在没有任何配对训练数据集图像的情况下，捕捉一个图像集的特殊特征，并将这些特征转化为另一个图像集。

3.3 图像超分辨率的最新成果

3.3.1 真实图像的超分辨率重建

（1）基于GAN的High-to-Low网络从HR图像获取较自然的LR图像来模拟真实低分辨率数据，利用真实的HR获取自然的LR图像问题上。
（2）GAN-Centered网络以GAN损失作为主导，Pixel损失作为辅导来优化网络得到较好的重建效果。
（3）核建模超分辨率网络（kernel modeling super-resolution,KMSR）将模糊核模型引入到训练中，提高深层超分辨率CNN对真实照片的泛化能力和鲁棒性。
（4）调整数码相机的焦距来拍摄同一场景中的一对LR-HR图像，建立了一个真实世界的超分辨率数据集。
（5）从相机镜头的角度研究SR，即CameraSR，旨在缓解现实成像系统中分辨率（Resolution）与视场（field-of-view）之间的内在权衡。利用实际数据对常用的合成退化模型进行定量分析，用于在现实成像系统中促进现有的基于学习的SR方法。CameraSR能够进一步提高所捕获图像的分辨率。

3.3.2 基于网络模型改进的图像超分辨率

（1）增强型超分辨率生成对抗网络模型（enhanced super-resolution generative adversarial networks,ESRGAN），引入新网络结构单元RRDB，借鉴相对生成对抗网络（relativistic GAN）进行预测，还使用了激活前具有更强监督信息的特征表达来约束感知损失函数。
（2）带有排序器的超分辨率重建网络——RankSRGAN。用感知指标优化生成器并生成更加自然的纹理，同时所提出的方法可以结合不同SR的优势产生更好结果的方法。
（3）小波域样式传输的方法（wavelet domain style transfer,WDST），实现了比SRGAN更好的感知失真（perception distortion,PD）权衡。该方法在现有的SISR方法中实现了最佳的失真和感知质量的权衡。利用残差网络和反馈网络的优良特性，最先进的超分辨率重建研究也取得了一定的成果。
（4）基于嵌入块残差网络的模型（embedded block residual network,EBRN）来实现图像超分辨率重建，该模型巧妙地使用图像频率分离思想从不同复杂度的子网络中恢复图像不同频率段的信息，克服了当前SR模型中存在的图像低频信息过拟合，高频信息欠拟合问题。
（5）利用反馈网络构建超分辨率重建网络（feedback network for image super-resolution,SRFBN），用高级信息通过反馈连接来细化低层次信息，所提出的SRFBN具有很强的早期重建能力，可以逐步创建最终的高分辨率图像。

3.3.3 超分辨率重建研究领域拓展

（1）针对深度超分辨率方法易受到对抗性攻击进行研究，从理论上和实验上对几种先进的超分辨率重建方法受对抗性攻击的鲁棒性进行了全面的分析，并探讨了攻击的可传递性，针对性攻击和普遍攻击的可行性。
（2）使用SR技术来增强小型感兴趣区域（region of interest,RoI）的特性，提出了一种新的特征级超分辨率方法，对于小目标检测具有明显的改进效果。
（3）双重定向胶囊网络模型，利用胶囊层和卷积层的组合来学习有效的极低分辨率（very low resolution,VLR）识别模型，并且合并了两个新颖的损失函数，网络模型对低分辨率图像分类效果优良。
（4）视差-注意力立体SR网络（parallax attention stereo superresolution network,PASSRNet），它将立体匹配结合到SR任务中，利用视差的注意力机制来建模立体图像的对应关系，取得了优良的性能。
（5）动态预测每个尺度系数滤波器权重的Meta-SR网络，首次通过单一模型解决了超分辨率的任意缩放因子问题（包括非整数因子），解决了大多数现有SISR方法只考虑一些特定的整数因子（X2,X3,X4…）的问题，通过大量实验证明了Meta-SR网络模型的优越性。

4 其他相关研究

4.1 图像质量评价标准

主观评价方法是观察人员根据评价标准或者个人经验主观地对图像给出质量评价，常用的有主观平均意见分数法（mean opinion of score,MOS）和信息保真度准则（information fidelity criterion,IFC）。客观评价法是通过建立数学模型，对图像质量进行定量的评价，主要有均方误差（mean square error,MSE）、峰值信噪比（PSNR）、结构相似度（structural similarity,SSIM）等。

4.1.1 主观评价指标

（1）主观平均意见分数法具有较高的使用率和可信度，然而也存在明显的不足，实验中需要邀请众多实验人员，因此时间成本较高。
（2）信息保真度准则通过对图像进行小波变换，采用高频分量计算图像之间的相似性，用以衡量失真图像保留参考图像的信息，这种度量方式能够更好地匹配对高频信息更加敏感的人类视觉系统，虽然计算比较复杂，但是评价更加符合主观评测效果。

4.1.2 客观评价指标

（1）均方误差是图像客观质量评价常用的指标，好处在于它的数学意义简明，计算方法方便易行，其缺点在于客评价值和主观评价的一致性较差。
（2）峰值信噪比也是一个被广泛用来客观地评价重建图像失真程度的指标。PSNR基于两幅图像的均方误差来计算相似度，单位为分贝（dB),PSNR的值越大，则说明超分辨率的图像失真越少，效果越好。
（3）结构相似度通过结合图像的结构信息、亮度信息和对比度信息估计原始图像和失真图像之间的相似度，从这三个角度综合估计参考图像和失真图像之间结构相似度。SSIM值越大，效果越好。

4.2 公用数据集

在基于深度学习的单图像超分辨率重建中常用的图像数据集。一些数据集已经被其使用者划分为训练、验证和测试集。然而，不同网络模型可以针对不同数据集划分进行训练，没有特别的规定。

4.3 典型算法实验结果分析

1）对比实验数据表以及对比图，明显看出相比于传统算法，基于深度学习的方法在各种评价指标上的表现均优于传统算法；

2)SRCNN效果相对其他的网络稍差，但其作为神经网络在超分上的应用的开山之作，为后续的网络设计奠定了深厚的基础。三种评价指标上，DRCN的表现总体较好，这与其独特的层间链接信息共享结构有关。ESPCN也都展现出其优良的性能，表现也较为稳定，独有的亚像素卷积层在超分中有着重要的作用；

3)SRGAN在PSNR和SSIM评价指标下的表现并不是特别突出，这是由于SRGAN的生成器生成的图片为与真实图像相类似的“假”图像，其结构相似性与真实的高分辨率图像存在一定的差异，故SSIM评价指标上表现较差。

5 未来研究趋势探讨与总结

(1）无监督学习的超分辨率技术的研究
无监督学习的超分技术利用无监督的学习训练建立的模型更加符合实际，这对于现实需求具有很大影响，因此基于无监督学习的超分辨率技术研究具有很大的价值。

(2）特定领域的超分辨率技术研究
随着智能交通、视频监控、光学文字识别等应用需求的增加，对特定某一类图像的超分辨率算法研究具有着重要的意义。在这些专用场景中，具有较多的先验知识，将这些先验的知识与超分辨率的算法紧密结合起来，得到的输出图像质量可能会有较大提高，在实际应用中也更有意义。

(3）超分辨率算法与其他计算机视觉任务结合
充分利用超分辨率重建技术改进其他计算机视觉任务，或者利用其他计算机视觉任务辅助图像的超分辨率重建这也将是一个十分重要的方向，例如，低分辨率图像的识别分类、小目标检测上的应用等。

(4）算法改进方向研究
a.面对目前的算法在重建效果上存在的局限性，通过结合局部和全局信息，大型感受野提供更多的上下文信息，有助于生成更逼真的HR图像；

b.不同的背景图像关注超分辨率的不同信息，结合注意机制来利用上下文信息，以增强对关键特征的关注，这有助于产生更加真实的细节信息；

c.结合低级和高级信息，深层CNN中的浅层倾向于提取诸如颜色和边缘的低级特征，而较深层提取诸如对象身份之类的更高级别的表示。因此，将低级细节与高级抽象语义相结合可以对HR重建有很大帮助。