图像超分辨率重建概述

1. 概念：

        图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数，包括时间分辨率、空间分辨率及色阶分辨率等，体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率图像，高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度。但在实际上情况中，受采集设备与环境、网络传输介质与带宽、图像退化模型本身等诸多因素的约束，我们通常并不能直接得到具有边缘锐化、无成块模糊的理想高分辨率图像。

       图像的超分辨率重建技术指的是将给定的低分辨率图像通过特定的算法恢复成相应的高分辨率图像，从给定的低分辨率图像中重建出高分辨率图像的过程。其旨在克服或补偿由于图像采集系统或采集环境本身的限制，导致的成像图像模糊、质量低下、感兴趣区域不显著等问题。

一、超分辨率技术的分类

        图像超分辨率技术的主要任务是生成真实、清晰且人为痕迹尽可能少的HR图像，根据输入输出的不同，其定义有所区别，主要可分为三类：

1、多图像超分辨率：

         多图像超分辨率方法利用多幅LR图像得到一幅真实且清晰的HR图像，主要采用基于重建的算法，即试图通过模拟图像形成模型来解决LR图像中的混叠伪像问题。多图像超分辨率重建算法根据重建过程所在域不同可分为频域法和空域法。

2、视频超分辨率：

       视频超分辨率输入的是一个视频序列，该技术不仅可以提高视频中每一帧的分辨率，还可以利用算法在时域中增加图像帧的数目，从而达到提高视频整体质量的目的。视频超分辨率方法可以分为以下两大类：一是增量视频超分辨率方法；二是同时视频超分辨率方法。

3、单图像超分辨率：

      单图像超分辨率输入的是一幅LR图像，仅利用一幅LR图像来重建得到HR图像。目前单幅图像超分辨率方法主要分为三类，即基于插值的图像超分辨率算法、基于重建模型的图像超分辨率算法和基于学习的图像超分辨率算法，下面将进行简要介绍。

二、 传统超分辨率重建算法 

（1） 基于插值的超分辨率重建：

     基于插值的单图像超分辨率算法利用基函数或插值核来逼近损失的图像高频信息，从而实现HR图像的重建。将图像上每个像素都看做是图像平面上的一个点，那么对超分辨率图像的估计可以看做是利用已知的像素信息为平面上未知的像素信息进行拟合的过程，这通常由一个预定义的变换函数或者插值核来完成。常见的基于插值的方法包括最近邻插值法、双线性插值法和双立方插值法等。但是在重建过程中，仅根据一个事先定义的转换函数来计算超分辨率图像，不考虑图像的降质退化模型，往往会导致复原出的图像出现模糊、锯齿等现象。

（2）、基于退化模型的超分辨率重建

     从图像的降质退化模型出发，假定高分辨率图像是经过了适当的运动变换、模糊及噪声才得到低分辨率图像。这种方法通过提取低分辨率图像中的关键信息，并结合对未知的超分辨率图像的先验知识来约束超分辨率图像的生成。常见的方法包括迭代反投影法、凸集投影法和最大后验概率法等。

（3）、 基于学习的超分辨率重建

     基于学习的方法则是利用大量的训练数据，从中学习低分辨率图像和高分辨率图像之间某种对应关系，然后根据学习到的映射关系来预测低分辨率图像所对应的高分辨率图像，从而实现图像的超分辨率重建过程。常见的基于学习的方法包括流形学习、稀疏编码方法。    

三、基于深度学习的超分辨率重建算法

          超分辨率的研究工作中，传统超分辨率重建方法主要依赖于约束项的构造以及图像之间配准的精确度达到重建效果，但其不适用于放大倍数较大的超分辨率重建。随着放大因子的增大，人为定义的先验知识和观测模型所能提供的用于超分辨率重建的信息越来越少，即使增加LR图像的数量，亦难以达到重建高频信息的目的。它的出现解决了传统超分辨率技术中的许多瓶颈问题，在近几年取得了巨大的成功，目前，越来越多具有深度学习功能的超分辨率模型被提出，根据是否依赖于LR图像和对应的HR图像训练网络模型，可以粗略地将其分为有监督的超分辨率和无监督的超分辨率，由于有监督的超分辨率技术能够取得较好的重建效果，是目前研究的主流方向。

评述维度简介：

（1）上采样位置：（预上采样，后上采样，逐步上采样，迭代上下采样）

          ①预上采样是基于端到端的映射，降低了学习的难度，但常会引起噪声放大和模糊，②后上采样是把上采样模块移动到卷积层之后，在不增加分辨率的情况下把LR图像送入到卷积层中，在低维空间中形成大多数映射。大大减少了时间和空间成本，但不能处理多尺度超分辨率问题。③逐步上采样是基于一系列卷积层并逐步重建高分辨率图像，在每一阶段，图像都被放大到与高分辨率图像大小相同的尺寸。优点是在不引入过多空间和时间成本的情况下降低了学习难度，可以处理多尺度超分辨率问题，但存在模型设计和难以训练的问题。④迭代上下采样模型可以捕获到LR-HR图像对之间的相互依赖性，将有效的迭代过程添加到SR中以更好地探索深层LR-HR关系。

（2）上采样方法：（反卷积，亚像素层）

       ①反卷积层，即通过插入零值并进行卷积来扩展图像，分辨率。以使用3×3内核执行2×上采样为例，如图3所示。首先，将输入图像扩展为原始大小的两倍，将所有新像素值设置为0。然后利用核大小为3×3、步长1和填充1进行卷积。②亚像素层通过卷积生成多个通道，然后执行上采样，如图4所示。在该层中，首先应用标准卷积来产生具有s倍通道的输出，其中s是上采样因子。假设输入大小为h×w×c，则输出大小为h×w×sc，然后执行整形操作，以产生sh×s×w×c大小的输出。

（3）学习策略：

①残差学习：可分为全局残差学习和局部残差学习，残差学习避免了图像的复杂转换，只需要通过残差映射来恢复丢失的高频信息。大部分区域的残差可以认为是零，这种方法大大降低了模型的复杂度和学习难度。②递归学习：即多次应用相同的模块。③密集连接：密集连接可以充分利用网络模型各个层次的特征，使超分辨率模型获得更丰富的特征表达，提高重建效果。④结合注意力机制大多数基于深度学习的超分辨率算法中，不同位置和通道上的神经元具有相同的权重。结合注意力机制的超分辨率模型可以选择更重要的信息分配更多权重来改善重建效果。

有监督学习：

（1）基于深度卷积神经网络的图像超分辨率（SRCNN）

      首次将卷积神经网络应用到图像SR的算法是SRCNN，其采用双三次插值将LR图像放大到目标尺寸，然后通过三层卷积网络拟合非线性映射，最后输出HR图像。在实现过程中，主要分为三个步骤：特征提取、非线性变换和图像生成。基于卷积神经网络的超分辨率算法将这三个步骤都统一到一个模型中，显著地提高了模型效率。相对于传统方法提高了图像重建质量。但计算量较大，训练速度慢。随后SRCNN中又加入一层卷积层，构建FSRCNN网络，速度有较大提升。尽管原理简单，但是依托深度学习模型以及大样本数据的学习，在性能上超过了当时一众传统的图像处理算法，开启了深度学习在超分辨率领域的研究征程，SRCNN只采用了3个卷积层来实现超分重建，有文献指出如果采用更深的网络结构模型，那么可以重建出更高质量的图像，因为更深的网络模型可以抽取出更高级的图像特征，这种深层模型对图像可以更好的进行表达。在SRCNN之后，有不少研究人员尝试加深网络结构以期取得更佳的重建性能，但是越深的模型越不能很好的收敛，无法得到期望的结果。

基于卷积神经网络的超分辨率模型结构示意图

（2）基于深度递归卷积网络的图像超分辨率（DRCN）

        SRCNN的网络层数较少，同时感受野也较小。更深的网络可能会得到高精度，但可能会产生过度拟合和模型巨大问题。因此提出了深度递归卷积网络（DRCN），第一次将之前已有的递归神经网络（RNN）结构应用在超分辨率处理中。DRCN通过递归监督策略和中跳跃层来处理模型训练问题，特别是解决爆炸/消失的梯度问题。利用残差学习的思想（跳跃连接），加深了网络结构，增加了网络感受野，提升了性能。网络模型中使用更多的卷积层增加网络感受野，利用递归模块实现权重共享，避免了过多网络参数，并采用跨层连接的方式实现多层特征融合，其重建效果相比于SRCNN有了较大提高。

（3）基于高效亚像素卷积神经网络的图像超分辨率

         在SRCNN和DRCN中，低分辨率图像都是先通过上采样插值得到与高分辨率图像大小相同的图像，再将其作为网络输入，这意味着卷积操作在较高的分辨率上进行，与在低分辨率的图像上计算卷积相比，这将会在很大程度上降低效率。ESPCN提出了一种在低分辨率图像上直接计算卷积得到高分辨率图像的高效率方法，其核心概念是亚像素卷积层。网络输入原始低分辨率图像，通过两个卷积层以后，得到的特征图像大小与输入图像相同。通过使用亚像素卷积层，实现图像从低分辨率到高分辨率放大的过程，插值函数被隐含在前面的卷积层中，可以自动学习到。只在最后一层对图像进行大小变换，由于前面的卷积运算在低分辨率图像上进行，因此效率会得到提高。

（4）基于生成对抗网络的图像超分辨率（SRGAN）

       该模型是由两个网络组成的深层次神经网络结构，将一个网络与另一个网络相互对立。一个神经网络称为生成器，生成新的数据实例；另一个神经网络称为鉴别器，评估它们的真实性，即鉴别器决定它所审查的每个数据实例是否属于实际训练数据集。基于生成对抗网络的图像超分辨率（SRGAN）将生成对抗网络（GAN）应用到图像超分辨率领域。生成器模型根据输入的低分辨率图像生成其对应的高分辨率图像，而鉴别器用于判断图像属于生成的高分辨率图还是真实的高分辨率图像，两者相互迭代训练，直到鉴别器无法分辨出输入的图像是生成的图像还是真实的图像，则认为两者达到了纳什均衡，最后生成器模型能够生成出以假乱真的高分辨率图像。

四、超分辨率重建算法未来展望

（1）改进网络结构

      ①结合局部和全局信息，大的感受野可以提供更多的纹理信息，这样可生成更加真实的HR图像。结合低层和高层信息和特定内容的注意力机制，增强主要特征可促进生成的HR图像具体更加真实的细节。

      ② 结构轻量化：目前网络结构日趋复杂，如何减少 模型大小，降低时间开销并保持性能。

（2）无监督学习

       由于图像在同一场景下不同分辨率的图像很难 获取，因此插值法被广泛用于构建超分辨率数据 集。目前主要的研究是有监督学习的超分技术，但 实际上，有监督学习的超分与实际情况有所差异。 相比之下，无监督学习的超分技术利用无监督的学 习训练建立的模型更加符合实际，这对于现实需求 具有很大影响，因此基于无监督学习的超分辨率技 术研究具有很大的价值

（3）面向真实场景

        真实世界的图像往往具有复杂的退化模型。基于深度学习的SR有一个重要前提假设是测试图像的分布与训练图像的分布一致，当训练过程中采用的退化模型和测试时的实际图像的退化模型不一致时，重建结果往往会产生明显的退化。

参考链接：图像超分辨率技术的回顾与展望 https://kns.cnki.net/KCMS/detail/11.5602.TP.20191218.1439.002.html