西北工大&HVL&哈工大联合出版的 193 篇 GANs 在图像超分辨上综述

关注公众号，发现CV技术之美

本文分享一篇近期超分辨率的最新文献综述『Generative Adversarial Networks for Image Super-Resolution: A Survey』。通过对 193 篇相关文献进行全面调研，从它们的性能、优点、缺点、复杂性、挑战和潜在的研究点等进行讨论。

具体信息如下：

• 论文作者：田春伟，张璇昱，林浚玮，左旺孟，张艳宁

• 通讯单位：西北工业大学、空天地海一体化大数据应用技术国家工程实验室、西挪威应用科学大学、哈尔滨工业大学和鹏城实验室
  

• 论文链接：http://arxiv.org/abs/2204.13620

      01      

摘要

单幅图像超分辨已经在图像处理领域扮演一个重要的角色。最近的生成对抗网络（Generative adversarial networks, GANs）在小样本的低分辨率图像上获得了出色的表现。然而，目前有较少的不同GANs在图像超分辨上的总结。在本文中，从不同角度来总结了GANs在图像超分辨应用。

首先，介绍GANs的发展。其次，从大小样本两方面介绍流行的GANs在图像上应用的方法。然后，分析基于优化方法和判别学习方法在图像超分辨应用上以有监督、半监督和无监督训练GANs的动机、实现和区别。

接着，比较这些GANs方法就定性和定量分析上的图像超分辨的性能。最后，给出GANs在图像超分辨上的挑战和潜在研究点。本文的框架图如图1 所示：

图1 本文的框架图

第一章引言中提到的GAN相关模型总结详见表1：

表 1 引言中的GANs总结

      02      

GAN网络的发展

在第二章中，简要介绍了GANs方法的发展历程，重点介绍了GAN的原始网络模型和几个经典的变体，包括BiGAN，CycleGAN和StyleGAN。他们的网络结构如图2至图6所示：

图2 原始GAN的网络结构图

图3 BiGAN的网络结构图

图4 CycleGAN的网络结构图

图5 StyleGAN的网络结构图

图6 StyleGAN中生成器的网络结构图

      03      

用于图像应用的流行的GANs

在本章中，从大小样本两个方面介绍了部分应用比较多的GANs网络模型，本章的框架图如图7所示：

图7 第三章的框架图

3.1用于图像应用的基于大样本的流行的GANs

在本节中，分图像生成和目标检测两个方向介绍了诸如BEGAN，MGAN，SGAN和Perceptual GAN，SODMTGAN等模型，更多相关信息详见表2和表3：

表 2 应用在图像生成上的基于大样本的GANs

表 3 应用在目标检测上的基于大样本的GANs

3.2用于图像应用的基于小样本的流行的GANs

在本节中，分风格迁移和图像修复两个方向介绍了诸如RAMT-GAN，CycleGAN，ArCycleGAN和Perceptual GAN，SODMTGAN等模型，更多相关信息详见表4和表5：

表 4 应用在风格迁移上的基于小样本的GANs

表 5 应用在图像修复上的基于小样本的GANs

      04      

应用在图像超分辨上的GANs

在本章中，通过有监督，半监督和无监督的分类方式对于目前应用在图像超分辨领域上的部分GAN模型进行了综述。本章的框架图如图8所示：

图8 第四章的框架图

4.1 用于图像超分辨的有监督GANs

在本节中，从改进结构、基于先验知识、改进损失函数和多任务四个方面对于有监督的GANs进行了分类综述。改进结构的详细内容见表6；基于先验知识，改进损失函数和多任务三部分的更多内容详见表7：

表 6 用于图像超分辨的基于改进结构的有监督 GANs

表 7 用于图像超分辨的基于先验知识、改进损失函数和基于多任务的有监督 GANs

4.2 用于图像超分辨的半监督GANs

在本节中，从改进结构、改进损失函数和多任务三个方面对于半监督的GANs进行了分类综述。更多的详细内容见表8：

表 8 用于图像超分辨的半监督 GANs

4.3 用于图像超分辨的无监督GANs

在本节中，从改进结构、基于先验知识、改进损失函数和多任务四个方面对于无监督的GANs进行了分类综述。改进结构的更多内容详见表9；基于先验知识和改进损失函数的更多内容详见表10；基于多任务的更多内容详见表11：

表 9 用于图像超分辨的基于改进结构的无监督 GANs

表 10 用于图像超分辨的基于先验知识和改进损失函数的无监督 GANs

表 11 用于图像超分辨的基于多任务的无监督 GANs

      05      

GANs图像超分辨率性能比较

为了帮助读者更加直观地了解GANs在超分领域上的应用，在本章中介绍了不同模型所使用的的数据集和环境配置，并对不同模型的超分结果进行了定性和定量两方面的比较。

5.1 数据集

在本节中，从训练方式和模型使用两个方面对于所有文中的模型使用过的数据集进行了分类综述。以训练方式分类的更多内容详见表12；以模型使用分类的更多内容详见表13：

表 12 用于图像超分辨的GANs用到的数据集（按训练方式分；分为训练数据集和测试数据集）

表 13 用于图像超分辨的各个GANs用到的数据集（按模型使用分；分为训练数据集和测试数据集）

5.2 环境配置

在本节中，从训练方式、批处理数量、缩放因子、训练框架、学习率和迭代次数六个方面对于大部分文中提到的模型进行了分类统计。更多内容详见表14：

表 14 用于图像超分辨的不同GANs的环境配置

5.3 实验结果

为了让读者了解不同的GANs在图像超分辨率上的表现，使用定量分析和定性分析来评估这些GANs的超分辨率效果。按照三种训练方式和不同的数据集进行分类，定量分析了不同方法的峰值信噪比（PSNR）和峰值信噪比（SSIM）（详见表15）；不同算法在图像超分辨率上的运行时间和复杂度（详见表16）。而定性分析用于评估恢复图像的质量，详见图9和 图10。

表 15 按三种训练方式分类的用于图像超分辨的不同GAN模型分别在Set14，BSD100和DIV2K上的PSNR和SSIM分数

表 16 在4倍图像超分辨时不同GAN模型的测试时间和参数量

图9 不同的GANs在BSDS100数据集中4倍超分辨的结果可视图。各个图片获取的方法分别是：图（a）原始图像；图（b）双三次插值；图（c）ESRGAN；图（d）是RANKSRGAN；图（E）KernelGAN；图（F）PATHSRGAN

图10 不同的GANs在Set14数据集中4倍超分辨的结果可视图。各个图片获取的方法分别是：图（a）原始图像；图（b）双三次插值；图（c）ESRGAN；图（d）是RANKSRGAN, 图（E）KernelGAN, 图（F）PATHSRGAN

      06      

GANs模型在图像超分辨方向上的挑战与展望

在本章中，总结了工作中发现的一些挑战和问题：

1. 不稳定的训练。由于生成器和鉴别器之间的对抗，GANs在训练过程中是不稳定的。

2. 计算资源大，内存消耗高。GAN由生成器和鉴别器组成，这可能会增加计算成本和内存消耗。这可能会导致对数字设备的更高需求。

3. 无参考的高质量图像。现有的大多数GAN都依赖于成对的高质量图像和低分辨率图像来训练图像超分辨率模型，这可能会受到现实世界中数字设备的限制。

4. 复杂图像超分辨率。大多数GAN可以处理单个任务，即图像超分辨率和合成噪声图像超分辨率等。然而，现实世界中数码相机采集的图像存在缺点，即低分辨率和暗光图像，复杂的噪声和低分辨率图像。此外，数码相机对图像低分辨率和图像识别的结合有更高的要求。因此，现有的图像超分辨率GAN无法有效修复上述条件下的低分辨率图像。

5. 用于图像超分辨率的GANs度量。现有的大多数GANs都使用PSNR和SSIM来测试GANs的超分辨率性能。然而，PSNR和SSIM不能完全测量恢复的图像。因此，对于图像超分辨率的GANs来说，找到有效的度量是非常重要的。

为了解决这些问题，下面介绍了有关用于图像超分辨率的GANs的一些潜在研究点。

1. 增强生成器和鉴别器提取显著特征，以增强图像超分辨率上的GANs稳定性。例如，使用注意机制（即Transformer）、剩余学习操作、串联操作作为生成器和鉴别器来提取更有效的特征，以增强加速图像超分辨率GAN模型的稳定性。

2. 为图像超分辨率设计轻量级GANs。减少卷积核、群卷积、先验和浅层网络结构的结合可以降低图像超分辨率处理的复杂度。

3. 使用自监督方法可以获得高质量的参考图像。

4. 结合不同低级任务的属性，在不同的GANs中通过不同的阶段将复杂低级任务分解为单个低级任务，修复复杂的低分辨率图像，有助于高级视觉任务的完成。

5. 使用图像质量评估技术作为衡量标准，评估来自不同区域的精确图像的质量。

END

欢迎加入「超分辨率」交流群备注：SR