GAN综述总结笔记

GAN综述总结笔记

• 源自超分辨率Generative Adversarial Networks for Image Super-Resolution: A Survey
• 论文地址

1.摘要

• GAN在小样本的低分辨率图像表现不错，GAN在图像超分辨率应用总结。

• 分析基于优化方法和判别方法在图像超分辨应用上有监督，半监督，无监督训练GANs的动机，实现和区别。

• 给出GANs方法就定性和定量分析上的图像超分辨率的性能，潜在研究点和挑战。

• 本文框架图

• 本文前期提要和本文框架
  -

---

2.GAN发展

• 介绍几种经典变体和发展

• 原始GAN

  • ·

• BiGAN（双编码器来协同生成器和判别器以获得更丰富的信息，以提高异常检测的性能，精度提升，训练稳定性提高）

  • 

• CycleGAN（循环架构实现风格转移）

  • 

• 为解决模型坍塌（GD都不尽人意）提出WGAN——使用权重裁剪来增强 Lipschitz 约束的重要性，从而提高训练 GAN [41] 的稳定性。

  • 权重裁剪：消除权重张量中不必要的值。将神经网络参数的值设置为零，以消除神经网络各层之间的低权重连接。
  • 会导致梯度消失梯度爆炸
  • 使用使用梯度惩罚（视为 WGAN-GP）来打破 Lipschitz 在计算机视觉应用中追求良好性能的限制

• styleGAN（使用特征解耦来控制不同特征来完成图像生成的风格转移）

  -

  ---

3.用于图像应用的GANs

• 应用较多GANs的网络模型

  • 

3.1用于图像应用的大样本上的流行 GAN

3.2用于图像应用的基于小样本的流行GAN

---

4.应用在图像超分辨率上的GANs

4.1基于监督 GAN 的图像超分辨率改进架构：

4.2用于图像超分辨率的半监督 GAN

4.3用于图像超分辨率的无监督 GAN

---

5.比较图像超分辨率的 GAN 性能

• 本章介绍不同模型所使用的数据集和环境配置，并对不同模型的超分结果进行了定性和定量两方面的比较。

5.1数据集

• 半监督，无监督，监督

5.2环境配置

5.3实验结果

• 用于图像超分辨率的 GAN 数据集（即训练数据集和测试数据集）。

• 针对不同训练方式的不同 GAN 图像超分辨率

• 用于图像超分辨率的不同 GAN 的环境配置。
  

---

6.未来展望

• 问题和挑战

1. 不稳定的训练。由于生成器和鉴别器之间的对抗，GANs在训练过程中是不稳定的。
2. 计算资源大，内存消耗高。GAN由生成器和鉴别器组成，这可能会增加计算成本和内存消耗。这可能会导致对数字设备的更高需求。
3. 无参考的高质量图像。现有的大多数GAN都依赖于成对的高质量图像和低分辨率图像来训练图像超分辨率模型，这可能会受到现实世界中数字设备的限制。
4. 复杂图像超分辨率。大多数GAN可以处理单个任务，即图像超分辨率和合成噪声图像超分辨率等。然而，现实世界中数码相机采集的图像存在缺点，即低分辨率和暗光图像，复杂的噪声和低分辨率图像。此外，数码相机对图像低分辨率和图像识别的结合有更高的要求。因此，现有的图像超分辨率GAN无法有效修复上述条件下的低分辨率图像。
5. 用于图像超分辨率的GANs度量。现有的大多数GANs都使用PSNR和SSIM来测试GANs的超分辨率性能。然而，PSNR和SSIM不能完全测量恢复的图像。因此，对于图像超分辨率的GANs来说，找到有效的度量是非常重要的。

• 潜在研究点

1. 增强生成器和鉴别器提取显著特征，以增强图像超分辨率上的GANs稳定性。例如，使用注意机制（即Transformer）、剩余学习操作、串联操作作为生成器和鉴别器来提取更有效的特征，以增强加速图像超分辨率GAN模型的稳定性。
2. 为图像超分辨率设计轻量级GANs。减少卷积核、群卷积、先验和浅层网络结构的结合可以降低图像超分辨率处理的复杂度。
3. 使用自监督方法可以获得高质量的参考图像。
4. 结合不同低级任务的属性，在不同的GANs中通过不同的阶段将复杂低级任务分解为单个低级任务，修复复杂的低分辨率图像，有助于高级视觉任务的完成。
   构的结合可以降低图像超分辨率处理的复杂度。
5. 使用自监督方法可以获得高质量的参考图像。
6. 结合不同低级任务的属性，在不同的GANs中通过不同的阶段将复杂低级任务分解为单个低级任务，修复复杂的低分辨率图像，有助于高级视觉任务的完成。
7. 使用图像质量评估技术作为衡量标准，评估来自不同区域的精确图像的质量。