TOWARDS FASTER AND STABILIZED GAN TRAININGFOR HIGH-FIDELITY FEW-SHOT IMAGE SYNTHESIS

论文链接推荐大家去paper with code 上面搜索，还有相应代码 Browse the State-of-the-Art in Machine Learning | Papers With Code

1.摘要

      1.研究背景和任务定义 在分辨率高的图像上训练生成对抗网络(GAN)通常需要大规模的gpu集群和大量的训练图像。本文研究了最小计算成本的GAN图像合成任务。 2.展示实验效果 我们提出了一个轻量级的GAN结构，在1024 × 1024分辨率上获得了卓越的质量。该模型在单个RTX-2080 GPU上只需几个小时的训练就可以从头开始收敛，并且具有一致的性能，即使少于100个训练样本。在数据和计算预算有限的情况下，我们展示了与最先进的StyleGAN2相比，我们的模型的卓越性能。 3.展示自己的创新点 两种技术设计构成了我们的工作，一个跨层信道激励模块和一个作为特征编码器训练的自我监督鉴别器。

2.TNTRODUCTION

1.研究背景和任务定义

使用最先进的生成对抗网络合成图像的迷人能力显示了GANs在许多有趣的应用方面有巨大潜力，如图像翻译、照片编辑和艺术创作。然而，昂贵的计算成本和大量所需的训练数据限制了这些模型在实际应用程序中使用，因为实际应用中只有较小的图像集和较低的计算预算。

2.关键性举例，找到任务的应用点

在现实生活中，可用于训练GAN的样本可能很少，比如罕见疾病的医学图像、特定名人的肖像集和特定艺术家的艺术品。带有预训练模型的迁移学习是训练图像缺乏的一种解决方案。然而，不能保证找到一个兼容的预训练数据集。在艺术创作应用中，大多数艺术家更喜欢根据自己的图像从零开始训练他们的模型，以避免经过微调的预训练模型的偏差。在大多数情况下，艺术家希望用小于100张图片的数据集训练他们的模型。动态数据增强可以用更少的图像稳定GAN的训练。SOTA模型的计算成本，如StyleGAN2 和BigGAN 仍然很高，尤其是当图像分辨率为1024 × 1024时。

3.本论文的主要贡献

• 设计了跨层通道级激励(SLE)模块，该模块利用低尺度激活来修改高尺度特征图上的通道响应。SLE允许在整个模型权重中有一个更稳健的梯度流，以更快的训练。它还会像StyleGAN2一样可以自动学习样式/内容的分离。
• 提出了一个自监督鉴别器D训练作为一个特征编码器与一个额外的解码器。我们使D从输入图像中学习一个更具有描述性的特征映射，覆盖更多的区域，从而产生更全面的信号来训练G。
• 测试了D的多种自监督策略，发现自动编码的效果最好。 我们基于两种提出的技术构建了一个计算效率高的GAN模型，并展示了该模型在多个高保真数据集上的鲁棒性，如图所示。

 RELATED WORKS

1.加速GAN的训练  

Ngxande et al.提出利用深度卷积来减少计算时间。  Zhong et al.将GAN目标调整为最小-最大-最小问题，以获得更短的优化路径。  Sinha et al.建议通过coreset选择来准备每一批训练样本，利用更好的数据准备来更快地收敛。

2.高分辨率训练GAN

首先，模型参数的增加使得优化G的梯度流更加刚性;其次，1024 × 1024分辨率图像形成的目标分布超级稀疏，使得GAN更加难以收敛。很多工作都是开发多尺度GAN结构来缓解梯度流动问题，G输出图像并同时接收来自几个分辨率的反馈。然而，所有这些方法都进一步增加了计算成本，消耗更多的GPU内存和训练时间。

3.稳定GAN训练

G上的模型崩溃是GANs训练中的一大难题。在训练样本更少、计算预算更低的情况下，这变得更具挑战性。由于D更有可能在数据集上过拟合，因此无法提供有意义的梯度来训练G。 之前的工作通过对D寻求良好的正则化来解决过拟合问题，规范化模型权重，并对训练数据进行扩充。然而，当训练批大小有限时，这些方法的效果会迅速下降，因为很难计算适当的批统计数据来对训练迭代进行正则化(归一化)。研究表明，对D的自我监督是稳定GAN训练的有效方法;以往的辅助自我监督任务在使用场景和图像域方面存在局限性。之前的研究只研究了低分辨率的图像，并且没有计算资源限制。

METHOD

在G的每个分辨率上使用一个单一的转换层

对于G和D的高分辨率(≥512×512)的转换层，只应用三个(输入和输出)通道。

这些结构设计出来的GAN比SOTA模型更小，训练速度更快。与此同时，模型在小数据集上仍然是稳健的，因为它的规模较小，使用了两种提出的技术。

 

 SKIP-LAYER CHANNEL-WISE EXCITATION

 SELF-SUPERVISED DISCRIMINATOR