ICCV2019 最佳论文解读：SinGAN

SinGAN：Learning a Generative Model from a Single Natural Image (用一张自然图片，学出一个生成模型) 。

ICCV 2019
论文
源码
这篇论文提出了一种可以从单幅自然图像学习的非条件生成模型–SinGAN，能够捕捉图像的内部块分布信息，生成具有相同视觉内容的高质量、多变的样本。SinGAN包含一个金字塔结构的全卷积GAN，每个GAN负责学习图像不同尺度的分布信息。因此可以生成具有任意尺寸和纵横比的新样本，这些样本具有明显的变化，同时又可以保持训练图像的整体结构和精细的纹理特征。与之前的单图像GAN方案对比，本文方法不局限于纹理图像，而且是非条件的（即从噪声生成样本）。大量实验证明SinGAN生成的样本具有较好的真实性，而且可以应用于多种图像处理任务中。
一. 整体框架图如下图所示：

二.多尺度结构及理解
SinGAN 包含金字塔结构的生成器和判别器，以及训练图像金字塔，其中训练图像金字塔是有训练图像下采样获得的，训练和推理过程都是由粗到精来进行的，图像样本的生成从最粗尺度开始，所有的生成器和判别器都具有相同的感受野，随着生成过仓的继续宁可以捕捉到更细尺寸的结构。在最粗尺度下是纯生成过程，即将高斯白噪声映射为图像而不需要真实的图像。
三.训练过程

四.总结

1. 本文介绍了一种可以从单幅自然图像中学习的新型非条件生成框架–SinGAN。证明了其不仅可以生成纹理，还具有为复杂自然图像生成各种逼真样本的能力。与外部训练的生成方法相比，内部学习在语义多样性方面具有固有的限制。例如，如果训练图像只包含一条狗，SinGAN不会生成不同犬种的样本。不过，作者通过实验证明，SinGAN可以为多种图像处理任务提供非常强大的工具。
   2.SinGAN在仅仅一张图像上训练，这张图片既是训练样本也是测试样本。在这张图像上训练完了之后，同样在这样图片上测试。如果你想换一张图像测试，就必须先在那张图像上训练，这是有异于其他GAN的。
   但不是整个图像送进网络，而是在一张图片上crop出可以重叠的patches。用这些patches训练 然后SinGAN采用无条件GAN方式设计，而且是级联式的Generator-Discriminator pair的形式。每一个G-D都负责一种尺度作者发现，通过学习patch内部的数据分布，网络最终能在测试时输出保留原图中目标的结构以及形象，但是又不同于原图的真实图像