StackGAN++: Realistic Image Synthesiswith Stacked Generative Adversarial Networks 论文解读

StackGAN++是ICCV 2017 的文章《StackGAN++: Realistic Image Synthesis with Stacked Generative Adversarial Networks》。由于Stack GAN 在训练过程中不足够稳定以及生成更多种类的样本图片，由此提出了更好的Stack GAN++。

一、相关工作

Stack GAN-V1

论文链接: [https://arxiv.org/pdf/1710.10916.pdf]
代码实现: [https://github.com/hanzhanggit/StackGAN-v2]

二、在Stack GAN++的基础上的创新点：

1.将原先的Stack GAN的两阶段的堆叠结构改为了树状结构。包含有多个生成器和判别器，它们的分布像一棵树的结构一样，并且每个生成器产生的样本分辨率不一样，本文中依次为64 x 64 128 x 128 256 x 256。生成的图片分别送入各自对应的判别器进行判断。这样的多尺度的图片分布的好处在于：如果任何一个尺度的生成图片与该尺度的真实图片的分布尽可能的近似，那么就能够提供很好的梯度信号去稳定或促进真个网络的训练。
2.在判别器的模型中加入了有条件和无条件的损失函数。且实验结果表明有利于图片的生成。
3.加入了颜色一致性归一化（Color-consistency regularization）项。这能够保证来自同一输入的向量在不投的生成器端在色彩上尽量保持一致，从而能够保证最终生成的256 x 256的图片的质量。

三、论文介绍

Stack GAN++的整个网络结构为：

1.多分布的生成对抗网络
多分布就是指多尺度的生成器和判别器，且每个判别器都加入了有条件和无条件的损失分布函数。主要的相关公式为：

训练判别器的模型时通过最小化下面的损失函数：

训练生成器的模型时通过最小化下面的损失函数：

以上并没有加入有条件和无条件的损失函数。

2.加入有条件和无条件的分布近似
论文中在这一部分对生成器和判别器的目标函数做了修改，以达到生成更好的图片质量。
判别器的目标函数为：

生成器的目标函数为：

3.颜色一致性归一化（Color-consistency regularization）项
这个Color-consistency regularization的过程是：令 x_k = (R,G,B)^T用来表示生成图片的一个小苏，然后通过公式μ = ∑_k x_k /N 和 ∑ = ∑_k( x_k - μ) ( x_k - μ) ^T /N来计算整张图片的均值和方差。N是整张图片的像素个数。然后通过最小化下面的公式进而能够最小化均值与方差在不同的尺度上的不同：

四、评价模型的方法

文中用了两种方法：inception score(IS)和fr´echet inception distance (FID)。IS越大说明模型的性能越好，而FID则是越小表明模型的性能越好。

五、实验

1.不同的方法在不同的数据集上的表现：

2.Stack GANs,GAWWN,and GAN-INT-CLS 在数据集CUB上的实验

3.利用 t-SNE去对由StackGAN-v1和StackGAN-v2在CUB测试集上生成的图片做模型的坍塌实验。结果显示StackGAN-v2更好。

后面还有一些关于有条件和无条件分布的对比实验，详细的细节可以观看原文。