风格和样式在GAN网络中的分离(Style and Content Disentanglement in Generative Adversarial Networks)CVPR 2019

该论文贡献：
1)提出了SC-GAN能够在无监督风格分离内容和风格表达；
2)提出了通过得到的损失来训练SC-GAN；
3)在实验中作者在BiGAN中添加了SC-GAN，使作者能够在样本中传输内容和风格；
4)提出了一个很好的质量检测方法；
实验优点：作者提出的方法可以学习分离风格和内容的表示（就是，内容不变的时候，风格要变化。相反，不管内容怎么变化，风格要不变），同时提高生成图像的质量。

介绍：在普通训练过程中同时训练了Content和Style，所以在latent Code（比如在CNN的第n层中）中会把Content和Style 都训了。所以作者提出了SC-GAN----一个无监督训练分离Content和Style表示；作者把Content定义为图片数据的几何信息，Style为捕获纹理属性。风格代码修改场景风格（应该是输入的Content code）通过修改AdaIn参数；（AdaIn是通过风格匹配内容的均值和方差进行风转）

该论文网络结构如下图：

其中MLP是用来动态的调整adaIn参数以在合成图片中调用不同风格；在Introduce中作者说:在每个残差层中加上AdaIN层（这也是作者说改进其他GAN的方法，比如在实验中，作者把LSGAN的最后一个卷积层前加上了风格化块），通过MLP生成AdaIN参数，MLP中输入的是想要的风格(desired style code)。

该网络结构生成器的网络结构如下图：

作者说该网络判别器(discriminator)与其他GAN相同；

损失函数：

在损失函数的计算过程中，比对的是相同风格不同内容或者相同内容不同风格：

1）内容损失，受论文perceptual loss的启发，内容损失函数为
，一致性损失函数为:

2）风格损失函数是用Gram矩阵能保存风格特征，风格一致性损失函数为:

3）因为光有上面两损失还不能对风格完全捕捉，又加上了多样性损失(Diversity loss)对相同内容，不同风格训练:
；对相同风格，不同内容训练损失函数：
。

总损失函数为下图：

可以从该损失函数中看出该论文的目的（分离合成图的风格和内容）。

实验结果如下图：
论文链接：Style and Content Disentanglement in Generative Adversarial Networks