【GAN 02】GAN在风格迁移上的应用

本文是对http://www.seeprettyface.com/research_notes.html的学习笔记

 

1. CycleGAN：在传统风格迁移算法中：认为backbone的浅层包含纹理、颜色信息；深层包含结构信息，并用Gram描述style feature相似性，二范数描述content feature相似性。还可以建立类似auto-encoder的框架，用两个生成器代替encoder和decoder，其中第一个生成器用于将图片做风格迁移，第二个生成器用于将上一步输出转换为原始图片，保证相似性。

2. StarGAN：对域有了更细粒度、更语义的划分。

 

1. CycleGAN

考虑用GAN去生成去生成不同风格的图片，增加一个判别器，判别这张图片是真实还是伪造的。

 但上图的结构是危险的，因为当生成器足够深时，它可能生成一张和Domain Y中某张图片的style/content完全一致的图片，这会导致模型忽略输入图片。因此，我们需要保证生成器的输出和输入具有很高的相似性，即不丢失原图的contet feature。

 再进一步，CycleGAN可以做成双向的：

但是，因为需在判别器处拿高分，Gx->y可能会学习将原图的一些不适用于风格相似性的东西隐藏掉，然后在第二个生成网络中又复原出来。

 

2. StarGAN

如果希望建立多个域之间的关联，每两个域之间需要两个生成器。因此StarGAN希望只用一个生成器去实现所有domain之间的转换。对于判别器，它的输入是一张图片，输出是real/fake image以及属于哪个domain。对于生成器，它输入目标domain和图片，输出是符合目标domain的图片。