starGAN 论文学习
StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation
2018年的cvpr
论文地址：
http://openaccess.thecvf.com/content_cvpr_2018/papers/Choi_StarGAN_Unified_Generative_CVPR_2018_paper.pdf
Abstract
解决图像转换一对多的问题，本文主要对人脸进行改变
1. Introduction
文章提到几个关键字的解释：
Domain---男人 or 女人
Arrtibute---年龄 头发颜色 表情
Attribute value---13 黑色 开心
左图为一对一图片转换所需的生成器
右图为本文的，只需要一个？！来看看怎么实现的把
本文贡献：
1. StarGAN只要一个G和一个D实现多领域转换
2. 提供一种掩码向量方法，使StarGAN能够控制所有可用的域标签
3. 在人脸属性转移和表情改变方面StarGAN效果很好
2. Related Work
cGAN
Image-to-Image Translation: 如pix2pix cycleGAN等
3. Star Generative Adversarial Networks
目标：G(x,c) -> y
标签c随机生成
3.1. Multi-Domain Image-to-Image Translation
先介绍用到的loss
对抗loss:
Domain Classification Loss（cls）：
在D的top中加入辅助分类器，在G和D中都各加一个分类loss
D的：
G的：
通过最小化该loss可让图片归类到domain c
Reconstruction Loss
Rec_loss:
重构loss，c是目标域，c撇是原域，可以看出经过两次GAN回到了原始图像，是不是很像cycleGAN呢，嗯哼
完整的loss:
3.2. Training with Multiple Datasets
starGan适用于多数据集间的转换。这样就有一个问题，比如另一个数据集没有需要的标签，因为在重构loss里需要域双方都有同类标签，那么该怎么办呢？作者提出了解决办法。
Mask Vector：
其中ci代表图像在第i组数据集的属性经过编码后得到的结果，n为数据集数目（ci可以是one-hot也可以是2分类）。文章中仅涉及两个数据集，n=2。m为该图像所属数据集的编号经过One-hot编码后得到的结果。
(p.s.嗯哼，好像看不懂啊？？？后面有个实验可以弄清楚点)
Training Strategy
训练时，生成器中加入标签c，通过这样做，生成器学会忽略未指定的标签，这些标签是零向量，并集中在给定的不为0的标签上，通过在CelebA和RaFD之间交替，判别器学习两个数据集的所有鉴别特征，并且生成器学习控制两个数据集中的所有标签。
ok，来看看训练过程
对D训练
（a）D对真假图片进行判别，真图片判真，假图片判假，真图片被分类到相应域
对G训练
（b）真图片+目的标签c进入G生成假图片
（c）假图片+原始标签c撇进入G又回去生成重构图片（重构loss）
（d）D对假图片进行判别，判假图片为真
（P.s. 好了，感觉和以前差不多对不对？就加了个domain分类，和较复杂的标签c）
4. Implementation
Improved GAN Training：
为了获得更好的效果，作者把原始GAN的loss换为Wasserstein GAN 的
（我晕，有机会看看）
Network Architecture：
没什么好说的，用别人的就是了，哈哈
5. Experiments
5.1. Baseline Models
比较对象：DIAT ？没看过 ，CycleGAN还有IcGAN
效果是挺不错的
5.2. Datasets
CelebA：
CelebFaces Attributes (CelebA) dataset，有202599张人脸，作者对图片进行了检测，
还使用以下属性构建了七个domian：头发的颜色（黑色，金色，棕色），性别（男/女）、年龄（年轻/老）。
RaFD：
The Radboud Faces Database (RaFD) 由67个参与者收集的4824幅图像组成，里面有各种表情
5.3. Training
参数就不说了~
数据增强方面作者用水平翻转
为了弥补数据的不足，当使用RaFD训练时，作者以0.0001的学习率训练所有模型100个周期，并在接下来的100个周期应用相同的衰减策略
5.4. 5.5 5.6 Experimental Results on CelebA，RaFD，CelebA+RaFD
我们就挑最后一个，CelebA+RaFD来看吧
这是作者一直强调的多训练集训练，效果好像是提升了，毕竟咱多数据集数据多嘛
Learned role of mask vector：
上图是正确掩码m为（0，1）
下图是错误掩码m位（1，0）
可以发现正确掩码让控制表情的RaFD数据集构建的网络发挥了作用，改变了表情；
错误掩码让可以控制年龄的celebA数据集构建的网络发挥了作用，改变了年龄~
6. Conclusion
嗯哼，新的东西就是标签c掩码向量的设计，有这个就可以实现多数据集（掩码m表示）多特征（多条件GAN）训练~