ELEGANT_ Exchanging Latent Encodings with GAN for Transferring Multiple Face Attributes 论文小记

1. 介绍

论文提出了一个依据示例人脸图片来改变目标人脸图片的方法。
论文总结了现有模型用来改变人脸属性时的缺点：
1. 不能根据实例人脸图片来生成目标人脸图片
2. 不能同时转变脸部的多种特征
3. 生成图片的质量差

2. 论文的目的和感性认识

论文对这3个问题的解决方案：
1. 模型必须要接受到生成图片的条件参考，很多模型用的是label，但是label可以提供的信息实在是太少了。不能使生成的图片拥有多样性。所以论文使用了了图片的隐编码作为参考，隐编码提供的不只是lable，还有其他的dark matters藏在我们关注的东西后面。
2. 如何同时处理面部的多个特征呢？可以把隐编码分成不同的部分，代表不同的特征。
3. 利用residual learning来增强生成图片的质量。即每次让输入加上输出作为最后的输出。

3. 模型

3.1. The ELEGANT Model

假设有n个特征需要模型去学习。
用Encoder把一个图像分成n部分（n个channel dimension）。
因为总共有n个特征需要模型去学会如何分解以及转换，论文采用了迭代的方法，每次学习一个特征的提取和处理方法。
假设当前学习的是第i个特征，那么需要随机从数据集中选出两个图片A，B，满足：


即模型需要收到一个拥有当前学习特征的图片A，一个没有当前学习特征的图片B。令：

然后通过交换两个隐编码的第i个属性，得到：

随后通过decoder：

这里需要把两个向量拼接在一起的原因是，决定新图像的属性信息主要来自两个向量的差值，所以这个拼接向量，可以用两个向量的差代替（虽然本文没有这么做，应该是为了提取更多有用的信息）
除此之外，为了得到更好的结果，论文还在encoder和decoder之间使用了U-Net的结构。
论文还使用了一个大尺度的Discriminator和一个小尺度的Discriminator，分别保证生成图像在细节上的真实性和整体上的结构正确。
除此之外，因为模型是针对每个特征迭代训练的，所以让Discriminator知道当前判断的是哪一个特征是非常重要的。论文的方法是把Y和图片一起代入Discriminator中判断。