FaceID-GAN: Learning a Symmetry Three-Player GAN for Identity-Preserving Face Synthesis

1. 前言

CVPR2018的文章。
在图片合成领域，GAN得到了非常多的应用。和传统的GAN拥有一个generator和一个discriminator，两者相互竞争不同，FaceID-GAN拥有三个player。如下图：

Figure 1（a）

多了一个player是classifier，它和generator竞争，来区分真是图片和合成图片的id。

2. 介绍

从上图中左图可以看出，传统的GAN包含了和两个player，用于产生合成图片，用于区分真实图片和生成的图片。
但是在人脸领域中，仅仅产生一个看似真实的图片是不够的，我们期望产生的图片和原来的图片能够看着像同一个人。也就是identity-preserving 。为此
作者拓展了原来的GAN，增加了一个classifier，也就是。
将真实图片和生成图片作为输入，也就是。之后预测它们的label：。我们希望它们预测得到的label一样。

有一点需要注意的是，即使用于将真实图片的特征和生成图片的特征分为同一类，但是它并不具备将这两个特征变的非常接近的能力。如下图：

Figure 2

它做的仅仅是让和的距离比和其他的距离近而已。

因此，仅仅加一个分类器并不能保证identity preserve。为此作者提出了FaceID-GAN。让和竞争，和合作。从上图的右图可以看出，FaceID-GAN不仅在id1和id2之间分类，而且在真实的id1和假的id1之间分类（通过使用2N个label）。在这种情况下，为了迷惑，生成的图片，在特征空间上，不仅仅要在正确的分类边界内，还必须尽可能地靠近真实的特征。

由于同时处理真实图片和生成图片，它比分别处理更加容易。

2. Previous work

• one-to-one：
  Figure 3 (a)
  
  

  学习一对一的映射，例如：风格转换，高分辨率图片生成，从图片到草图的生成等。

• many-to-one：
  Figure 3 (b)
  
  

  例如人脸的转正。

• many-to-many：
  Figure 3 (c)

• FaceID-GAN：
  Figure 3 (d)

3. Proposed Method

整体结构如下图：

Figure 4

从上图看出，

使用Morphable Model计算facial shape feature

，然后通过

将它转换为期望的shape feature：

。

是一个人脸识别模块，它提取人脸的等价特征

。

使用

作为输入，生成一个伪造的人脸图片

，

。
如前所述，FaceID-GAN有三个players，

，前两个用于区分真实和生成的图片，最后一个用于合成人脸，并且减少差别。可以定义loss如下：

1，2，3

其中，

表示不同的energy function。

• 增大生成图片的energy，减少原图的energy，来增加两者之间的差别。
• 包含了一个分类器，用于将真实图片和生成图片分别分类
• 在中，它减少来与竞争，减少真实图片和生成图片特征之间的余弦距离，和生成图片的shape feature和目标shape feature之间的l2距离。

3.1 Discriminator D

为了能够对每一个像素施加一个监督信号，作者使用了auto-encoder作为discrminator，也就是说，D努力减少per-pixel的距离
作者引入了一个regularization term ：

4

其中

是学习率，

是diversity ratio。

3.2 Classifier C

5

3.3 Shape Estimator P

作者使用3D Morphable Model(3DMM)来将人脸图片映射到shape feature space。

3.4 Generator G

9， 10