Differential Generative Adversarial Networks: Synthesizing Non-linear Facial Variations with Limited Number of Training Data

• Abstract

面对人脸数据缺失的问题，提出了用D-GAN生成人脸从而增加数据量的方法。D-GAN可以用很小的训练数据生成逼真人脸。

'end to end' D-GAN structure

一般的用gan生成特殊表情的思维就是上面一半，用“默无表情”的图作为约束，生成有表情的图，然后用一个标准判别器判断哪个生成的表情是真实的。但是问题是这个约束并不能保证能生成我们要的表情，它只能保证生成的图片足够真实（因为判别器只能判断哪个更加真实）。所以这里它增加了一个“差值判别器”作为辅助，这个差值判别器把原先标准判别器需要判断的两张图片，分别和输入的“默无表情图”做差，得到两张差值图片（谁笑的更厉害），再把这两张插值图片输入这个新的差值判别器，来判别哪个是真哪个是假（这样，就把“哪张图片更真”的约束变成了“谁笑的更真”的约束）。一开始的输入是用一个one-hot vector的label code 生成的label channel,然后用这个channel作为约束图片的条件，一并输入生成器得到表情图片。

• label code to label channel

label code(10 x 1) =>fully convolution =>256 x 1 => fully convolution =>4096 x 1 vector => transformed/reshaped to label channel indicating spacial position where the face needs to be changed

• Approximated face manifold

这篇论文还有意思的一点就是，它通过改变输入one-hot vector的不同表情标签值的大小，可以找到高维空间manifold里面的不同的图片，有点类似vae所用的手段。这个牙齿一样的几个数字，可以看成高位空间运动的方向盘，它能带我们找到不同表情在超空间的位置。甚至可以把不同表情混合，找到“愉悦的忧伤”或者“痛并快乐着”的位置：）

image.png

image.png

image.png

• Conclusion

image.png