[CVPR2019]GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction

标题：GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction

链接：https://arxiv.org/pdf/1902.05978

这篇文章处理的问题就是从一张2D图片恢复人脸3D形状的问题，使用了经典的3DMM框架，最大的亮点就是在生成纹理图的时候用了GAN。

模型输入的三个参数其实可以分为两个部分，ps和pe就是原始3DMM中用的形状和表情参数。

而pt是输入texture gan的。texture gan本质上就是一个progressive gan，输入一组向量，输出一个真实的UV纹理图，在本文中这个progressive gan是单独的使用了一万张UV纹理图训练的，然后在别的部分训练的时候可以直接放到模型中，然后随便输入一组pt就可以得到一个真实的UV map了。

文中使用了四个loss：

identity loss：使用了一个人脸识别网络，然后将原始图像和渲染的图像都输入这个网络中，计算最后一层输出的cosine相似度。这个就是保证渲染出来的结果和原始的图片是同一个人。

content loss：还是是用之前的人脸识别网络，不过这次使用的是所有中间层的输出表示，另外计算的是向量之间的l2损失。这个是对identity loss的补充，用来保证连上个一些细节也一致，因为网络的中间层蕴含了更多抽象的细节信息。

pixel loss：这个就是直接计算生成图片和原始图片的重构损失，用来保证光照和方向之类的统一。

landmark loss：这个就是分别提取原始图片和渲染后图片的landmark，然后计算l2损失。

后续改进版：

Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction