[TOG2021](DECA)Learning an Animatable Detailed 3D Face Model from In-The-Wild Images

标题：Learning an Animatable Detailed 3D Face Model from In-The-Wild Images
链接：https://arxiv.org/pdf/2012.04012
DECA(Detailed Expression Capture and Animation)

目标

在弱监督的情况下训练一个从单张2D图片到3D人脸转换的模型。并且3D人脸可以生成真实的动画。

动机

基本就是为了提升FLAME的效果。基础的FLAME模型会受限于网格密度而丢失一些面部细节，例如皱纹。而DECA就是为了在这方面提升。

主要思想

1. 同一个人在不同表情下，面部细节是有区别的（例如皱纹），但是与此同时，面部的整体形状是不会变化的。因此建模的时候应该将面部形状看做静态细节，而皱纹什么的看做动态细节。文中的做法就是将动态细节与表情挂钩，静态细节与身份挂钩（这个和FLAME一样）。
2. 除了FLAME参数以外还加入了反射参数，相机参数，光照参数。

方法

1. 粗糙重构损失：将原始2D图像通过一个ResNet-50输出对应的FLAME参数，反射参数，相机参数，光照参数。然后再用这些参数重构回原图，计算重构损失。
2. 特征点映射损失：计算2D图像的landmark和投射到FLAME模型后再映射回二维的landmark之间的差距。
3. 闭眼损失： 和特征点映射损失很像，不过就只包含landmark中上下眼皮的那几个点。之所以单独拿出来是因为他对面部重构结果有较大的影响，甚至会影响到面部形状。
4. 光照损失： 使用了别人的方法计算3D投射后和原图的光照区别。
5. 身份损失：先训练一个人脸识别模型，将图片输入人脸识别模型后拿到输出的embedding，最后对两个人的embedding做相似度计算。。
6. 形状一致性损失：以前的方法（FLAME）都是要求同一个人的不同照片的形状参数的区别小于一定值，但是这个阈值就难以选择。所以他们尝试直接对调同一个人的两个图片的形状参数，要求他们重构损失越小越好。
7. 约束项： 约束了情绪和反射参数不能太大。