【3d face reconstruction】DECA论文阅读

题目：Learning an Animatable Detailed 3D Face Model from In-The-Wild Images（ACM Trans. Graph. 2021）

单位：Max Planck Institution

一、摘要

•提出了一种方法能够回归3D人脸形状并且有特定于个体的随表情变化的细节。

•提出的模型DECA（detailed expression capture and animation）能够从由特定于人的细节参数和通用表情参数组成的低维潜在表示中稳健地生成UV位移map，而回归器经过训练，能够从单张图片中预测细节、形状、反照率、表情，姿势和照明参数。

•提出了一种新的细节一致性损失，它将个人特定的细节与表情依赖性皱纹分离开来。这种分离允许我们通过控制表达参数合成真实的特定于人的皱纹，同时保持特定于人的细节不变。

•在NoW上的实验取得了SOTA的效果。

二、网络结构

 

首先在训练阶段，输入一张图片I，进行进行粗糙的回归（蓝线）和细节回归（红线）两部分。

在粗糙回归阶段，I首先进入Ec，回归出一个低维的latent code，它包含相机，反射，光线，形状，姿势以及表情编码，通过FLAME得到一个coarseshape，通过DA（BFM的线性反射子空间作为FLAME的UV生成）得到一个纹理的map，再根据相机和光照参数，渲染出一个2D图片Ir，然后最小化Ir和I之间的差异。

 

       在细节回归阶段，我们通过一个细节的UV位移map增强了粗糙的FLAME几何，输入一张图片I，通过一个训练好的encoder Ed（Ed和Ec有相同的结构）得到一个128维的latent code（控制了一个人特定的静态细节），将这个code和从Ec中得到的表情和下颌姿势参数拼接起来（获取这个人的动态表情皱纹细节），得到一个新的code，由decoder Fd解码成D。将D转化为法线map用于渲染。

       细节渲染：细节位移模型可以生成带有中等频率的表面细节图片。为了得到有细节的几何M’，需要将粗糙的几何加上细节，即：

然后就可以通过M’，计算出它的法向N’用于渲染出带有细节的图片Ir’： 

 

 三、结果