3d-face-reconstruction比较

摘要：比较近3年，6篇顶会3d-face-reconstruction重建效果。

1:Deep3D

**发表时间:**2020
成就：
1）在REALY和REALY (side-view)两个Benchmark上取得 State-of-the-art。
2）官方github上成绩：

3DMM：基模：BFM2009
论文侧重使用场景：正脸，无遮挡，自然光场景。
训练过程：
训练集：CelebA, 300W-LP, I-JBA, LFW和LS3D数据集。大概26W左右。图片对齐后resize到224*224作为输入。

（1）采用弱监督学习的方法，使用较重网络（R-Net，后面接全连接层，回归239个系数）训练回归模型，回归3DMM参数。
（2）239=80个shape系数+64个表情系数+80个纹理系数+6个pose系数+9个光照系数
（3）根据3DMM参数，构建mesh 和贴图。
（4）加一系列loss指导学习，反向更新R-Net模型权重，从而更新3DMM参数。
效果：出来时间太久远，没跑效果。

2:MeLn-Game

发表时间:2021
成就：
1）官方github上成绩：

3DMM：基模:BFM2009
论文看点： 将三维人脸的形状（3DMM mesh）迁移到游戏三维人脸模板上。
训练过程：

（1）采用弱监督学习的方法，使用较重网络（工程公布的模型96.5MB，回归257个系数）训练回归模型，回归3DMM参数。
（2）257=80个shape系数+64个表情系数+80个纹理系数+6个pose系数+27个光照系数
（3）根据3DMM参数，构建3DMM mesh 和贴图。
（4）将3DMM mesh 通过RBF转化为Game mesh.
（5）加一系列loss指导学习，反向更新CNN模型权重，从而更新3DMM参数。
效果：

3:3DDFA_V2

发表时间:2021
成就：
1）在 Florence Benchmark上取得 State-of-the-art。
2）官方github上成绩：

3DMM：基模：BFM2009
论文看点：使用轻量级网络，回归3DMM系数，主打快。
训练过程：

（1）使用轻量级网络训练模型，回归62个3DMM参数（40个shape系数+10个表情系数+12个pose系数）。
（2）根据3DMM参数，构建3DMM mesh 和贴图。
（3）使用WPDC和VCD两种他们提出的loss，指导学习。
跑一张图片，官网公布的最少耗时是1.35ms ,我用公司mac跑，用公布的最小模型，mb05_120x120.pth，3.8MB，耗时8ms。
效果：

4:hifi3Dface

发表时间:2021
成就：
官方github上成绩：

3DMM：基模：200个高清亚洲人脸图片构建。如果换成BFM，不能生成贴图。
论文看点：（1）自己制作的基模（符合腾讯财大气粗的风格）（2）3DMM系数不是通过模型回归得到，是通过在线拟合得到。
训练过程：

（1）通过在线拟合，生成头模和原始贴图。1张图片出结果，大概需要2分钟。

（2）对原始贴图进行unwrap,区域拟合，和pixtopix三步，生成精细的贴图。
效果：

5: DECA

发表时间：2021
成就：
1）在Stirling-HQ (FG2018 3D face reconstruction challenge)和Stirling-LQ (FG2018 3D face reconstruction challenge)两个不同的 benchmark上取得 State-of-the-art的效果。
2）官方github上成绩：

3DMM：基模：FLAME2020
论文看点：（1）细节纹理与表情分开，能让脸部表情随动自然（2）使用场景不限室内，支持野外图片
训练过程：

（1）DECA有粗糙人脸重建Ec(resnet50的主干)和精细人脸重建Ed，两个过程。
（2）Ec负责回归236个系数(100个shape系数，50个表情系数，50个纹理系数，6个pose系数，27个光照系数，3个相机参数)。
（3）Ec后过程后面，加一系列loss，使用Flame做基模，重建mesh和贴图。

（4）Ed负责回归128个细节系数。然后加上Ed回归的50个表情系数和纹理系数中的3个皱纹系数，重建一张细节的法线贴图。后面再加一系列loss。

效果：

6:MICA

发表时间:2022
成就：
1）在NoW Benchmark上，取得 State-of-the-art。
2）官方github上成绩：

3DMM：基模：FLAME2020
论文看点：采用有监督方式，重建有度量标识的mesh
实现过程：

（1）encoder: 用ArcFace做主干，后面接全连阶层，最后回归300个系数.
（2）Decode: 用encoder得到的300个3DMM系数，加flame基模，重建mesh.
（3）用监督的方式，训练上述过程，得到与实际图片同样刻度的头模。

效果：

总结：

（1）个人感觉，人脸重建这块，基模的选取，对后面的头模重建影响很大。
（2）目前主要的基模，BFM和FLAME，FLAME比较新。
（3）目前主要训练回归模型，回归3DMM系数，用系数重建mesh和贴图。
（4）整个过程，loss那块可做文章的空间较大。