【3d face reconstruction】综述阅读

paper：State-of-the-art in 3D face reconstruction from a single RGB image

一、methods

第一步就是要选择一个face model的几何表示。它可以是点云，深度图、法线图或者参数模型。在这几种之中，参数模型是最常用的。尽管人脸各有不同，但人脸的几何机制是相似的，可以用一些参数和参数表达来描述一个复杂的人脸

shape-from-shading(SFS)

SFS是一种非常基本和典型的3D重建方法。其基本原理是利用灰度图像的亮度信息和亮度生成的原理来获得三维空间中每个像素的法向量，最后根据法向量获得深度信息。通过信息物体表面的明暗变化，我们可以得到物体的几何结构。

由于从阴影中获取形状是一个病态的姿态问题，因此，SFS需要一个可靠的初始3D形状作为参考，以手动对其输入的面部图像，有了这个先验信息，再使用来自阴影的形状来恢复几何形状。

• 用面部对称性特征来约束从阴影获取几何形状的问题【3】
• 3DMM被广泛的用作初始面部形状【4】
• SFS可以通过给定光系数和反射参数的优化过程来恢复精细的几何细节。细化利用了输入图像中的阴影线索，用细尺度的静态和瞬时表面细节来增强中尺度模型。【5】

与传统的3DMM相比，SFS可以获得更好的人脸细节。它是为三维人脸模型添加痤疮皮肤和皱纹等细节的好方法。

3DMM

从一张2D图片或者视频帧重建3D人脸形状是一个有很多模糊性的病态姿态问题。解决一些模糊任务的方法之一就是使用三维人脸模型来完成。3DMM也称为三维模型拟合。

• 1999年，Vetter和Blantz介绍了用于合成三维人脸的3DMM，这是一种代表人脸的主成分分析（PCA）基础。【6】
• 它是最常用的从单一图像重建人脸的方法之一，使用3DMM的好处是，解空间被限制为只是近似的解，因此问题可以被简化。【7】
• 2016年，Zhu提出了一个3DMM的自动重建过程。但是，当只使用一张图像时，自动初始化管道通常不能产生相同质量的重建。【8】
• 此外，3DMM解决方案不能提取精细的细节，因为它们不被主成分所覆盖。常用于面部追踪的3DMM包括萨里人脸模型（SFM），这是Huber在萨里大学创建的3D可变形人脸模型【9】
• Paysan等人在巴塞尔大学创建的巴塞尔人脸模型（BFM）。BFM是一个生成的三维形状和纹理模型。它使用主成分回归（PCR）模型来进行回归二维人脸标记，并以更高的形状和纹理精度重建三维人脸。【10】

虽然3DMM大大减少了数据量，提高了计算效率，但由于计算精度的降低，它不能描述具有高细节和良好真实性的3D模型。

 deep learning

在过去的几年里，深度学习方法已经彻底改变了计算机视觉[12]。随着深度学习的发展，经典的三维可变形人脸建模和参数估计技术正在被深度学习取代或与之相结合[13]。由于深度网络的速度和鲁棒性，在大的姿势和野外图像上也能实现可靠的性能。此外，深度学习方法适用于提取精细的细节，如皱纹。显然，深度学习在三维人脸重建和人脸外观建模方面取得了一些成就，特别是在以下四个方面：正面人脸到任意姿势、闭塞处理、训练和测试的分离、合成数据和无监督的真实图像[14]。

基于深度学习的人脸重建方法通常包含两个部分：数据基础和三维人脸重建过程的管道（图3）。基于深度学习的三维人脸重建成功的最重要因素之一是有大量的训练数据[15]。我们将在第三节讨论二维和三维人脸数据库。

三维人脸重建过程的管道可以分为粗略的人脸重建和精细的（皱纹和毛孔）人脸重建。对于粗略的脸部重建，脸部地标或3DMM参数被视为训练的监督信号。密集的细部重建方法预测密集的形状变化，而不是低维的参数。

二、database

2D database

Among the 2D face databases shown in Table 1, the most commonly used 2D face databases are Multi-PIE [19], 300W [25] and CelebA [29]. The CMU Multi-PIE face database contains more than 750,000 images of 337 people with a range of facial expressions [19]. 300W is well known because it was the first facial landmark locali- zation Challenge [25]. CelebFaces Attributes Dataset (CelebA) is a large-scale face attributes dataset with more than 200K celebrity images, each with 40 attribute anno- tations [29]. 

3D database

Active methods are Structured Light Systems (SLS), Laser Scanners (LS) and Time-of-Flight (TOF) sensors. Passive approach could be Multi View Stereo (MVS).

3D face databases normally contain facial images aligned with their ground truth 3D shapes. These databases are essential for 3D face reconstruction and evaluation. For example, Basel face model (BFM) [9] are commonly used for 3D face reconstruc- tion, and BU-3DFE (Binghamton University 3D Facial Expression), BU-4DFE and BP4D-Spontaneous are normally used for evaluations. 

三、3D face reconstruction methods based on deep learning 

最近开始一个新的关于3D人脸重建的项目，记录一下阅读的相关论文和跑的相关项目吧！欢迎批评交流！