一、3D人脸重建基础梳理

针对3D人脸重建算法的研究从上个世纪就有学者开始研究，目前基础的方法有如下几类：

1.基于3DMM（3D morphable model三维人脸形变统计模型）的方法

3DMM最早由Thomas Vetter等人在文章“A morphable model for the synthesis of 3D faces”中提出，至今很多人脸重建方法都是在这篇文章的基础上发展而来，加上深度学习方法的出现，对于模型参数的求解又给出了更多的方法，在接下来的文章中，会详细介绍这一方法。

2.基于SFM（Structure from Motion由运动到结构）的方法。

在Richard Szeliski所著的《Computer Vision: Algorithms and Applications》一书中，在第七章专门对这个方法进行了阐述，通常意义下的的SFM是根据给出的几幅图像及其图像特征的一个稀疏对应集合，估计3D点的位置。求解过程通常涉及3D几何结构和摄像机姿态（运动）的同时估计，后续会对这一方法做详细说明。

3.基于XFS（由X到形状，例由阴影到形状、由纹理到形状、由聚焦到形状）也是常用的从二维恢复三维的方法。

由阴影到形状（SFS），是光滑物体表面法向量改变，从而使得入射光在物体表面的亮度发生变化，而体现出物体的形状。亮度变化是局部表面方向和入射光夹角的函数。

3D Face Reconstruction from a Single Image Using a Single Reference Face Shape

在大部分SFS方法中，都假设所考虑表面具有均匀反照率和反射率，且光源的方向要么已知，要么可以使用参考目标标假设定得到。在假设光源和观察者都在远处的前提下，亮度的变化（辐照度方程）变成单纯的局部表面方向的函数，

                                           ,                                （1.1）

例如一个漫反射（朗伯，Lambertian）表面的反射图是表面法向和光源方向的非负点积，

                                        ，                （1.2）

为表面反照率因子。

其中公式（1.1和1.2）可使用非线性最小二乘或其他方法估计，常用约束是光滑性约束和可积分性约束。

而往往一个实际物体表面很少具有一个统一的反照率，因此SFS方法需要配合其他方法（例如立体视觉匹配和已知纹理）才能变得有用。立体视觉和纹理成分可以提供纹理区域的信息，而由阴影到形状则填补了具有均匀颜色的区域的信息而且可以提供关于表面形状更精确的信息。

光度测量立体视觉

使用多个可以选择性开关的光源（用三色光源可替代开关光源），此时光源在传统立体视觉中不同位置的摄像机的作用。对每个光源，我们有一个不同的反射图。对于漫反射表面，如果用参数化局部方向，我们可以对非阴影像素得到一组如下形式的线性方程

                                                                                                             (1.3)

利用线性最小二乘可以恢复。只要（三个或三个以上）向量是线性无关的，即它们不在同一个方位角，这些方程是适定的。

4.基于体素(voxel)方法

Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression

5.基于二维图像表示法

随着深度学习方法的广泛使用，许多文章提出将三维形状映射到二维图像表示，从而构造从二维图片重建三维形状的方法。例如，

PNCC: Face Alignment Across Large Poses: A 3D Solution

UV-map: Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network

【欢迎各位提出修改意见进行指正】