Morphable Face Reconstruction with Multiple Images

使用多张图像来还原3D人脸
简介：
首先通过2D图像上的特征点结合位姿参数，来估计3D人脸上对应的特征点
然后建立2D形状模型来估计3D形状模型
最后还使用多张图的纹理特征结合3D人脸的位姿参数来还原3D纹理

Morphable Shape Modelling
这个和3DMM不同，3DMM里既有形状又有纹理，但是这个形状模型（MSM）中只有形状参数，这可以帮助加速运算。
这里作者使用了前人提出的2DMSM模型，通过多张图构建多个2DMSM，然后联合还原3DMSM。

Multi-Image Pose Recovery
使用一个旋转矩阵R和位移矩阵T来表示pose，通过2D到3D的投影关系，使用图形学中的方法来预估出pose

Multi-Image Texture Extraction
通过对不同角度的像素颜色加权求和得到最终的纹理结果。需要遵循的几个原则是：
1.被遮挡的地方权重是0
2.权重系数需要是平滑的
3.权重由曲面法线和投影方向而定
流程：
1.构建一个柱面坐标系，然后将纹理图和每张图都放到这个坐标系中。在坐标系中初始化权重分布，将所有可见点的权重都设为1，不可见的点权重设为0
2.从3D人脸上向图片投射光线，相交的第一个点就是对应点
3.将对应点的权重设为初始参数和位姿确定性相乘得到最终权重。

Morphable Reconstruction with Multiple Images
之前得到的结果可以给我们正脸和侧脸的2DMSM，但是3DMSM有三个坐标，因此就迭代式的用正脸和侧脸的2DMSM估计3DMSM，然后用3DMSM还原正脸侧脸的2DMSM，这样不断优化，直到收敛。

专业词汇：
surface normal:曲面法线