文献笔记：《Fitting a 3D Morphable Model to Edges: A Comparison Between Hard and Soft Correspondences》读后感~

        这也是最近读的arXiv文献，关于基于单幅人脸图像进行三维重构的，注意是单幅人脸图像，而不是两幅或者多幅，单凭这一点就很吸引人，因为其难度很大，之前的算法包括自己实现过的算法，效果都一塌糊涂，那本文介绍的算法有何过人之处？我们可以先看看它的效果图。

图1. 三维重构效果图，第一行：大姿态，第二行：正面照，第三行，基于第一行恢复的正面照

       有没有眼前一亮的感觉？第三行和第二行相比，除了不可避免的缺失区域（白色区域），已经十分相近了，就凭这个实现效果，我马上把这篇论文仔仔细细的看了一遍。在说这篇论文的亮点之前，我先说说之前我是怎么做这个事情的，老规矩直接上图！！！

图2. 人脸三维重构流程图

        

      我想根据这个流程图大家很快就能明白人脸三维重构是怎么一回事情了，这里有一处没有提到，就在旋转3D模型那块，其实这个3D模型完全可以是可形变的，如何对3D模型根据输入图像进行形变也是当前的一个研究难点，此处打算另开一个博客进行经验分享，既然做好了铺垫，下面我们就说一下本文的创新之处在何方。我的总结该文献有以下两点贡献：

1. 引入了边缘信息用于寻找对应点。

2. 迭代解决问题。

     筒子们！！狂欢吧！！先自己想想，我去打个篮球。。。。。回来继续补上。。。。

     打球归来一天了！！继续开始写，先解释一下文献设计到的名词。

     1. 3DMM，三维可形变模型，每个照片的人脸都是不同的，尤其是姿态和表情，你想用一个模型做“模子”来表达一张人脸，总要想方设法让三维模型也“笑”也"哭"吧？OK，这就是3DMM的目的，一般的做法无非就是得到一堆三维人脸图像，求个PCA，然后就可以利用几个“特征脸”来模拟人的表情了。

     2. 尺度正交投影，就是弱透视，就是我第一篇博客里提到的公式，无非就是告诉我们用这个公式之前要假设人脸深度的变化和人脸距离相机的距离显得“不值一提”。

     3. 硬对应，这个地方是作者的创新之处，“对应”指的是三维模型的点和二维图形点的对应关系，就是流程图中的“计算对应点”步骤。至于为什么要叫做硬对应，下面会详细说明。

     4. 软对应，作者要对比的方法，软对应是之前这个领域内常用的方法：简历一个能量函数，利用最优化理论求出最优对应关系。

     下面详细说说，作者的“硬对应”思路。如图所示，这是作者在计算对应点的第一步迭代示意图。

     

图3. 第一步迭代示意图

其中，左面的图像代表图像上检测出来的特征点，基于这些特征点能够求出人脸姿态P和形变模型S，然后就将模型形变旋转进一步投影，“糊在”图像上面，也就是中间那副图像，这个时候注意了，一旦姿态和形状不准，这个投影模型肯定和图像的对齐效果很差，二者吻合的相当差，这个之后我们咋办？？？？？？

      这个时候不得不感慨，这世界上的聪明人真多，作者想出了一招，他觉得只有匹配点太少了，还要再制造一些点出来，于是他想到了图像的边缘点，他又想到了投影模型也有边缘点，OK，那还扯什么扯了，直接上ICP吧！！！！啥是ICP？？？就是最近点迭代算法，经典的不行不行了。。。。

      我们看看第三幅图吧，绿色和红色的点就是投影模型的边缘点（计算过程挺复杂），蓝色的点就是图像的边缘点（Canny算法），绿色的点是有可靠边缘的点，红色的点是无可靠边缘的点，进一步，下一步迭代投影模型的边缘点就都换成绿色点的可靠边缘点。然后开始ICP的下一轮迭代。

 

      作者经过试验验证，说其硬对应方法要比软对应方法好很多，并且提供了代码，有兴趣的童鞋可以下载下来跑一跑哈！

(转载请注明：http://blog.csdn.net/wsj998689aa/article/details/50754595, 作者：迷雾forest)