三维人脸研究

 

 三维人脸研究现状：

传统的人脸识别方法是基于二维图像分析的理论进行人脸的表示、分析、提取特征并进行分类识别。虽然基于二维图像的人脸识别算法在半个多世纪的研究过程中，取得了丰硕的成果，但是研究表明，基于二维图像分析的人脸识别方法受到诸如光照、姿态、表情等成像条件的影响较大。与二维数据相比，三维数据包含了人脸的空间信息，是人脸本身固有的信息，对外界条件的变化具有很好鲁棒性[13]。采集获得的脸部三维形状数据不随光照、视图的变化而变化，且化妆等附属物对图像影响很大而对三维数据影响不明显；而且三维数据在信息量上比二维图像丰富，三维数据具有显式的空间形状信息，而二维图像本质上仅是三维物体在二维空间上的投影，在投影过程中损失了很多有利于识别的信息。

因此，三维人脸识别越来越受到图像处理、模式识别领域研究人员的青睐。研究者普遍认为，三维人脸包含更多的有利于识别的信息，利用人脸的三维信息进行识别将有助于克服传统的基于二维人脸图像的识别方法所遇到的困难。近年来，随着三维人脸获取系统的成熟和发展，更多的研究者将主要的精力投向了三维人脸识别，挖掘三维人脸数据中包含的有用信息进行人脸识别，并取得了较大的进展[14,15]。

虽然三维人脸数据信息量丰富，但如何提取对分类有效的特征进行人脸表示是三维人脸识别的关键研究内容，也是首要解决的问题。按照三维人脸的表征和匹配方式对国内外人脸识别算法进行归纳、分析和综述，可将三维人脸识别算法分为基于局部特征的方法、基于全局特征的方法和基于多模态特征的方法。

【参考文献】

13 G. Medioni, R. Waupotitsch. Face modeling and recognition in3-D.Proceedings of IEEE Workshop on Analysis and Modeling of Faces and Gestures,Nice, France, 2003:232-233

14 A. Scheenstra, A. Ruifrok, R. C. Veltkamp. A survey of 3D facerecognition

methods. Proceedingsof International Conference on Audio- and Video-Based Biometric PersonAuthentication, New York, 2005: 891-899

15 K. Bowyer, K. Chang, P. Flynn. A survey of approaches and challengesin 3d

and multi-modal 3d+2dface recognition. Computer Vision and Image Understanding. 2006, 101(1):1-15

三维人脸数据库:

目前国际上已有多个大规模的二维人脸数据库，这些数据库为二维人脸识别算法提供了评测和性能比较的公共平台。2004 年之前，很少有公开的三维人脸数据库，近年来，越来越多的研究组织开始建立自己的三维人脸数据库。公开的三维人脸数据库为三维人脸识别领域提供了实验的依据。下面列出了部分公开的三维数据库：

1）University ofNotre Dame database(UND)[34, 35]

UND 库由University of Notre Dame 提供，其中包括 277 人的 953 幅人脸深度图像，采集设备为 Minolta 三维扫描仪。所有的人脸都是正面、无表情的，图像尺寸为 320*240。这个库包含了用于三维人脸配准的标准库 FRGC Ver1.0。

2）FRGC Ver2.0[36]

FRGC V2.0 包含了465 人的 4007 幅 2.5 维图像，图像尺寸为 320*240，采集设备为Minolta Vivid 900/910 seriesscanner，采集时间从 2003 年秋至 2004 年春。除了中性表情外，还包括一些带表情的图像，如：微笑、惊讶等。

3）GavabDB[37,38]

GavabDB 库包含了 61 人的 549 幅三维图像，其中 45 名为男性，16 名为女性。所有的被采集者都是高加索人种，年龄从 18 至 40 岁。每个采集分别采集 9 幅图像：2 幅中性正面、2 幅左右全侧面、1 幅仰头、1 幅低头、1 幅微笑表情、1 幅大笑表情、1 幅随意表情姿态图像。

4）3D_RMA[39]

3D_RMA 库包含了 120 人，每人 6 幅点云深度数据，包括姿态：正面、左或右、仰头或低头。该数据由基于结构光的采集系统分两次采集。

5）BU-3DFE[40,41]

BU-3DFE 库由Binghamton University 提供，包括 100 人，其中 44 名男性，56 名女性，采集对象包括白人、黑人、亚洲人、印度人等。每个人被采集 25 幅图像，包括一

个中性模型和 6 类带表情模型，每种表情分为 4 种程度，包括的表情有：高兴、厌恶、恐惧、生气、惊讶、悲伤。

6）USF[42]

USF 数据库由University of South Florida 提供，包含 100 个中性表情的三维人脸模型，该库用 Cyberware scanner 采集。该库中的 2.5 维数据可免费申请。

7）BJUT-3D Facedatabase[43]

BJUT 三维人脸数据库由北京科技大学提供，其中包含 500 人的三维模型，男女各半。该库用 3D CyberWare 3D scanner采集，每人采集一个三维模型，对每个模型去噪并切除了多余部分。

【参考文献】

[34].Chang, K. I.,Bowyer, K. W.,Flynn, P. J. Multi-modal 2D and 3Dbiometrics for face recognition[A]. In

IEEE International Workshop on Analysis and Modeling of Faces andGestures[C], 2003.

[35].UND. http://www.nd.edu/~cvrl/UNDBiometricsDatabse.html.

[36].FRGC. http://www.frvt.org/FRGC/.

[37].GavabDB. http://www.gavab.es/recursos_en.html.

[38].Moreno, A.,Sanchez, A. Gavabdb: A 3d face database[A]. In 2ndCOST275 workshop on Biometrics

on the Internet[C], 2004; 75-80.

[39].3D_RMA. http://www.sic.rma.ac.be/~beumier/DB/3d_rma.html.

[40].Yin, L.,Wei, X.,Sun, Y., etc. A 3D facial expression database forfacial behavior research[A]. In 7th

International Conference on Automatic Face and Gesture Recognition [C],2006.

[41].BU-3DFE.http://www.cs.binghamton.edu/~lijun/Research/3DFE/3DFE_Analysis.html.

[42].USF. http://www.csee.usf.edu/~sarkar/index_files/DataAndCode.htm.

[43].BJUT.http://www.bjut.edu.cn/sci/multimedia/mul-lab/3dface/face_database.htm.

三维人脸表情识别的研究现状：

虽然有很多的研究者致力于三维人脸识别研究，但是对于三维人脸表情识别的研究却较少。大部分自动人脸表情识别研究是基于静态图像和图像序列的[88-106]。三维表情识别通常会跟踪人脸特征点，例如鼻尖、嘴唇、眼镜和眉毛等。这些特征点可以作为描述符（如主曲率和相对距离），或者用于建立人脸解剖学意义上的对应关系。后者是建立可变人脸模型的关键部分，可变人脸模型的参数可以用于表情分类。

J. Wang 等人[107]根据面部肌肉及其动态配置的神经解剖知识进行人脸区域的划分，用不同区域的几何描述分布来进行表情分类。对于每个区域的点用主曲率标记，然后用其直方图进行面部表情分类。

J. Sung 等人[108]提出了 Stereo Active Appearance Models（STAAM）方法，这种方法是他们提出的著名的 AAM 算法的扩展。AAM 是 2D 人脸形状和颜色的线性模型。首先用 Procurstes 分析将人脸图像映射到一个中性模型上，然后采用 PCA 判定形状和颜色的主要模式。J. Sung 将深度信息融入 AAM 中。深度信息是由两个摄像头采集获得的立体成像方法计算得出的。采用 GDA（Generalized Discriminant Analysis）分类器将人脸表情分为四类：中性、高兴、惊讶和愤怒。

Ramanathan 等人[109]采用了基于模型的方法。首先通过寻找曲面之间适当的映射建

立人脸的解剖对应，该过程类似于用一个弹性可变模型拟合点云模型。一旦建立了对应，新的人脸可表示为少数样本脸的线性组合。在低维子空间通过配准线性系数实现表情分类。

Mpiperis 等人[110]采用了类似的方法，在三维人脸中通过拟合弹性变形模型来建立对

应。但是，他们是通过训练数据集发现一套规则来分类表情的。使用数据挖掘方法来寻找规则，并以此作为一个最优化问题来计算。采用蚁群优化和粒子群优化方法得到一个最大化的品质函数，通过结合规则和品质函数得到最优化的解。

B. Gong 等人[111]将三维人脸的表情形状分为两个部分：BFSC 和 ESC。其中 BFSC代表中性无表情人脸基础结构，ESC 则包含了表情引起的形状变化。为了分离 BFSC 和ESC，通过学习方法对每个输入的非中性表情人脸建立参考脸。基于 BFSC 和原始表情脸，设计人脸表情描述符。然后将描述符输入 SVM 进行表情分类。

R. Srivastava 等人[112]认为表情变化后，人脸特征点的起始位置到最终位置的空间位移（留数）比静态的表情脸含有更丰富的信息，进而利用留数进行 6 种表情分类。

H. Tang 等人[113]用人脸特征点之间的距离和斜率作为特征，根据 FAPUs 对脸上的五个部分别进行归一化，最后用 SVM 进行表情分类。在 H. Tang[114]的另一篇文章中，他将 83 个人脸特征点之间的归一化后的欧式距离作为特征，通过边缘类条件特征分布的平均相对熵最大化进行特征选择，最后采用多级 AdaBoost 分类算法进行六类表情分类。

Y.V. Venkatesh 等人[115]采用 actvie contour 算法从二维图像上提取眉毛、眼睛、鼻子和嘴巴区域的显著轮廓，把这些轮廓映射到三维网格曲面以获得有关区域的形状描述。对于每种表情和每个人计算形状特征矩阵，然后采用改进 PCA 进行表情识别。

【参考文献】

[88].Pantic, M.,Rothkrantz, L. J. M. Automatic analysis of facialexpressions: The state of the art[J].

Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2000,22 (12): 1424-1445.

[89].Fasel, B.,Luettin, J. Automatic facial expression analysis: asurvey[J]. Pattern Recognition, 2003, 36(1): 259-275.

[90].朱明旱,罗大庸. 2D FLD 与 LPP 相结合的人脸和表情识别方法[J]. 模式识别与人工智能, 2009, 22(1): 60-63.

[91].付晓峰. 基于二元模式的人脸识别与表情识别研究[D]. 杭州: 浙江大学 控制理论与控制工程

2008.

[92].宋明黎. 人脸表情的识别、重建与合成[D]. 杭州: 浙江大学 计算机科学与技术 2005.

[93].刘伟峰. 人脸表情识别研究[D]. 中国科学技术大学 模式识别与智能系统 2007.

[94].何良华. 人脸表情识别中若干关键技术的研究[D]. 南京: 东南大学 信号与信息处理 2005.

[95].叶芳芳,许力. 基于 CMAC 神经网络的人脸表情识别[J]. 计算机仿真, 2010, 27 (8): 262-265.

[96].应自炉,李景文,张有为. 基于表情加权距离 SLLE 的人脸表情识别[J]. 模式识别与人工智能,2010, 23 (2): 278-283.

[97].谭华春,章毓晋. 基于人脸相似度加权距离的非特定人表情识别[J]. 电子与信息学报, 2007, 29(2): 455-459.

[98].黄永明,章国宝,董飞, etc. 基于 Gavor、Fisher 脸多特征提取及集成 SVM 的人脸表情识别[J]. 计算机应用研究, 2011, 28 (4): 1536-1543.

[99].孙正兴,徐文晖. 基于局部 SVM 分类器的表情识别方法[J]. 智能系统学报, 2008, 3 (5): 455-466.

[100].王上飞,张锋,王煦法. 基于时序分析的微弱表情识别方法[J]. 模式识别与人工智能, 2010, 23 (2):148-153.

[101].周晓彦,郑文明,邹采荣, etc. 基于特征融合和模糊核判别分析的面部表情识别方法[J]. 中国图象图形学报, 2009, 14 (8): 1615-1620.

[102].朱明旱,罗大庸,王一军. 基于图像重建的表情识别算法[J].中国图象图形学报, 2010, 15 (1):98-102.

[103].应自炉,唐京海,李景文, etc. 支持向量鉴别分析及在人脸表情识别中的应用[J]. 电子学报, 2008,36 (4): 725-730.

[104].薛雨丽,毛峡,郭叶, etc. 人机交互中的人脸表情识别研究进展[J]. 中国图象图形学报, 2009, 14(5): 764-772.

[105].魏冉,姜莉,陶霖密. 融合人脸多特征信息的表情识别系统[J]. 中国图象图形学报, 2009, 14 (5):792-800.

[106].刘晓旻,谭华春,章毓晋. 人脸表情识别研究的新进展[J].中国图象图形学报, 2006, 11 (10):1359-1368.

[107].Wang, J.,Yin, L.,Wei, X., etc. 3D facial expression recognitionbased on primitive surface feature distribution[A]. In IEEE Computer SocietyConference on Computer Vision and Pattern Recognition[C], 2006.

[108].Sung, J.,Lee, S.,Kim, D. A real-time facial expression recognitionusing the STAAM[J]. Pattern Recognition, 2006, 1 275-278.

[109].Ramanathan, S.,Kassim, A.,Venkatesh, Y., etc. Human facial expressionrecognition using a 3d morphable model[A]. In IEEE International Conference onAutomatic Face and Gesture

Recognition[C], 2006;661-664.

[110].Mpiperis, I.,Malassiotis, S.,Petridis, V., etc. 3d facial expressionrecognition using swarm intelligence[A]. In IEEE International conference onAccoustics, Speech and Signal Processing[C],2008; 2133-2136.

[111].Gong, B.,Wang, Y.,Liu, J., etc. Automatic facial expressionrecognition on a single 3d face by exploring shape deformation[A]. In the 17thACM international conference on Multimedia [C], 2009;569-572.

[112].Srivastava, R.,Roy, S. 3D facial expression recognition using residues[A].In TENCON[C], 2009;1-5.

[113].Tang, H.,Huang, T. S. 3d facial expression recognition based onproperties of line segments connecting facial feature points[A]. In AutomaticFace & Gesture Recognition[C], 2008; 1-6.

[114].Tang, H.,Huang, T. S. 3D facial expression recognition based onautomatically selected features[A].In IEEE Computer Society Conference onComputer Vision and Pattern Recognition Workshops[C],2008.

[115].Venkatesh, Y.,Kassim, A. A.,Ramana Murthy, O. A novel approach toclassification of facial expressions from 3D-mesh datasets using modifiedPCA[J]. Pattern Recognition Letters, 2009, 30 (12):1128-1137.

 

 

人脸表情识别的研究已历经了几十年，并在以二维静态图像以及二维图像序列[1，2]为基础的研究上取得了很大的成果。目前，此课题又将研究方法定位为对三维人脸表情的识别，以及怎样在保证不降低识别效果的前提下实现自动特征提取从而实现三维人脸表情自动识别系统。近年来很多研究者亦已在此课题上做了一定的研究。

Jun Wang [3]等人基于BU-3DFE数据库[4]上率先做出三维人脸表情识别的研究。他们首先在人脸模型上手动标出64 个特征点来划分出7 个局部人脸表情区域，并以此为单位对每个局部人脸表情区域提取12 种人脸特征，并将这些特征最终应用到LDA 分类器上达到分类的目的。

2008年，Soyel和Demirel[5,6]利用手动标定的11个人脸特征点来获取6个距离特征，并以此作为概率神经网络（PNN，probabilisticneural network）的输入并获取最终的分类结果。Tang和Huang[7]从83个手动标定点上获取了24个标准的距离长度来形成一个候选特征集，并由相对熵来决定从候选特征集中选择最好的特征来做识别。同时在文献[8]中，他们基于预先定义的点来获取的连线的属性作为特征，从而实现了不依赖于个人和性别的人脸表情识别。

 

2009 年，Y.V. Venkatesh [9]等人采用由手动标定的68 个特征点的形状信息结合改进的PCA 方法实现了人脸表情的识别。同时，Umut Tekguc [10]等人采用NSGA II 准则从整个特征空间中决定出最好的人脸特征集，且这个特征空间由标准化后的距离向量组成。

 

2010 年，Stefano Berretti[11]等人基于深度图中的一组人脸标定点计算SIFT 描述子， 并结合SVM 实现分类的目的。

从上述的论述中，我们可以发现，所有这些对于三维人脸表情识别的前期工作中所用到

的特征都是由人工标定的特征点获得的相关特征并应用于识别。事实上，很多时候，人工干预在某些系统上是必须避免的。基于这一点，本文提出了一种三维人脸表情自动识别的策略。【李小利---基于变化人脸的三维人脸表情识别】

首先，三维人脸网孔结构要转化成三维人脸方格结构，因为方格结构的模型能够非常容易的获取深度图；然后在基于标准化的深度图的基础上获取变化人脸；最后利用傅里叶谱作180 为特征，利用一对多的多分类SVM算法（包含了三个不同的核）来识别人脸表情。最终用高斯核SVM获取的最高识别率是85.33%，与当前主流的人脸表情识别方法识别率相比具有很好的可比性。最重要的一点是我们提出来的策略不需要任何人工干预，而本文提出的方法是可以完全自动的实现，这在某些系统中是至关重要的。

与获取点的坐标信息相似，我们计划提取人脸模型中的颜色信息并融合到特征向量中。然后我们将探索一些其他的基于变化人脸的表情特征，并且尝试其他的分类器来提高三维人脸表情识别的识别率。最重要的是寻找一种有效的方法来对特征进行降维更是急切所需的。

 

[1] Caifeng Shan, Shaogang Gong, Peter W. McOwan, "Facialexpression recognition based on local binary patterns: a comprehensivestudy," Image and Vision Computing, vol. 27, no. 6, pp. 803-816, 2009.

 [2] Zhihong Zeng, Yun Fu,Glenn I. Roisman, Zhen Wen, Yuxiao Hu, Thomas S. Huang, "Spontaneousemotional facial expression detection," Journal of Multimedia, vol. 10,no. 5, pp. 1-8, Aug. 2006.

[3] Jun Wang, Lijun Yin, Xiaozhou Wei, Yi Sun, "3D facialexpression recognition based on primitive surface feature distribution,"2006 IEEE Computer Society Conference on Computer Vision Pattern Recognition,vol. 2, pp.1399-1406, 2006.

[4] Lijun Yin, Xiaozhou Wei, Jun Wang, Matthew J. Rosato, "A 3Dfacial expression database for facial behavior research," 7thInternational Conference on Automatic Face and Gesture Recognition, pp.211-216, Apr. 2006.

 [5] Hamit Soyel, HasanDemirel, "3D facial expression recognition with geometrically localizedfacial features," 23rd International symposium on Computer and InformationScience, 2008.

 [6] Hamit Soyel, HasanDemirel, Facial expression recognition using 3D facial feature distances, 4thInternational Conference on Image Analysis and Recognition, 2007, 22-24.

 [7] Hao Tang, Thomas S.Huang, "3D facial expression recognition based on automatically selectedfeatures," IEEE Computer Society Conference on Computer Vision and PatternRecognition Workshops, pp. 1-8, Jun. 2008.

[8] Hao Tang, Thomas S. Huang, "3D facial expressionrecognition based on properties of line segments connecting facial featurepoints," IEEE International Conference on Automatic Face & GestureRecognition, pp.1-6, Sept. 2008.

[9] Y. V. Venkatesh, Ashraf A. Kassim, O. V. Ramana Murthy, "Anovel approach to classification of facialexpressions from 3D-mesh datasetsusing modified PCA," Pattern Recognition Letters, vol. 30, pp.1128-1137,Sept. 2009.

[10] Umut Tekguc and Hamit Soyel, Hasan Demirel, "Featureselection for person-independent 3D facial expression recognition usingNSGA-II," 24th International Symposium on Computer and InformationSciences, pp. 35-38, Sept. 2009.

[11] Steafano Berretti, Alberto Del Bimbo, Pietro Pala, "A setof selected SIFT features for 3D facial expression recognition," 20thInternational Conference on Pattern Recognition, pp. 4125-4128, Aug. 2010.

 

二十多年来，虽然基于图像的人脸识别已取得很大进展，并可在约束环境下获得很好的识别性能，但仍受光照、姿态、表情等变化的影响很大，其本质原因在于图像是三维物体在二维空间的简约投影．因此，利用脸部曲面的显式三维表达进行人脸识别正成为近几年学术界的研究热点．文中分析了三维人脸识别的产生动机、概念与基本过程；根据特征形式，将=三维人脸识别算法分为基于空域直接匹配、基于局部特征匹配、基于整体特征匹配三大类

进行综述；对二维和三维的双模态融合方法进行分类阐述；列出了部分代表性的三维人脸数据库；对部分方法进行实验比较，并分析了方法有效性的原因；总结了目前三维人脸识别技术的优势与困难，并探讨了未来的研究趋势．【王跃明--三维人脸识别研究综述】

 

三维人脸识别是指将采集获得的待识别对象的脸部三维形状数据作为识别依据，与库中已知身份的脸部三维形状数据进行匹配，然后得出待识别对象身份的过程．三维人脸识别是相对基于图像(及视频)的人脸识别而言的，而后者所使用的数据是二维的图像，其本质是三维物体在二维平面上的投影，是三维信息在二维空间中的简约．自动的三维人脸识别系统的基本步骤如下：

Stepl．通过三维人脸数据采集设备获得待识别对象的脸部三维形状信息．

Step2．对获得的三维数据进行自动去噪声、切割等预处理．

Step3．从三维数据中提取特征．

Step4．用分类器对提取的特征做分类判别，输出最后的决策．鉴于三维人脸数据采集的独立性，目前三维人脸识别算法研究通常是指Step2～Step4，即假设三维人脸数据已经可获得．

三维人脸匹配算法：

        基于空域直接匹配的方法：基于空域直接匹配的方法不提取特征，直接进行曲面相似度匹配，常用的方法有迭代最近点法(iterative closest point，ICP)和Hausdorff距离法等，这类方法通常分为对齐和相似度计算2步．

        基于局部特征的匹配：基于局部特征的匹配方法的关键在于，如何从三维的脸部曲面中提取有效的形状几何信息特征．三维人脸识别中，局部特征主要包括局部描述符、曲线特征以及其他一些局部几何特征或统计特征．

        基于整体特征的匹配：该类方法注重三维模型的整体特征，主要分为：

1)将三维人脸统一用深度图表示，直接使用基于表观的方法；

2)将三维人脸映射为EGI(extendedGaussian image)，然后匹配EGI；

3)整体变换三维模型后再做匹配．

 

 

 

 

 

基于稀疏表征的三维人脸表情识别研究

Paper：3D face recognition based on sparse representation

 

 

3D FaceRecognition Based on Local Shape Patterns and Sparse Representation Classifier

http://www.springerlink.com/content/n6670835u578k0r1/

Abstract

Inrecent years, 3D face recognition has been considered as a major solution todeal with these unsolved issues of reliable 2D face recognition, i.e.illumination and pose variations. This paper focuses on two critical aspects of3D face recognition: facial feature description and classifier design. Toaddress the former one, a novel local descriptor, namely Local Shape Patterns(LSP), is proposed. Since LSP operator extracts both differential structure andorientation information, it can describe local shape attributescomprehensively. For the latter one, Sparse Representation Classifier (SRC) isapplied to classify these 3D shape-based facial features. Recently, SRC hasbeen attracting more and more attention of researchers for its powerful abilityon 2D image-based face recognition. This paper continues to investigate itscompetency in shape-based face recognition. The proposed approach is evaluatedon the IV2 3D face database containing rich facial expression variations, andpromising experimental results are achieved which prove its effectiveness for3D face recognition and insensitiveness to expression changes.

Keywords  3D face recognition - local descriptor -Local Shape Patterns (LSP) - Sparse Representation Classifier (SRC)

近年来，三维人脸识别一直被视为一个重要的解决方案，可靠的二维人脸识别，即光照和姿态变化来处理这些悬而未决的问题。本文侧重于三维人脸识别的两个关键方面：面部特征的描述和分类设计。为了解决前，一种新型的局部描述符，即局部形状模式（LSP），建议。由于LSP的操作员提取差分结构和方向的信息，它可以全面描述当地的形状属性。对于后者，稀疏表示的分类器（SRC）被应用到这些三维形状的面部特征进行分类。最近，型钢已吸引了越来越多研究者的关注，其强大的能力，基于二维图像的人脸识别。本文继续探讨其形状为基础的人脸识别能力。 IV2含有丰富的面部表情变化的三维人脸数据库上所提出的方法进行评估，并取得前途的实验结果证明其三维面部识别和表达的变化不敏感的成效。

 

 

 

基于稀疏表示的三维人脸识别：【基于三维特征的人脸识别算法研究】

         稀疏信号表示[78-81]（又被称作压缩感知）是一种非常有效的高维信号获取、表示与压缩方法。该方法的前提是高维信号内在存在一种自然稀疏基底的表示形式，而利用凸优化算法或者贪心算法能够精准的计算出这种稀疏表示[82]。稀疏表示理论对传统的信号处理应用有极大的推动作用，然而在计算机视觉领域，我们更关注图像的内容或语义层次的表示，而不是简洁、高保真的表示。近年来，随着数学领域的研究发展，特别是对于1l 范数优化问题的研究突破，推动了稀疏表示在计算机视觉领域的应用，比如人脸识别[83]，图像超分辨率[84]，动作和数据分割[85,86]，有监督的降噪和修复[87]，背景建模[88,89]和图像分类[90]

等，这些研究均是稀疏表示在计算机视觉领域的成功应用。为了进一步提高人脸表征的精确性和鲁棒性，进一步提升人脸识别算法性能，本章通过对稀疏表示理论的研究，深入探讨了基于稀疏表示框架的三维人脸识别算法。

首先，提取了3 种三维人脸几何特征对原始人脸进行描述，由于三维人脸特征的数据量庞大，严重影响了稀疏表示的应用，进而本章提出了一种基于元素的 Fisher 线性判别分析（e-FLDA）的三维人脸特征排序挑选策略。该策略从庞大的人脸特征信息中，挑选出少量对识别有效的人脸个性特征，提高了算法的识别性能，降低了算法的计算代价，从而保障了稀疏表示理论在三维人脸识别中的应用。最后，稀疏表示框架被用来提取三维人脸的稀疏特征，并利用重构残差进行人脸识别。

研究背景：

近年来，稀疏表示已经被成功应用于基于图像的人脸识别[83]研究中，并且取得了令人满意的结果。在稀疏表示框架下，每个人脸样本被表示成一组能够有效刻画该样本本质属性的特征集。在相同人的人脸样本数据之间相似度较高的先验知识前提下，测试人脸可由训练集中k 个该同类人脸参考样本的一组线性表示近似表出，即测试人脸在训练集中所有参考人脸组成的基底中具备固有的k 稀疏性[78]。相比传统的人脸识别方法，基于稀疏表示框架的方法具有独特的优势。

首先，通过解决l0范数最小化优化问题，使测试人脸与少量训练集中参考人脸关联起

来，而且l0范数最小化优化问题的目标函数更适合人脸识别的最终任务；其次，由于稀疏表示固有的信源与误差分离属性，只要人脸的表征方式具有充足的信息量，其他人脸无关特征的介入不会使算法的识别性能下降；第三，在稀疏表示框架下，向训练集中增加对象的样本数量一定程度上能够提高训练集的稀疏特性，使得稀疏表示更准确、科学，但不会因过多样本的介入使算法的识别性能下降，这与传统的识别方法[70,71]不同。

尽管稀疏表示具有一定的优势，但在人脸识别的应用领域，稀疏表示并不能根除一些实际应用问题带来的障碍，比如人脸光照、姿态和表情等因素，这些因素可能对人脸样本造成巨大扭曲、变形。为解决这些问题，Wright 等人[83]提出通过对人脸训练集进行更科学的组织设计，使之更适应外界因素的干扰，比如增加多样性的训练样本，使训练集覆盖所有可能的扰动。然而，现有的实验数据库均很难满足这个需求，而且实际应用中也很难满足这项要求。

三维人脸数据因其对光照和姿态变化的不敏感性，越来越受到更多研究者的关注，有些研究者利用三维信息辅助二维人脸图像信息进行人脸识别研究[91]。然而，三维人脸的应用也有一定的困难。首先，三维人脸网格或点云数据连续特征的缺失或三维人脸参数模型的不连贯性，使其利用统一的采样模式直接进行对齐特征的提取有一定难度，也阻碍了基于表观的方法或稀疏表示框架的直接应用。另外，人脸表情等因素可能导致人脸全局网格的剧烈扭曲、变形，导致识别算法效率急剧下降[92,93]或计算代价极大增加[94,95]。

基于稀疏表示的人脸识别框架：