EfficientMisalignment-Robust Representation for Real-Time Face Recognition

摘要

用于鲁棒人脸识别的稀疏表示技术在今年来得到了广泛的研究。最近，非对齐的，带有遮挡或其它变化的人脸识别采用对齐鲁棒性的稀疏表示（RASR）方法已取得了有趣的成果。在RASR方法中，测试图片的最佳对齐是在数据库中一个对象一个对象地寻找的。然而，这种费力的寻找策略在大规模数据库中是非常耗时的。在本文中，我们提出一种新的方法，非对齐鲁棒表达（MRR），用所有训练样本张成的变换后的人脸空间来表达非对齐的测试样本。MRR采用由粗到精的策略进行两步优化，仅需要两步“变形-恢复”操作。在具有代表性的人脸数据库上的大量实验证明MRR在多个人脸识别和确认任务中具有和RASR一样的正确率，但是它比RASR的运行快数十到数百倍。在大规模人脸库Multi-PIE上，MRR的运行时间少于1秒，这显示了它在实时人脸识别中的巨大潜力。

1．  引言

人脸识别的研究和发展可分为两个分支：一个致力于解决非限制或者限制较小的环境下采集图像的人脸确认问题，代表性人脸库有LFW[2]和PubFig[3]，代表算法有[3-6]。另一分支致力于解决半控制和测试者合作情况下采集的图像的识别问题，大量应用于访问控制，计算机系统，手机和自动取款机等。第二个分支的目标是高鲁棒性和高识别率，目前很多先进的算法[7-14]都沿着这一目标去解决各种挑战，包括人脸图像退化，遮挡，非对齐和各种光照，表情问题等。

近来出现的基于稀疏表达的人脸识别算法属于上面提到的第二个分支，用来解决应用中的一类重要问题，在该类问题中，训练图片都是在严格控制性环境下采集的。先驱性工作出现在[8]中，基于稀疏表达的分类器（SRC），将识别问题投射为在整个训练图片集上寻找测试图片的稀疏线性表达。此外，假设人脸图像中outlier pixels是稀疏的并且用一个单位矩阵来编码outliers，SRC对人脸遮挡和人脸图像退化有较好的鲁棒性。SRC的成功激发了随后大量的工作，比如结构稀疏表达[9]，鲁棒稀疏编码[10]，SRC for continuous occlusion [11]等。

虽然对齐的训练图片很好准备，测试图片却需要利用某种检测器，如Viola和Jones的人脸检测器[15]来自动裁剪。不可避免地，这会存在几个像素的注册误差，这将使得很多人脸识别算法[16]的性能变差，包括SRC[8]。为解决这一问题，通过在人脸表达中增加变形因子[17]，出现了很多人脸识别算法，如robust subspace learning to misalignment [14]，同时解决对齐和稀疏表达[7,12]的算法，这些算法能同时解决非对齐，遮挡和其它变化（如光照）。一些人脸图像注册方法，如AAM[17]，ASM[18]和非监督连接点对齐[5]，在处理表情姿态变化中有优势，但是他们的目标是人脸对齐而非识别，且这些算法复杂度过高不适于实时人脸识别。因此，本文的目标是沿着[7,8,12,14]的思路提出一种新的鲁棒性的人脸识别方法。

同时解决对齐和稀疏表达[7,12,14]算法为解决遮挡，非对齐，光照和表情变化等问题的鲁棒性人脸识别提出来一个有希望的框架。然而，依然存在大量隐忧。文献[14]中的方法，采用间接模型（利用相邻像素的联系）来恢复图像变换，使得原始问题更复杂而且弱化了处理非对齐问题的能力。与[14]不同，[7]和[12]在图像变换和稀疏表达中都采用了直接模型。然而，用可变训练样本替代测试图片[12]使得稀疏表达的字典尺寸非常大，动态地增加了难度和图像表达的时间复杂度。最近的工作[7]采用了integral model of robust alignment by sparse representation (RASR)，该方法没有[12]和[4]的缺陷。但是，由于要处理图像空域变换和unknown identity，很难优化。作者提出一种穷举搜索对象的次优方法，时间复杂度随样本类别的增加而线性增加。这种耗时优化使得RASR算法在大规模和实时人脸识别系统中禁用。

本文将提出以后总有效的用于实时人脸识别的非对齐鲁棒性的表达（misalignment-robust representation ，MRR）。我们将说明[7]采用的产生次优结果的穷举搜索方法是不必要的。通过分析为什么同时解决图像对齐和稀疏表达问题是困难的，我们设计了一种基于相关变大的非对齐鲁棒性模型，能够有效地避免陷入糟糕的局部最小化。我们提出的MRR算法能够避免求解稀疏表达时的耗时操作，并且能通过由粗到精的搜索策略采用两步操作有小弟解决优化问题。与RASR[7]相比，MRR的时间复杂度基本上独立于数据库的样本类别（用c表示），速度比RASR快了c/2。在基准数据库上的实验表明，MRR具有和RASR相当的识别率，且更重要的是，它是真正的实时人脸识别算法，在大规模数据库Multi-PIE上，它比RASR快150倍。

本文的余下部分按下面的方式组织：第二节简要回顾RASR方法[7]。第三节提出MRR的模型和算法。第四节分析时间复杂度。第五节做实验。第六节总结全文。