dodo：人脸识别方法个人见解

http://blog.sina.com.cn/s/blog_4d92192101008en6.html

(此贴最开始于 2007-6-23 19:50 发表在 prfans.com 上)  dodo

TPAMI = IEEE Transactions on PAMI 这个杂志 PAMI  是指 pattern analysis and machine intelligence这两个领域 1）PCA和LDA及其相关方法 Eigenfaces和Fisherfaces无疑是人脸识别中里程碑式的工作。就使用的方法而言，PCA和LDA都不是新方法，但是他们都是被第一次十分明确的用在人脸识别中的方法。之所以说"十分明确"，是因为就发表的时间来看，这两个论文都不是首次把这两个方法用在PAMI相关的分类识别中。这给我们一个小小的启示：一个新的方法专注于解决一个具体的问题可能会带来更大的影响，虽然这个方法具有一般性。 在现在人脸识别的方法中，这两个方法也是follow的人最多的。究其原因，除了其有效性之外，简单是其最大的特点。纵观PAMI历史风云，能经受住时间考验而流传下来的方法，除了有效之外一般都有两个特点其一：1）简单（PCA, LDA, K-Means, Normalized Cuts etc.）；2）复杂，但是解决一个具有一般性而且很难被解决的问题 (在AAM、3d morphable model有深刻影响的Lucas-Kanade算法)。所以如果你的方法一般人都有能力做得到，那就尽量把你的方法做的简单明确。这就是外国人推崇备至的所谓的Ockham's Razor原理（就个人情感而言，我十分讨厌这个名词）。在这里我要强调一点是，这里说的简单并不是说原理简单，Normalized Cuts就方法本身来说简单，但是原理并不简单；微分几何中的Gauss-Bonnet定理形式非常简单，内涵何其丰富。 在此我想多提两句。由于国内有诸多发论文的方法论，其中一个流传下来的一句话就是：系统做的越简单越好，理论做的越复杂越好。不可否认，这句话有它有道理的地方，但是如果用这句话教育后人，误人子弟矣。 后来出现了许多新的与之类似的方法，就TPAMI上发表的来看，比较有代表性就是 HE Xiaofei 的LPP和 YAN Shuicheng 的MFA。关于这两个方法的评论大家可参看j.liu贴中knato的回帖。 在这里我想谈谈我的个人见解。首先这两个方法的出现有它们的意义。LPP是流形学习中Laplacian Eigenmaps线性化，这样无疑会带动其它流形学习方法在识别问题中的尝试，一个为解决问题找到一个思路，二个为进入寒冬的流形学习找到新的用武之地，虽然这两个都不是上档次的思路，但是潜在影响还是有的。后来 YANG Jian 的UDP就是在LPP号召下在TPAMI上的产物。LPP是非监督方法，所以它的识别性能比LDA好的概率极其微弱。 MFA是基于局部数据关系的监督鉴别方法。它有两个最近临近点数量的参数要调。这两个参数是这个方法双刃剑。参数调的好，MFA会比LDA效果好，调的不好则不行。这样MFA用起来比LDA复杂，这样如果MFA的性能比LDA好的有限，而用起来复杂得多的话，它终将被历史所抛弃。 另外就像j.Liu在他的帖子中说出的一样，这些方法有一定的投机性，比如这两篇文章的试验，他们都把Fisherfaces(PCA+LDA)设为c-1，虽然这是按照原始论文的取法，但是是做过这方面工作的人都知道PCA的主元数目如果取得太大，PCA+LDA的性能会显著降低，在WANG Xiaogang的IJCV上的Random sampling LDA中清楚地给出了图形说明。所以他们论文中给出的实验比较不具可信性。 LPP, UDP, MFA都是我们中国人（至少这些方法发表时还都是）为第一作者发表的方法，个人认为其存在有一定的价值，但它们将是PAMI研究发展中的过眼烟云，无法与PCA,LDA相媲美。 2）LDA奇异性问题 众所周知，LDA是基于求解广义特征值问题（Sb*u=Alpha*Sw*u），所以在实际应用时遇到奇异性的问题，就是Sw矩阵不可逆。在人脸识别中解决这一问题的论文“浩如烟海”。这也说明了LDA的影响力之大。在这一类方法中，也有风格之分。 o. PCA 降维 在Fisherfaces中采用的就是先用PCA降维，再用LDA，这也是现在处理这一问题的一般方法。这里有个比较讽刺的事情。Belhumeur在他的论文里说：PCA actually smears the classes together。那末既然smears the classes together，既然PCA破坏类的结构，那为什莫还要用PCA降维？而且事实证明，即使在Sw可逆的情况下，用PCA features也会增强LDA在人脸识别中的性能。这里只能说明，PCA的作用或是PCA features并不是Belhumeur和其以后follow这样说法的人叙述的那样。PCA虽然简单，但是人们应该对它有个正确的认识，这个以后如果有机会再谈。 a. RDA 至今影响最大最实用的还是基于regularization思想的RDA。其实这个问题不仅仅在人脸识别中才被注意到。很早在统计中就被解决过，RDA发表于1989的Journal of the Americal Statistical Association杂志上，可见其久远。在Sw上加一个扰动项也是解决这一问题的最简单方法。 b.子空间投影 论文最多的也就在这一块。应用knato类似的排列组合方法，令image(Sw)和null(Sw)分别表示Sw的列（像）空间和零空间，则我们可很容易的就列出如下组合方法（强调：这里却不是提供给大家发论文的方法论，而是以较形象的方式叙述！） 把样本投影到 aa. image(Sb), bb. null(Sw), cc. image(Sw), dd. image(Sw)+null(Sw), ee. image(Sb)+null(Sw) 可并列可串行, ff. image(St)+null(Sw) 以上每一种组合就代表不止一篇论文，在此就不详细列举了。另外，你还可以把random sampling技术加进来，这样就可以不止翻倍。还有，你还可以把同样的技术用到KPCA KLDA (kFA)上，这样又可翻倍。更进一步，你还可以把ICA,LBP, Gabor features等诸如此类的东西和以上子空间混合，...，子子孙孙无穷尽焉。 这个东西做的最多的是国内的 YANG Jian。另外香港中文大学的 TANG Xiaoou 和他以前的学生 WANG Xiaogang 也做这相关的工作。YANG Jian的工作可以用他在TPAMI上的 KPCA plus LDA 这篇文章来概括，虽然他灌水无数，但就子空间方法而言，他这篇文章还有他发表在国内自动化学报上的那篇长文还是有东西的。如果你想做这一块的工作，值得看一看，是个较为全面的总结。TANG Xiaoou在子空间方面的代表工作（开山之作）就是dual spaces LDA, random sampling (and bagging) LDA, unified subspaces。（在此之后他还有学生一直在做，就不详细列举了。） 我建议想做这一块工作的同学们，要把TANG and YANG的工作烂熟于心，取长补短，相互学习，取其精华，这样可以较为快速而全面地掌握。 c. QR分解 矩阵和数值功底比较好的人，能做得更像模像样。Cheong Hee Park 和 YE Jieping 无疑是这方面的高手。去看看他们在TPAMI,JMLR, 和SIAM的J. Matrix Anal. & Appl上发表的论文可知一二。 d. 相关性 如果Sw可逆，则Sb*u=Alpha*Sw*u可以转化为 inv(Sw)*Sb*u=Alpha*u。那末就可以考察Sw的子空间和Sb子空间的相关性。这方面的代表工作就是Aleix M. Martinez在TPAMI上长文的那个工作。 e. 变商为差 变u'*Sb*u/(u'*Sw*u)为u'*(Sb-Sw)*u。 3）基于图像局部结构的方法 这一类获得广泛认可的方法有Gabor和LBP，另外还有可能有用的SIFT和differential features。 Gabor应用比较早有影响力的代表作就是EBGM。Gabor也是提取用来识别的visual feature的最常用手段。 有无数人因为LBP的极其简单而怀疑它的性能，但是有趣的是最近Ahonen在TPAMI上的短文，就是把LBP应用在人脸识别上，没有任何新的改进，这也说明Reviewer们和editor对这类方法的肯定和鼓励。在非监督feature extraction中，LBP有明显的优势，但是绝对没有达到作者在论文显示的那个水平。在他的论文中，LBP特别weighted LBP效果非常好，这和他们应用的FERET人脸库的人脸crop形式有关。他们应用CSU的椭圆模板来crop人脸，如果应用正方形的模板weighted LBP提高很有限。特别在FRGC Version 2上测试，LBP绝对没有一般监督性的识别方法好。另外这也给我们一个小小启示，就是加个weight其识别性能就能大大提高，这说明什莫问题呢？ 另外,LBP对image blocks大小有一定的敏感性，这个是要承认的。但是LBP有一个性能稳定的image blocks，并不是人们认为的histogram要符合一定的统计性等等。这个block size的选取比最优的PCA主元数目的选取要容易得多。当然这些都是小问题。 国内有人做Gabor和LBP的结合。当然是值得探索的，但是我个人认为不应该在这两种方法结合上花费太多精力。完全可以用类似形式考虑别的思路。 4) Sparse representation NMF和NTF都属于sparse representation的方法，都曾被应用在人脸识别中，但效果都非常有限。特别是NTF，属于数学理论上非常优美，但是实际效果很勉强的典型。 另外，Sparse representation (coding) 是一个很有趣也是很有前途的方法，Sparse representation 有很多方式，关键要看你怎莫用、解决怎样的问题。过段时间我们还有机会再谈。 5）Tensor方法 Tensor在人脸识别中至少到现在为止，还非常得不成功。最典型的就是M. Alex O.Vasilescu在ECCV'02上的tensorfaces。他们对于问题的分析和tensor的对应天衣无缝，非常有道理，数学实现上也同样简单，但是自从那个方法发表出来以后基本无人follow。究其原因，个人认为就是把本来简单的问题复杂化，最重要的就是复杂化以后并没有带来该有的益处。 Alex对tensor的应用是flattening high-way tensor。这是一种常见的处理tensor的方法，这样做的好处就是使tensor好处理易于计算。two-way tensorfaces就是我们理解的Eigenfaces。但是同样是tensor，这种tensor和Amnon Shashua的NTF有着本质的区别。NTF是纯正的tensor思想。但是它实现起来过于复杂，又加上原理比Alex的tensor更复杂，所以无人问津。但是不可否认，它们都是数学上十分优美的方法。如果你想学习tensor而又不想枯燥，我推荐你去看这三篇论文（Shashua两篇）。 6）参数模型 参数模型的应用也多种多样，比如HMM, GMM等。这两个都是一般性的建模方法，所以应用也很庞杂，而且在人脸识别中的应用大多是从speech recognition中的方法转化而来，在此就不多谈。有兴趣的同学们可以参看H. Othman在PAMI上的论文和Conrad Sanderson在PR上的论文。 但是在此其中，最简单的是Baback Moghaddam在TPAMI上那个Probabilistic Subspaces的文章，这个文章也是WANG Xiaogang的unified spaces的参考原本。 7) 3D 模型 代表作是Volker Blanz在TPAMI上的那个文章。不过个人十分不看好。 8）Personal Perspectives a. 基于子空间的方法很难在实际应用中有所用处 b. 基于找图像局部结构的方法更有希望。像EBGM, LBP, SIFT之类可以给我们很多有益的启示。这点和j.liu的观点一致。 c. 把人脸识别中的方法推广开来，应用到一般的分类和统计问题中，这也是人脸识别衍生出来的一大作用。 d. 由于我们国内的特殊研究环境，大家一般都喜欢做简易快的工作，所以人脸识别这一领域出现有华人名字的论文为数可观。其实在某些压力之下这也无可厚非，但是还是希望我们国人在有条件的情况下，不要以发论文为主，多关注于解决问题本身、尽量向推动理论发展的方向努力。我们绝对有这个能力。君不见，NIPS‘06两篇Best student paper被在国外留学的中国人获得，CVPR'07更是又传来喜讯：Best student paper由清华学生获得，这些都是迹象。我们正处于一个意气风发、大有可为的时代。就本人学术水平和资历来说，绝没有资格来说这些话，这只不过是个人的一点心愿和号召而已，同时更是勉励自己。 以上均是dodo个人拙见，囿于本人才疏学浅，难免出现挂一漏万和观点偏颇的情况，还请大家及时批评指正，以免曲彼误人。谢谢