基于弹性束图匹配的人脸识别

原文地址：基于弹性束图匹配的人脸识别(自己做的ppt) 作者：雪后DE阳光

主要内容

1、EBGM的提出

2、弹性图匹配

3、弹性束图匹配

4、相似度量及搜索策略

5、算法的效率及改进

 

EBGM的提出

什么是EBGM:EBGM(Elastic Bunch Graph Matching)弹性图束匹配。

       1997年，wiskott等使用二维结构的Gabor小波对人脸图像进行处理，将人脸表达成由若干个特征点构成的，具有一定拓扑结构信息的人脸弹性图。弹性图束匹配是现有人脸识别算法中较有影响的一种。弹性图束匹配算法是从弹性图匹配算法发展而来的。它将人脸用格状的稀疏图表示，图中的节点用图像位置的Gabor小波分解得到的特征向量标记，图的边用链接节点的距离向量标记。

弹性图匹配算法

       弹性图匹配算法采用标号图来表示人脸图像，标号图的节点用一组描述人脸局部特征的二维Gabor小波变换系数来表示；标号图的边用描述相邻两个节点向对应位置的度量信息来表示。通过不同的人脸图像的标号图之间的匹配来实现人脸对应部位的局部特征之间联系，从而能够对人脸图像解进行比较和分类识别。进而对图中的每个节点位置进行最佳匹配。

Jets的定义

Gabor小波是以任意一个高斯函数作为窗函数的波函数。一个图像像素与不同方向和频率的Gabor核卷积后的系数集合称为一个Jet。

一个Jet描述了图像I (x)给定像素x=(x, y)周围的一小块灰度值，基于小波变换，定义如下卷积：

 

Jets的定义：在弹性图匹配算法中，人脸上的特征点采用Gabor 滤波器进行特征抽取。Gabor 核函数为：

 

其中波矢量为：

  其中频率系数ν=0,..,4；方向系数μ=0,..,7,这样形成40 个相关系数来描述灰度图像中x点附近邻域的特征。

为什么用Gabor 小波？

       Gabor小波变换核函数具有与人类大脑皮层简单细胞的二维反射区相同的特性，即能够捕捉到对应于空间频率（尺度）、空间位置及方向选择性的局部结构信息，被广泛地应用于图像分析和理解。Gabor 小波的特性使得其对于亮度和人脸表情的变化不敏感，这对应人脸识别极为有利。

Jets的定义：一个Jet定义为由从每个像素点获得的40个复系数组成的集合{Jj}:

 

  式中， 为复系数的幅值，  为复系数的相位。 两个Jets之间的相似性可以定义为：

标号图的边

标号图的边包含节点的相对位置信息，对于相邻节点xi和xj之间的边可以用欧氏距离向量来表示：

 

待识别人脸图像的标号图GI和已训练人脸图像 的标号图GlM的对应边的一个二次函数进行比较：

  

最后有一个代价函数（结点相似性和边相似性的相结合）来匹配。

弹性图束较弹性图的改进

          提出了一种针对人脸形状的标号图，标号图的节点位于人脸图像上对识别有意义的位置上；提出了人脸束图的概念。人脸束图是由一批具有代表性的人脸标号图复合而成的，其每一个节点储存了人脸标号图的对应节点的Gabor小波变换系数的集合，

          其每一条边为多个人脸标号图的对应边的平均。通过人脸束图，待识别人脸图像的标号图GI与已训练人脸图像的标号图GlM 之间的匹配，可以通过分别于人脸束 图的匹配进行，这样，对于每一幅待识别人脸图像来说，只需要和人脸束图匹配一次；将小波系数的相位信息用于标号图节点的定位。

人脸图表示

 

         如上图(右)所示，其中图的一个节点xn，代表一个特征点处的Gabor变换系数向量集合.例如，一个眼睛节点是通过计算眼睛处的Gabor变换向量系数集合组成.图的边△xe是特征点xn和另一个特征点xn之间的空间几何距离(△xe=xn-xn‘)可以根据实际统计数据得到。

 

人脸图束表示

       将一批具有代表性的人脸标号图结合成个复合的人脸标号图，标号图的每一个节点包含多个表示多种类型人脸局部特征的Jet，这样的一组特征称为一个特征束。例如一个眼睛束中包含了对应于男性眼睛、女性眼睛、闭眼、戴眼镜以及各种形状的眼镜等一组Jet特征。

Jets之间比较

对于任两个J和J’进行比较，一种方法是只考虑基于幅值的相似函数，可通过比较两个Jet的内积。相似性函数定义为:

  

另一种方法是基于角度的相似度量，定义如下：

 

 

 

相似度量SB

要在FBG中找出与测试图像的图最相似的一个人脸描述图，可用下面的度量SB(GI,B) ：  

 

 

        第二项用于描述GI与B对应边的相似度量，图的边xe由两节点间的空间位置决定，即Δxe = xn − xn'，e =1,..., E；λ用于决定局部特征点相似度的空间位置相似度两者的重要性，即调节两项的权重，通过实验的方法来确定。

搜索步骤

Step1：对每个特征点，从已知的FBG中位置信息定位每个特征点的粗略位置（xn,yn）。

Step2： 在已标准化的人脸图像中计算出（xn,yn）处的Gabor变换向量系数J n 。

Step3.：将J n与FBG中的该特征点的JmB  (m为聚集特征点束的数量)比较，其中相似度最高的为候选者 J n ' ，计算其位置误差d n = J n '− J n（即两者的空间距离），则特征点                的精确位置修正为（xn‘,yn’）= （xn,yn） + dn 。

Step4：反复Step1至Step3，可得到一幅人脸图像上个特征点的精确位置（xn‘,yn’），对应这些点求出其Gabor系数；这样一幅人脸图形FBG就可用n个特征点的Gabor系数来表               示人脸图像。

算法的改进

1、只定位少量特征点。例如只定位两眼和嘴中心，在此基础上生成一张网格，抽取网格点的Gabor 特征表征人脸。

2、对特征点增加权重，对比较重要的特征点增加大的权重。

3、KL变换应用于小波变换，来生成二维网格中节点的矢量串，以减少其维数。

4、应用其他算法对Gabor小波长度进行优化来提高算法效率。

5、可以对人脸的一半进行识别，形成半张脸的弹性图，可以减少一半的计算量（自己的想法）。