Suncicie
2017.12.10
获取M张人脸的图像集合,每张图片转换成一个N维度向量,组成集合$S$
计算平均图像
找到M个正交的单位向量un,这些单位向量其实是用来描述Φ (步骤三中的差值)分布的。un里面的第k(k=1,2,3…M)个向量uk 是通过下式计算的,
识别人脸,先计算出要判别的人脸的特征脸
LDA
最初的LBP是定义在像素3x3邻域内的,以邻域中心像素为阈值,将相邻的8个像素的灰度值与其进行比较,若周围像素值大于中心像素值,则该像素点的位置被标记为1,否则为0
改进版LBP算子将3×3邻域扩展到任意邻域,并用圆形邻域代替了正方形邻域,改进后的 LBP 算子允许在半径为 R的圆形邻域内有任意多个像素点。从而得到了诸如半径为R的圆形区域内含有P个采样点的LBP算子
计算采样点的位置R是采样半径,p是第p个采样点,P是采样数目
旋转不变LBP算子
- 将图像旋转一周,始终取得到最小的LBP值
![image](https://img-blog.csdn.net/20170104110301401?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbGFueHVlQ0M=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
3. LBP等价模式
- LBP表达的是局部信息的纹理,如果直接用这个来分类,计算量很多,5×5邻域内20个采样点,有2的20次方=1,048,576种二进制模式。如此多的二值模式无论对于纹理的提取还是对于纹理的识别、分类及信息的存取都是不利的。
- 当某个LBP所对应的循环二进制数从0到1或从1到0最多有两次跳变时,该LBP所对应的二进制就称为一个等价模式类。如00000000(0次跳变),00000111(只含一次从0到1的跳变),10001111(先由1跳到0,再由0跳到1,共两次跳变)都是等价模式类。除等价模式类以外的模式都归为另一类,称为混合模式类
- 等价模式代表了图像的边缘、斑点、角点等关键模式,等价模式占了总模式中的绝大多数,所以极大的降低了特征维度。利用这些等价模式和混合模式类直方图,能够更好地提取图像的本质特征
![image](https://img-blog.csdn.net/20150805105836031)
可以看出LBP在不同光照下影响小
![image](https://img-blog.csdn.net/20140409104518703)
LBP特征匹配
$S_i$
待检测图像,$M_i$
已知图像,上公式为卡方检验公式 HOG方向梯度直方图(Histogram of Oriented Gradient, HOG)特征是图像识别中最常用的特征之一了,它利用了梯度的统计信息,而梯度主要存在于边缘的地方,就类似于LBP编码的统计信息,大家都是用直方图来表示一般结合其他分类方法来做
1. gamma校正
2. 图像转灰度
3. 计算图像的梯度(SOBEL算子)
- 水平梯度算子:$(-1,0,1)$
,垂直梯度算子:$(-1,0,1)^T$
- $G_x(x,y)=I(x+1,y)-I(x-1,y) $
- $G_y(x,y)=I(x,y+1)-I(x,y-1) $
- $G(x,y)=\sqrt {G_x^2(x,y)+G_y^2(x,y)}$
#计算梯度
- $\theta (x,y)=arctan(\frac {G_y(x,y)}{G_x(x,y)})$
#计算梯度方向
4. 梯度信息统计
- 与LBP类似,划分为cell 来获取局部特征,可以矩形划分圆形划分
![image](https://img-blog.csdn.net/20170918192410789)
- 根据Dalal等人的实验,在行人目标检测中,在无符号方向角度范围并将其平均分成9份(bins)(180度分为9个bin,每个范围20度,如0-20度是一份,20-40度是一份)能取得最好的效果,当bin的数目继续增大效果改变不明显,故一般在人体目标检测中使用bin数目为9范围0~180度的度量方式,然后==各个角度做统计==
- 归一化,不同的局部,会因光照而前景背景变化梯度变化巨大,而且block需要连接,需要进行归一化,然后把cells进行合并
- L1,L2归一化
- 加快直方统计图速率(三线性插值)
- 最终HOG特征
![image](https://img-blog.csdn.net/20170806143940938?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvdTAxNDIwMzQ1Mw==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
- HOG主要用在object detection 领域,特别是行人检测,智能交通系统,当然也有文章提到把,对噪声遮挡很敏感,计算很慢
HOG用在手势识别,人脸识别等方面
常规人脸识别流程是:==人脸检测-对齐-表达-分类==
人脸对齐:根据输入的人脸图像,自动定位出面部关键特征点,如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等
红框是人脸检测,白点是人脸对齐
人脸对齐:
1. 通过6个特征点检测人脸;
2. 剪切;
3. 建立Delaunay triangulation(特征的三角区域);
4. 参考标准3d模型,将3d模型比对到图片上;
5. 进行仿射变形,最终生成正面图像。
深度神经网络:
1. 对齐后的图像进行输入
2. C1-M2-C3卷积池化卷积层
2. L4,L5, L6全连接层
1.(VGG net 和GoogleLeNet)两种深度神经网络的ensemble