人脸识别相关技术之小波变换

一、图像/矩阵进行Haar小波的基本原理

小波分析的基本思想是用一族函数表示或逼近信号或函数．这一函数族称为小波函数系(小波基)，它是通过一个基本小波函数的不同尺度伸缩和平移而形成的．小波变换的实质是将信号投影到一系列小波基上．图像处理与识别中经常遇到离散图像的分析与处理问题．图像的小波变换是小波应用于图像分析和特征提取的基础，而图像的分析和处理都是二维的，因此需要将多分辨率分析从一维推广到二维的情况．
对图像的行和列分别进行小波变换算法处理，即水平和垂直滤波，则小波变换可将原始图像分成LLl，LHl，HLl和HHI 4个子带．其中：LLl为低频子带；LHl，HLl和HHl为高频子带．

LLI是水平方向和垂直方向低通滤波后的小波系数，是最重要的系数，它基本包含了原有图像的信息．同时，在这个区域中消除了随机噪声和冗余信息．LHl是水平方向低通滤波和垂直方向高通滤波后的小波系数，主要包括了水平方向的特征．HLl是垂直方向的特征，眼睛、鼻子、嘴等器官的边缘和纹理对应其中的强响应，而前额和脸颊等平滑区域则对应其中的弱响应．HHl是水平方向和垂直方向的高通滤波后的小波系数，所包含的信息最少．因此，本文选择LLI部分作为分类输入特征．

小波变换是上个世纪末应用数学界最杰出的成果，其本质是信号的时间—尺度分析方法，具有多分辨率分析的特点，而且在时频两域都具有表征信号局部特征的能力，被誉为“数学显微镜”。图像经过小波变换，其低频部分保留了绝大部分信息和能量。同时，在图像的敏感位置（如轮廓线，突出点等），小换变换后生成的特征矢量的模会相对较大，将这些优点应用于人脸图像，有利于人脸的识别。

在图l 中，（a）经二级小波变换后，得到（b）所示的情景，其中LL2 表示二级变换的低频信号，这大约十六分之一的数据，包含了原图像几乎全部重要的信息。LH1，HL1，HH1 表示的是一级小波变换后得到水平、垂直和对角方向的高频信号，LH2，HL2，HH2 表示的是二级小波变换后得到水平、垂直和对角方向的高频信号，这些信号包含了大量冗余和杂质，在人脸识别中，起到的作用非常的微弱。图1 直观地表明，当用LL2 的数据作为人脸识别的特征矢量时，送入神经网络时训练和识别时的好处：有用信息的相对集中、无用信息的剔除和数据量的明显下降。
值得注意的是，小波基并不只有一种。不同的小波基，针对不同的问题时，往往有不同的表现，在文中，引用了coifN，CJN，symN 等几种小波。

首先我们简单了解一下二维小波变换的塔式结构。我们知道，一维小波变换其实是将一维原始信号分别经过低通滤波和高通滤波以及二元下抽样得到信号的低频部分L和高频部分H。而根据Mallat算法，二维小波变换可以用一系列的一维小波变换得到。对一幅m行n列的图像，二维小波变换的过程是先对图像的每一行做一维小波变换，得到L和H两个对半部分；然后对得到的LH图像（仍是m行n列）的每一列做一维小波变换。这样经过一级小波变换后的图像就可以分为LL，HL，LH，HH四个部分，如下图所示，就是一级二维小波变换的塔式结构：

image.png

而二级、三级以至更高级的二维小波变换则是对上一级小波变换后图像的左上角部分（LL部分）再进行一级二维小波变换，是一个递归过程。下图是三级二维小波变换的塔式结构图：

image.png

一个图像经过小波分解后，可以得到一系列不同分辨率的子图像，不同分辨率的子图像对应的频率也不同。高分辨率（即高频）子图像上大部分点的数值都接近于0，分辨率越高，这种现象越明显。要注意的是，在N级二维小波分解中，分解级别越高的子图像，频率越低。例如图2的三级塔式结构中，子图像HL2、LH2、HH2的频率要比子图像HL1、LH1、HH1的频率低，相应地分辨率也较低。

二、原理详解

对于二维haar小波，我们通常一次分解形成了整体图像，水平细节，垂直细节，对角细节。
滤波：

先看haar滤波：
Haar 低频滤波： [1 1]
Haar 高频滤波： [-1 1]
由此可知，Haar变换采用的原理是：
A）低频采用均值
B）高频采用差值

图1 是Haar 小波对二维图像的一级及三级分解子带图, 在右图中最低频a3 子带图像与原始图像极其相似, 只是尺寸变小, 它包含了原图的绝大部分能量,对恢复图像质量影响较大, 其余高频子带的小波系数大多非常小。在同一层, 由于v 及h 子图表示的边缘子图像的小波系数和方差比d 子图要大, 因此d 子图在重构图像时不是很重要。

image.png

三、实例推演说明

四、Python实现小波变换代码

五、结合深度学习进行人脸识别

5.1 如何使用小波变换后的图像？

借鉴其他论文中的思路
（1）首先对原图像进行预处理, 对它做小波变换, 对得到的低频图像求取本征脸特征和奇异值特征, 再利用多步分类法进行分类。
（2）提出一种基于小波变换和距离与BP神经元网络识别方法融合的人脸识别方法．用小波变换将原始图像分解提取特征，消除了光照和胡须等干扰因素的影响；将训练集中的5幅图像取平均值作为模板脸，计算测试集中的5幅小波变换图像与模板脸的各种距离，并将所得计算结果送入神经元网络进行训练和识别。
（3）

参考资料

[1] 初识人脸识别(1) -- 图像Haar变换
[2] 图像Haar小波变换
[3] Haar小波变换
[4] Haar小波变换
[5] Haar小波变换的推演说明讲得很好
[10] (含代码)图像的Haar小波变换
[11] 图像Haar小波变换

参考论文

[1] 基于小波变换和BP 神经网络的人脸识别方法
[2] 基于小波变换和多分类器的人脸识别方法
[3] 基于小波变换和多分类器融合的人脸识别 赵丽红，蔡玉，徐心和 2007 讲解的很清晰，适合入门
[4] 基于小波变换和主分量分析的人脸识别