今天同学让我帮忙制作一个人脸表情识别的样本库,其中主要是对人脸进行裁剪,这里用到了一个相对较新的Matlab人脸检测方法Face Parts Detection,网上百度了一下发现关于Matlab人脸检测的代码和资源并不多,故此专门撰写一篇博客来详细介绍这个人脸检测方法的用途。
一、下载对应的工具包
首先下载对应的工具包,matlab最方便的地方莫过于此了,直接下载、配置简单、并且可以查看源码,这里给出对应的工具包下载地址:Face Parts Detection工具包。
点击“Download Zip”下载按钮开始下载,下载完成后解压,得到如下文件:
二、配置工具包
下载完成后开始配置工具箱。首先需要强调一点,这个方法需要依赖两个Matlab图像处理方面的工具箱Image Processing Toolbox和Computer Vision System Toolbox,几乎所有版本的Matlab都默认集成了Image Processing工具箱,但对于Computer Vision System工具箱只有相对较高版本(Matlab2013及以上)的Matlab版本才进行了集成,因此如果在程序执行过程中提示缺少对应的工具箱,则需要手动进行配置Computer Vision System。
假设Matlab已经配置好了以上两个工具箱,接下来开始配置Face Parts Detection工具包,方法极其简单,只需在Set Path对话框中将当前工具箱的文件夹(这里是Face_detection_Parts文件夹)路径添加到系统的搜索路径即可:
三、进行批量人脸检测
工具箱配置完成后开始利用其进行人脸检测。
3.1、批量读取图片
首先,需要对数据库中的图像进行批量读取,读取完之后再进行人脸检测。首先给出批量读取的代码,稍后解释:
clear; stImageFilePath = 'E:\CAS-PEAL-R1(1)\CAS-PEAL-R1\FRONTAL\Expression\'; stImageSavePath = 'E:\Face_Detection\'; dirImagePathList = dir(strcat(stImageFilePath,'*.tif')); %读取该文件夹下所有图片的路径(字符串格式) iImageNum = length(dirImagePathList); %获取图片的总数量 if iImageNum > 0 %批量读入图片,进行五官检测,再批量检测 for i = 1 : iImageNum iSaveNum = int2str(i); stImagePath = dirImagePathList(i).name; mImageCurrent = imread(strcat(stImageFilePath,stImagePath)); end end
这里采用dir()函数的方法来读取目录下所有文件的文件名,dirImagePathList(i).name中保存了文件夹下的所有文件的名称。有关Matlab中dir()函数的用法大家可以参考网络资料。stImageFilePath变量保存了当前图片所在文件夹的路径(这里为E:\CAS-PEAL-R1(1)\CAS-PEAL-R1\FRONTAL\Expression\),stImageSavePath变量指定了裁剪之后的人脸图像的保存路径。这里需要注意的一点就是保存裁剪结果的文件夹需要事先创建好(或者在程序中通过mkdir等函数来提前创建)。通过strcat()函数来判断当前图像名称中是否包含“.tif”来确定其是否为图像文件(这里的数据库中的图像文件都是tif格式的),
3.2、编写人脸检测函数
批量读取图像完成后,开始进行人脸检测,这里选择将人脸检测封装为一个脚本文件方便调用,这里暂且将其命名为face_segment.m文件。
首先,需要判断当前图像的通道数,因为Face Parts Detection方法只能针对三通道图像进行人脸检测,如果当前图像为灰度图(单通道图),则需要先将其转换为三通道矩阵形式:
%%%%%%%%%%%%%%%%%%%%将灰度图变为三通道图%%%%%%%%%%%%%%%%%%%% if(size(mImageSrc,3) == 1) mImage2detect(:,:,1) = mImageSrc; mImage2detect(:,:,2) = mImageSrc; mImage2detect(:,:,3) = mImageSrc; else mImage2detect = mImageSrc; end
然后开始调用工具箱进行人脸检测,就两句代码即可(可见作者将程序封装得何其之好):
%%%%%%%%%%%%%%%%%%%%对图像进行人脸检测%%%%%%%%%%%%%%%%%%%% FaceDetector = buildDetector(); [bbox,bbimg,faces,bbfaces] = detectFaceParts(FaceDetector,mImage2detect,2);
对于bbox,bbimg,faces,bbfaces这四个检测结果的具体含义,在detectFaceParts.m文件的开头部分作者给出了详细的解释,我们这里只用到bbox这个变量,它里面分别保存了所检测出的人脸区域(一个矩形框)的左上角坐标以及宽度和高度。
检测完成之后,再统一将图像转换为灰度图,保证格式的统一,方便保存:
%%%%%%%%%%%%%%%%%%%%输入图像灰度化%%%%%%%%%%%%%%%%%%%% if 1 ~= size(mImageSrc,3) mImageSrc = rgb2gray(mImageSrc); mImageSrc = double(mImageSrc); elseif 1 == size(mImageSrc,3) mImageSrc = double(mImageSrc); end
接下来开始对人脸区域进行分割。这个有两种分割策略,一种是直接使用检测到的人脸框bbox对原图进行截取,在不可控的采集条件下只能用这种方法来分割人脸;第二种策略是针对人脸框bbox首先确定人脸区域的中心点,然后再以中心点为基准向四周按照一定比例进行外扩,这种方法仅适合采集条件严格可控、人脸大致对齐的人脸数据库,恰好我们所处理的数据库满足这种要求,因此在这里采用第二种策略进行人脸区域分割,代码如下:
%%%%%%%%%%%%%%%%%%%%得到人脸区域框的中心点%%%%%%%%%%%%%%%%%%%% recFace.x = bbox(1,1); recFace.y = bbox(1,2); recFace.width = bbox(1,3); recFace.height = bbox(1,4); ptFaceCenter.x = recFace.x + recFace.width / 2; ptFaceCenter.y = recFace.y + recFace.height / 2; %%%%%%%%%%%%%%%%%%%%以中心点为基准进行外扩(即对人脸选框进行调整)%%%%%%%%%%%%%%%%%%%% recFace.x = ptFaceCenter.x - recFace.width * 0.4; recFace.y = ptFaceCenter.y - recFace.height * 0.35; recFace.width = recFace.width * 0.8 ; recFace.height = recFace.height * 0.8 ; mFaceResult = uint8(imcrop(mImageSrc,[recFace.x,recFace.y,recFace.width,recFace.height]));
这里只涉及到了简单的几何知识,因此不再赘述,确定好人脸矩形区域之后,使用imcrop()函数进行区域分割。这里给出face_segment.m文件的完整代码:
%=============================================================================== %函数名称:face_segment %输入参数:mImageSrc,待分割的人脸图像,可能是灰度图像,也可能是彩色图像 %输出参数:mFaceResult,分割后的人脸结果,应为灰度图像 %主要步骤:1)进行人脸检测,得到脸部区域的框框 % 2)得到脸部图像框的中心点 % 3)根据中心点,对图像进行等比例外扩,得到合适大小的人脸图像 %注意事项:1)首先需要判断该图像是否为灰度图,若为灰度图,需要先将其转换为三通道彩色图 %=============================================================================== function mFaceResult = face_segment(mImageSrc) %%%%%%%%%%%%%%%%%%%%将灰度图变为三通道图%%%%%%%%%%%%%%%%%%%% if(size(mImageSrc,3) == 1) mImage2detect(:,:,1) = mImageSrc; mImage2detect(:,:,2) = mImageSrc; mImage2detect(:,:,3) = mImageSrc; else mImage2detect = mImageSrc; end %%%%%%%%%%%%%%%%%%%%对图像进行人脸检测%%%%%%%%%%%%%%%%%%%% FaceDetector = buildDetector(); [bbox,bbimg,faces,bbfaces] = detectFaceParts(FaceDetector,mImage2detect,2); %%%%%%%%%%%%%%%%%%%%输入图像灰度化%%%%%%%%%%%%%%%%%%%% if 1 ~= size(mImageSrc,3) mImageSrc = rgb2gray(mImageSrc); mImageSrc = double(mImageSrc); elseif 1 == size(mImageSrc,3) mImageSrc = double(mImageSrc); end %%%%%%%%%%%%%%%%%%%%得到人脸区域框的中心点%%%%%%%%%%%%%%%%%%%% recFace.x = bbox(1,1); recFace.y = bbox(1,2); recFace.width = bbox(1,3); recFace.height = bbox(1,4); ptFaceCenter.x = recFace.x + recFace.width / 2; ptFaceCenter.y = recFace.y + recFace.height / 2; %%%%%%%%%%%%%%%%%%%%以中心点为基准进行外扩(即对人脸选框进行调整)%%%%%%%%%%%%%%%%%%%% recFace.x = ptFaceCenter.x - recFace.width * 0.4; recFace.y = ptFaceCenter.y - recFace.height * 0.35; recFace.width = recFace.width * 0.8 ; recFace.height = recFace.height * 0.8 ; mFaceResult = uint8(imcrop(mImageSrc,[recFace.x,recFace.y,recFace.width,recFace.height])); end
四、人脸批量保存
在完成人脸检测函数之后,开始对人脸进行检测分割和批量保存,这里直接给出代码:
clear; stImageFilePath = 'E:\CAS-PEAL-R1(1)\CAS-PEAL-R1\FRONTAL\Expression\'; stImageSavePath = 'E:\Face_Detection\'; dirImagePathList = dir(strcat(stImageFilePath,'*.tif')); %读取该文件夹下所有图片的路径(字符串格式) iImageNum = length(dirImagePathList); %获取图片的总数量 if iImageNum > 0 %批量读入图片,进行五官检测,再批量检测 for i = 1 : iImageNum iSaveNum = int2str(i); stImagePath = dirImagePathList(i).name; mImageCurrent = imread(strcat(stImageFilePath,stImagePath)); mFaceResult = face_segment(mImageCurrent); imwrite(mFaceResult,strcat(stImageSavePath,iSaveNum,'.bmp')); end end
这段代码的逻辑相对简单,调用strcat()字符串拼接函数来完成检测结果的自动命名,考虑到版权问题,这里不粘贴最终的人脸分割结果,但程序亲测可用,没有问题。
五、注意事项
1、OpenCv人脸检测函数
进行人脸检测是Matlab并不是唯一选择,OpenCv也同样封装的人脸检测函数,不过OpenCv中封装的人脸检测函数是基于AdaBoost算法,相对经典而古老,性能不如本文中所介绍的人脸检测算法,并且OpenCv在读取tif格式的图像文件时显得异常麻烦。
2、原理介绍
在这篇博文中我们只介绍了Face Parts Detection算法的具体用法,至于去人脸检测原理,将来有时间了我再专门写博文进行介绍。
3、打不开github的话我可以给发邮箱
如果出现不能正常登陆github网站,无法下载工具箱的情况,可以给我发邮件,我会抓时间提供相应的工具箱
4、灰度图不等于单通道图
在这里再强调一个小问题,就是灰度图与单通道图的关系,理论上来说这两个名词完全属于不同的概念,灰度图不一定是单通道图,因为三个通道的RGB值均相等的三通道图在视觉上同样变现为灰度图,不过单通道图肯定是灰度图。