【opencv】基于opencv2的人脸识别系统
之前，曾写过一个较为完整的人脸识别小系统。开发环境为opencv2.4.9和VS2012,并加入了一个新模块cvui.h，用此模块为人脸识别系统写了一个简单界面。界面如下：
此界面用到的元素比较简单，包含按钮、文本框、图片及文字。
本文章写作框架如下：
1. 人脸识别流程
2.各部分功能：详见下文“各模块讲解”。
3.各部分中遇到的细节问题
例如：
CascadeClassifier cascade;//建立级联分类器
cascade.load("haarcascade_frontalface_alt2.xml"); // 加载训练好的 人脸检测器（.xml）
cascade.detectMultiScale(frameGray,faces,1.2, 2,0 | CV_HAAR_FIND_BIGGEST_OBJECT );
haarcascade_frontalface_alt2.xml到底是什么东西？
4.本系统的缺陷，是否可提升
(1) 人脸采集问题：人脸旋转-》矫正
（2）训练模型问题：更换更好的模型来训练-》深度学习
（3）样本格式问题：直接利用彩色图像会不会更好
（4）训练样本问题：人脸数据库数量不足，以及ORL是西方面孔，与我们东方面孔的差异。-》采集更多东方人脸，进行训练
（5）人脸数组：现在是只识别一个人，能否识别多个，可以
（6）自己训练人脸检测器haar_cascade
5.所涉及的算法及原理，详见下文各模块讲解。
6.具体代码请戳：http://blog.csdn.net/u012679707/article/details/79520299 基于opencv2的人脸识别系统（二）具体代码
各模块讲解
第一部分：主函数
main.c
系统主函数，包含参数初始化、ui界面的设置以及整体流程控制。
capture.cpp
人脸采集模块，功能是从摄像头画面中检测出人脸，并将人脸图像(矩形)截取下来，保存到训练文件中。其中人脸检测的详细过程是，
第一步,建立级联分类器
CascadeClassifier cascade;//建立级联分类器第二步，加载Haar级联分类器模型.xml
cascade.load("haarcascade_frontalface_alt2.xml"); // 加载训练好的 人脸检测器（.xml）第三步，用加载好的级联分类器进行人脸检测，返回检测到的人脸数组faces
cascade.detectMultiScale(frameGray,faces,1.2, 2,0 | CV_HAAR_FIND_BIGGEST_OBJECT );流程图如下：
这一模块中，有一个问题，haar是什么？haar.xml为什么可以做人脸检测模型？如何检测出人脸的？
首先，haar特征是一种特征提取的方法。其实，特征提取方法有很多种，比如说Haar特征，edgelet特征，shapelet特征，HOG特征，HOF特征，小波特征，边缘模板等等。
摘录自：http://blog.csdn.net/yang6464158/article/details/25103703（特征提取之——Haar特征）
Haar分类器 = Haar-like特征 + 积分图方法 + AdaBoost +级联
Haar分类器算法的要点如下：
① 使用Haar-like特征做检测。
② 使用积分图（Integral Image）对Haar-like特征求值进行加速。
③ 使用AdaBoost算法训练区分人脸和非人脸的强分类器。
④ 使用筛选式级联把强分类器级联到一起，提高准确率。
大神贴在此，非常详细的算法过程讲解。
http://blog.csdn.net/beizhengren/article/details/77095724 (haar特征介绍与分析)
http://blog.csdn.net/beizhengren/article/details/77095759 (积分图，快速计算图像中任意位置的haar特征值)
http://blog.csdn.net/beizhengren/article/details/77095841 （强弱级联分类器与xml文件参数含义）
http://blog.csdn.net/beizhengren/article/details/77095883 （利用并查集合并检测窗口）
http://blog.csdn.net/beizhengren/article/details/77095969 （利用opencv_traincascade.exe训练自己的分类器）
http://blog.csdn.net/beizhengren/article/details/77095988 (具体训练过程分析)
opencv 用opencv_traincascade.exe训练haar分类器
第三部分：模型训练 train.cpp
流程图如下：
1.前期准备工作，将所有的人脸样本和类别标签生成一个.csv文件。
生成csv文件方法：http://blog.csdn.net/u012679707/article/details/79519143 (gogo小Sa)
2.训练时可直接读取csv文件，实现样本和类别标签的获取。
读取csv文档方法： http://blog.csdn.net/u012679707/article/details/78711365 （gogo小Sa）
3.创建特征脸模型，选择20个主成分 （faceRecognizer 为cv2中的contrib模块）
Ptr model=createEigenFaceRecognizer(20); // 创建特征脸模型 20张主成分脸 4.通过样本和类别标签进行训练，最终得到训练好的主成分脸模型。
model->train(images,labels); //训练人脸模型，通过images和labels来训练人脸模型5.将模型保存为.xml文件
model->save("MyFacePcaModel.xml"); //将训练模型保存到MyFacePcaModel.xml注意：contrib模块中的人脸识别模型有三种，PCA、fisher、LBP。本系统选择的是主成分脸模型（PCA）
最终生成的MyFacePcaModel.xml文件内容如下图所示，其中
20 20是主特征脸的个数1
10304 1*10304 这表示每个特征脸的大小，一行表示一张脸的数据，维度为10304（92*112）
图3.1 MyFacePcaModel.xml
其中,faceRecognizer源码解析如下：详细解析可参见大神贴 http://www.cnblogs.com/guoming0000/archive/2012/09/27/2706019.html
class CV_EXPORTS_W FaceRecognizer : public Algorithm
{
public:
//! virtual destructor
virtual ~FaceRecognizer() {}
// Trains a FaceRecognizer.
CV_WRAP virtual void train(InputArrayOfArrays src, InputArray labels) = 0;
// Updates a FaceRecognizer.
CV_WRAP void update(InputArrayOfArrays src, InputArray labels);
// Gets a prediction from a FaceRecognizer.
virtual int predict(InputArray src) const = 0;
// Predicts the label and confidence for a given sample.
CV_WRAP virtual void predict(InputArray src, CV_OUT int &label, CV_OUT double &confidence) const = 0;
// Serializes this object to a given filename.
CV_WRAP virtual void save(const string& filename) const;
// Deserializes this object from a given filename.
CV_WRAP virtual void load(const string& filename);
// Serializes this object to a given cv::FileStorage.
virtual void save(FileStorage& fs) const = 0;
// Deserializes this object from a given cv::FileStorage.
virtual void load(const FileStorage& fs) = 0;
};
CV_EXPORTS_W Ptr createEigenFaceRecognizer(int num_components = 0, double threshold = DBL_MAX);
CV_EXPORTS_W Ptr createFisherFaceRecognizer(int num_components = 0, double threshold = DBL_MAX);
CV_EXPORTS_W Ptr createLBPHFaceRecognizer(int radius=1, int neighbors=8,
int grid_x=8, int grid_y=8, double threshold = DBL_MAX);
第四部分 ：人脸识别（预测） predict.cpp
1.创建人脸识别模型，为和训练相对应，仍选择特征脸模型。
Ptr modelPCA=createEigenFaceRecognizer();// 创建特征脸模型 modelPCA->load("MyFacePcaModel.xml");
3.对测试图像进行分类modelPCA->predict(face_test,predictPCA,confidence); //confidence为置信度----------------------------------------【全部实例代码】----------------------------------------------
第一部分：main.cpp
/*
Project Name:FaceRecognition
Author:Lisa
Data:2017_12
Version:V1
Abstract:
the faceRecognition system includes 3 modules:
1.capture.cpp ->capture face Image and Detect face
2.train.cpp ->train face module
3.predict.cpp ->capture face image,face detection,face recognition
Statement:
You are free to use, change, or redistribute the code in any way you wish for
non-commercial purposes, but please maintain the name of the original author.
This code comes with no warranty(保证) of any kind.
*/
//#include"stdafx.h"
#include
#include
#include
#include
#include
#include //包含ifstream
#include"opencv2/cvui/cvui.h"
#include"capture.hpp"
#include"train.hpp"
#include"predict.hpp"
#include
using namespace cv;
using namespace std;
//using namespace cvui;
#define WINDOW_NAME "Face Recognition System ByLISA"
// 采集到的图片保存地址
const string savePath="F:\\opencv_project\\faceRecognition\\ORL\\prePhoto\\1.pgm";
/******************************* main() ***************************************************************/
Mat Frame;
int main(int argc,char *argv[])
{
system("color 5E");
//Mat img=imread("lanyangyang.jpg");
namedWindow(WINDOW_NAME);
cvui::init(WINDOW_NAME);
Frame=Mat(320,500,CV_8UC3);
Frame = cv::Scalar(200,20,200); //颜色填充49, 52, 49
cvui::window(Frame,350,30,100,132,"predict photo");
cvui::window(Frame,350,165,100,132,"predict result");
while(1)
{
bool buttonCapture=cvui::button(Frame,50,100,"Capture");
bool buttonTrain=cvui::button(Frame,50,130,"Train");
bool buttonPredict=cvui::button(Frame,50,160,"Predict");
if(buttonCapture) {
Mat capPhoto;
if(photoCapture(capPhoto)) cvui::text(Frame, 150, 100, "capture is sucessful!");
else cvui::text(Frame, 150, 100, "capture failed!");
}
if(buttonTrain) {
if(train()) cvui::text(Frame, 150, 130, "train is sucessful!");
else cvui::text(Frame, 150, 100, "train failed!");
}
if(buttonPredict) {
cvui::printf(Frame, 150, 160,0.4, 0x00ff00, "predict result is ");
Mat predictPhoto;//待识别照片
int predictResult;//预测结果
predict(predictPhoto,predictResult);
imwrite(savePath,predictPhoto);
cvui::printf(Frame, 150, 160,0.4, 0x00ff00, "predict result is %d",predictResult);
string fileName="F:\\opencv_project\\faceRecognition\\ORL\\s";
fileName+=to_string(predictResult+1); //number To string
fileName+="\\1.pgm";
cout< 第二部分：capture.cpp
// capture.cpp
#include"capture.hpp"
#include
bool photoCapture(Mat &capPhoto )
{
/***************************************** 1.打开默认摄像头 ********************************************************/
VideoCapture cap(0); //打开默认摄像头
if(! cap.isOpened())
{
cout<<"camera open fail"< faces;
/*********************************** 2.加载人脸检测器，加载人脸模型器******************************/
CascadeClassifier cascade;//建立级联分类器
cascade.load("haarcascade_frontalface_alt2.xml"); // 加载训练好的 人脸检测器（.xml）
while(1)
{
cap>>frame;
namedWindow("frame");
imshow("frame",frame); // 显示每一帧图像
//cvui::update();
//imshow(WINDOW_NAME,Frame);
string filename=format("F:\\opencv_project\\faceRecognition\\ORL\\s42\\%d.pgm",i);
char key=waitKey(30);;
switch(key) // 按下采集按钮
{
case 'p':
cvtColor(frame,frameGray,CV_BGR2GRAY);
//imshow("frameGray",frameGray);
/*********************************** 3.人脸检测 ******************************/
cascade.detectMultiScale(frameGray,faces,1.2, 2,0 | CV_HAAR_FIND_BIGGEST_OBJECT );
if(faces.size()>0)
{
for(size_t ii=0;ii Mat imgROI=img( Rect);
}
resize(frameROI,face,Size(92,112));
imwrite(filename,face);
imshow("photo",face);
face.copyTo(capPhoto); // 将采集到的图片copy给capPhoto
i++;
waitKey(500);
destroyWindow("photo");
}
else
{
//项目属性的常规项修改字符集，选择为多字符集 ，原为Unicode
MessageBox(GetForegroundWindow(),"valid capture!please retry!","Warning",1); //MessageBox
//printf("%d\n",x);
}
break;
case 'P':
cvtColor(frame,frameGray,CV_BGR2GRAY);
/*********************************** 3.人脸检测 ******************************/
cascade.detectMultiScale(frameGray,faces,1.2, 2,0 | CV_HAAR_FIND_BIGGEST_OBJECT );
if(faces.size()>0)
{
for(size_t ii=0;ii Mat imgROI=img( Rect);
}
resize(frameROI,face,Size(92,112));
imwrite(filename,face);
imshow("photo",face);
i++;
waitKey(500);
destroyWindow("photo");
}
break;
default: break;
}
if(i>=(captureCount+1))
{
cout<<"capture is successful!"<=(captureCount+1)) return true;
else return false;
} 第三部分：train.cpp
// train.cpp
#include"train.hpp"
#include
bool train()
{
string csvFile="at.txt";
vector images;
vector labels;
// [1]读取csv文件
try
{
read_csv(csvFile,images,labels,CountMax,CountMin,';'); //读取csvFile中所有的img和label
}
catch(cv::Exception& e) // ???????????????????????????????????????????????????
{ // cerr：输出到标准错误的ostream对象，常用于程序错误信息
cerr<<"Error opening file\" "<为模板类，定义model为指向FaceRecognizer类的指针。model为指针！
*/
Ptr model=createEigenFaceRecognizer(20); // 创建特征脸模型 20张主成分脸
model->train(images,labels); //训练
model->save("MyFacePcaModel.xml"); //将训练模型保存到MyFacePcaModel.xml
cout<<"train2.创建脸模型ok"<images, vector labels,int CountMax,int CountMin, char separator=';')
功能：读取csv文件的图像路径和标签。主要使用stringstream和getline()
参数说明：filename--要读取的csv文件
images----读取的图片（向量）
labels----读取的图片对应标签 （向量）
CountMax,int CountMin--读取的每一类别的图片下标的最大值和最小值（默认每个类别共10张照片）
separator-分隔符，起控制读取的作用。可自定义为逗号空格等，（此程序中）默认为分号
返回值：空
*/
/*
备注：（函数内部涉及到的部分类和方法说明）
1. stringstream:字符串流。
功能：将内存中的对象与流绑定。
2. getline():
函数原型：istream &getline( ifstream &input,string &out,char dielm)
参数说明：Input--输入文件
out----输出字符串
dielm--读取到该字符停止（起到控制作用），默认是换行符‘\n’
功能： 读取文件Input中的字符串到out中。
返回值：返回Input，若是文件末尾会返回文件尾部标识eof
3. ifstream: 从硬盘打开文件（读取），从磁盘输入文件，读到内存中
ofstream: 从内存打开文件（读取），从内存输入文件，读到磁盘中）
*/
static void read_csv(const string& filename,vector& images, vector& labels,int max,int min,char separator=';')
{
std::ifstream file(filename.c_str(),ifstream::in); // 以in模式（读取文件模式）打开文件 ,实际是将filename文件关联给 流file ！！！！！！！！！！！！！！！！！！ filename.c_str()
if(! file)
{
string error_message="No valid input file was given,please check the given filename";
CV_Error(CV_StsBadArg,error_message);
}
int ii=0;
/**********************读取文件.txt内容****************************/
string line,path,label;
// [1]读取file文件中的一行字符串给 line
while( getline(file,line,'\n') ) // 控制：直到读到file文件末尾（eof标识），才跳出while
{
// [2]将line整行字符串读取到lines(流)中
stringstream lines(line); //区别->lines是流，读取字符时，指针会随流而动；而line是string，固定的，下文中的读取每次都是从line头开始
// [3]读取文件中的路径和标签
getline(lines,path,separator); //此时光标已走到path之后的位置（即；分号处）
getline(lines,label);
// [4]将图片和标签加入imgs 和 labels
if( (path.empty()==0) && (label.empty() ==0))
{
if(ii%10<=max && ii%10>=min) //默认每个类别共10张照片
{
Mat img=imread(path,0); //第二个参数为0 !!!
//Mat img = imread(ImageFileAddress, CV_LOAD_IMAGE_GRAYSCALE)，CV_LOAD_IMAGE_GRAYSCALE值为 0，指灰图（原本为“CV_LOAD_IMAGE_UNCHANGED”）
if(img.data!=0 )
{
images.push_back( img ); // 将图片 添加到images中
labels.push_back( atoi(label.c_str() ) );
}
}
if(ii<9) ii++;
else ii=0;
}
}
}
第四部分：predict.cpp
// predict.cpp
#include"predict.hpp"
#include
using namespace cv;
using namespace std;
// void predict();
void predict(Mat &predictPhoto,int& predictPCA)
{
/*********************************** 1.打开默认摄像头******************************/
VideoCapture cap(0); //
if(! cap.isOpened())
{
cout<<"camera open fail"< faces(0); //矩形向量，存放检测出的人脸
/*********************************** 2.加载人脸检测器，加载人脸模型器******************************/
//建立级联分类器
CascadeClassifier cascade;
// 加载训练好的 人脸检测器（.xml）
cascade.load("haarcascade_frontalface_alt2.xml");
Ptr modelPCA=createEigenFaceRecognizer();// 创建特征脸模型
// 加载 特征脸模型器
modelPCA->load("MyFacePcaModel.xml");
cout<<"predict 2.ok"<>frame; //将获取到的每一帧图像 写入 frame；
namedWindow("frame");
imshow("frame",frame); // 显示摄像头
key=waitKey(50);
if(key=='p'||key=='P')
{
capFace=frame.clone();
// rgb To gray
cvtColor(frame,gray,CV_BGR2GRAY);
// 直方图均衡化，提高图像质量
equalizeHist(gray,gray);
/*********************************** 3.人脸检测 ******************************/
cascade.detectMultiScale(gray,faces,1.2, 2,0 | CV_HAAR_FIND_BIGGEST_OBJECT );
cout<<"detect face number is :"<0)
{
/************************************* 4.人脸识别 ******************************/
Mat face_temp,face_test;
for(size_t i=0;i Mat imgROI=img( Rect);
}
// 调整大小为112*92
resize(face_temp,face_test,Size(92,112));
namedWindow("capFace");
imshow("capFace",face_test);
face_test.copyTo(predictPhoto);
// 测试图应该为灰度图
double confidence;
modelPCA->predict(face_test,predictPCA,confidence);
cout<<"the predict result is "<< predictPCA< -----感谢欣赏，欢迎下边留言评论！-----