关于使用OpenCV的LBPHFaceRecognizer实现人脸的采集、训练与更新、应用的C++实现DEMO
关于使用OpenCV的LBPHFaceRecognizer实现人脸的采集、训练与更新、应用的C++实现DEMO
作者：Simon Song
说明
在实际人脸识别中，有很多可用方法，如OpenCV自带的EigenFaceRecognizer(基于PCA降维),FisherFaceRecognizer(基于LDA降维)，LBPHFaceRecognizer(基于LBPH特征)，其中只有LBPHFaceRecognizer是支持直接更新的模型算法；再如faceNet深度网络模型（128个特征输出）加分类器（如SVM）方式。其他商业应用如旷视科技Megvii Face++,百度AI,等等很多。
我们需要应用的场景是结果好，对于硬件要求不是很高，方便更新模型，低成本的方式。因此我选择了OpenCV自带的LBPHFaceRecognizer算法，这种算法优点是不会受到光照、缩放、旋转和平移的影响，这钟算法最大的好处就是可以在性能不是很高的ARM板上也可执行，通用化非常好。
模块设计
模块分为三个部分：
1.采集图片部分：采集部分用于采集人脸图片，对应采集好的图片需要人工挑选和整理，并形成文件清单文件（如filelist.txt）；对于更新部分，制作updatelist.txt文件；制作分类号与姓名的字典对应关系（dict.txt）。
此处的文件清单每行格式为：文件路径，分类号
此处的字典文件每行格式为：分类号：姓名
2.训练与更新部分:使用整理好的训练集合文件清单进行训练，生成xml模型文件；更新只是在原有模型基础上增加分类；对模型进行图片准确率测试。
3.应用部分：读入训练好的模型，对人脸进行识别。
程序建立环境
vs2015,OpenCV341,C++
一、采集部分代码
#include二、训练与更新代码
#include
Scalar tempVal=mean(pre_mat);//获得均值数据
float matMean = tempVal.val[0];//获得数据中的第一个位置的值作为矩阵均值（单通道图），此均值为准确率
cout << "total_predict_time(s)=" << (getTickCount() - time_rec) /getTickFrequency() <<"s"<< endl;//计算总预测时间并打印
printf("Mat Mean(accuracy) is %.2f\n", matMean);//打印提示
imshow("pre_mat", pre_mat);//为了时waitKey()有效等待，此处有个显示
waitKey(0);//等待用户按键退出程序
return 0;
}
bool getMatAndLabels(string& filelist_txt, vector<Mat>& mats, vector<int>&labels) {//获得图片矩阵和标签
//定义必要的变量,参数：（文件名字符串，模式（in/out））,其他参数默认
ifstream file(filelist_txt,ifstream::in);
if (!file.is_open()) {//当不是被打开
cout << "file is not open!" << endl;
return false;//返回false
}
//读取文件每一行
string lines;//定义行字符串变量
while (!file.eof()) {//当不是EOF时，继续读取
//读取一行,参数：（文件流，字符串变量）
getline(file,lines);
//定义字符串流
stringstream line_stream(lines);
//读取图片路径
string path;//定义路径变量
getline(line_stream,path,',');//读取路径，用逗号分隔符为结束
//读取标签
string label;//定义标签变量
getline(line_stream,label);//读取其余部分，标签部分
//读取路径指定的图片（彩色）
Mat img = imread(path,IMREAD_GRAYSCALE);//读取灰度图
//调整图片为128*128,参数：（原图矩阵，目标图矩阵，图尺寸，x比例，y比例，插值类型）
resize(img,img,Size(128,128),0,0,INTER_LINEAR);
//存入向量
mats.push_back(img.clone());//存入矩阵向量
labels.push_back(atoi(label.c_str()));//存入标签向量
}
//判读向量状态
if (mats.empty()||labels.empty()||mats.size()!=labels.size()) {//当向量为空，或两向量个数不相等时，返回假
return false;//返回false
}
return true;//正常返回真
}
bool train_lbphface(vector<Mat>& mats, vector<int>&labels) {//模型训练
//判断参数
if (mats.empty()||labels.empty()||mats.size()!=labels.size()) {//当向量为空，或尺寸不相等时，返回假
return false;//返回false
}
//读取模型
Ptr<LBPHFaceRecognizer> model = LBPHFaceRecognizer::create();
//训练模型
model->train(mats,labels);//参数:(矩阵向量，标签向量)
//保存模型
model->save(face_model);//参数：（文件名字符串）
return true;//返回真
}
bool update_lbphface(vector<Mat>& mats, vector<int>&labels) {//更新训练模型
//判断参数
if (mats.empty() || labels.empty() || mats.size() != labels.size()) {//当向量为空，或尺寸不相等时，返回假
return false;//返回false
}
//读取模型
Ptr<LBPHFaceRecognizer> model = Algorithm::load<LBPHFaceRecognizer>(face_model);//参数：（模型全路径）
//更新训练模型
model->update(mats, labels);//参数:(矩阵向量，标签向量)
//保存模型
model->save(face_model);//参数：（文件名字符串）
return true;//返回真
}
vector<int> lbphface_predict(vector<Mat>& testImages){//lbphface预测函数
//定义结果向量
vector<int> result;
//判断向量合法性
if (testImages.empty()) {//当向量为空时
return result;//返回空的结果向量
}
//读取svm模型
Ptr<LBPHFaceRecognizer> model = Algorithm::load<LBPHFaceRecognizer>(face_model);//参数：模型文件
if(model->empty()){//当模型为空
cout << "face model load fault!" << endl;
return result;//返回空的结果向量
}
//定义必要的变量
int label = -1;//标签变量
double confidence_distance = 0;//置信值
//循环遍历矩阵向量
for (int i = 0; i < testImages.size();i++) {
//预测分类结果,参数:(图矩阵，标签变量，置信概率变量)
model->predict(testImages[i],label, confidence_distance);
//cout << "confidence_value=" << confidence_distance << endl;//测试
//cout << "label=" << label << endl;//测试
if (confidence_distance>80) {//当置信距离大于80时，给标签-1表示未知
label = -1;//标签给-1
}
//存入向量
result.push_back(label);
}
return result;//返回向量
}
三、应用代码
#include采集效果展示
训练与更新展示
应用展示
采样整理展示图
测试整理展示图
我是Simon，在这里期待与您的交流。