VS2017+opencv3.4.0人脸识别训练笔记

近来想用VS2017和opencv做一个人脸识别的简单训练项目，需要用到 opencv 的FisherFaceRecognizer类，但是使用FisherFaceRecognizer类需要使用opencv_contrib ，所以需要用cmake平台重新编译opencv和opencv_contrib。

一、下载与安装

1.下载特定版本的 opencv和opencv_contrib，两者版本要一致。但是由于国内下载GitHub 有时候会非常慢，所以可以下载码云上面的库（opencv码云库和opencv_contrib码云库）。


下载 CMake
2.下载并安装 visual studio ，安装时添加使用C++的桌面开发。vs的安装方法网上很多，不难。

3.安装 CMake ，用CMake编译opencv和opencv_contrib

二、编译 opencv

点击configure

如下，看到自己安装的 visual studio 版本，此处不要忘了选择platform-x64,否则默认debug平台win32，参照网上的方法新建X-64编译环境也没有用，然后点击finish。

开始编译，等待。运气不好的话下方出现红色字体，就是有错误出现。如下图所示，主要是一些文件下载失败，原因是网络慢。解决方案有两种，一种是手动下载失败的文件放入对应的目录中，另一种是科学上网。我用的是后者，省去了一些麻烦。

当 CMake 界面上下两块都没有红色部分，且下方出现了Configuring done，点击generate按钮。
直到下方出现 Configuring done Generating done
此时说明 opencv 基本库编译完成。

三、编译 opencv_contrib

在 search 对话框中输入OPENCV_EXTRA_MODULES_PATH，找到OPENCV_EXTRA_MODULES_PATH后在value中填入编译opencv_contrib解压目录中的modules路径(注意此处路径的反斜杠\要改成正斜杠/或者反斜杠\，反斜杠\有转义字符的意思)，目录错误则会出现Error in configuration process, project files may be invalid弹窗错误提醒。

在搜索栏中输入 OPENCV_ENABLE_NONFREE ，在value值中点击选中。如果没有选中，那么类似SIFT这种已经被申请专利的方法就无法使用。
然后点击 configure

在下方出现 Configuring done 之后，点击Generate

和 opencv 基本库编译一样，CMake下方出现Configuring done Generating done，说明opencv_contrib 编译完成。

四、 visual studio 编译

然后点击 Open Project ，会使用之前选择的特定版本visual studio打开。

选择 生成 ->批生成

在弹出的窗口里面选择的 debug 和release的ALL_BUILD和INATALL，然后点击“生成”。

该过程会需要较长时间。

五、配置 opencv 环境

1.配置系统环境变量

生成结束之后，需要修改环境变量。

环境变量在“此电脑”->“属性”->“高级系统设置”->“环境变量”，在用户变量里面的 Path 变量后面添加之前CMake设置的 build目录\install\x64\vc15\bin ，确定，退出。

如果 visual studio 在修改环境变量之前就打开了，需要重启visual studio。

2.新建项目

3.配置项目环境

打开属性管理器，右键添加新项目属性表。


编辑包含目录和库目录
包含目录编辑为：

生成的 build 目录\install\include
生成的 build 目录\install\include\opencv2

库目录编辑为：

生成的 build 目录\install\x64\vc15\lib 

编辑包含目录和库目录之后，需要添加附加依赖项，此时需要分别针对 debug 和release两种模式添加。
打开生成的build目录\install\x64\vc15\lib可以发现每个lib文件都有两种，一种是以d.lib结尾，另一种只比前一种少了一个d,只以.lib结尾。debug模式需要d.lib结尾文件，release模式需要.lib结尾文件，任何一种模式配置错误，就不能以该模式运行opencv。

所以需要在编辑附加依赖项时添加各自需要的文件名。


可以通过命令行整理，也可以用下面的：
debug 模式：

opencv_bgsegm340d.lib
opencv_bioinspired340d.lib
opencv_calib3d340d.lib
opencv_ccalib340d.lib
opencv_core340d.lib
opencv_datasets340d.lib
opencv_dnn340d.lib
opencv_dpm340d.lib
opencv_face340d.lib
opencv_features2d340d.lib
opencv_flann340d.lib
opencv_fuzzy340d.lib
opencv_highgui340d.lib
opencv_imgcodecs340d.lib
opencv_imgproc340d.lib
opencv_img_hash340d.lib
opencv_line_descriptor340d.lib
opencv_ml340d.lib
opencv_objdetect340d.lib
opencv_optflow340d.lib
opencv_phase_unwrapping340d.lib
opencv_photo340d.lib
opencv_plot340d.lib
opencv_reg340d.lib
opencv_rgbd340d.lib
opencv_saliency340d.lib
opencv_shape340d.lib
opencv_stereo340d.lib
opencv_stitching340d.lib
opencv_structured_light340d.lib
opencv_superres340d.lib
opencv_surface_matching340d.lib
opencv_text340d.lib
opencv_tracking340d.lib
opencv_video340d.lib
opencv_videoio340d.lib
opencv_videostab340d.lib
opencv_xfeatures2d340d.lib
opencv_ximgproc340d.lib
opencv_xobjdetect340d.lib
opencv_xphoto340d.lib
kernel32.lib
user32.lib
gdi32.lib
winspool.lib
comdlg32.lib
advapi32.lib
shell32.lib
ole32.lib
oleaut32.lib
uuid.lib
odbc32.lib
odbccp32.lib

六、测试

配置完成之后使用以下代码测试（凡涉及到路径的位置注意修改为自己对应的文件路径）：

#include 
#include 
#include "pch.h"
#include "opencv2/core.hpp"
#include "opencv2/core/utility.hpp"
#include "opencv2/core/ocl.hpp"
#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/features2d.hpp"
#include "opencv2/calib3d.hpp"
#include "opencv2/imgproc.hpp"
#include "opencv2/flann.hpp"
#include "opencv2/xfeatures2d.hpp"
#include "opencv2/ml.hpp"
#include "opencv2/face.hpp"
#include "opencv2/face/facerec.hpp"
#include "opencv2/objdetect.hpp"

using namespace cv;
using namespace std;
using namespace cv::xfeatures2d;
using namespace cv::ml;
using namespace face;

int main()
{
	CascadeClassifier cas("D:\\opencv\\opencv_build\\install\\etc\\haarcascades\\haarcascade_frontalface_alt.xml");    //加载人脸分类器
	Ptr<FaceRecognizer> fc = FisherFaceRecognizer::create(); //早期版本为Ptr fc =createFisherFaceRecognizer()，这样用会报错
	Mat a1 = imread("D:\\facetest\\train\\Abhishek_Bachan\\1.jpg", CV_LOAD_IMAGE_GRAYSCALE);    //加载用于训练的人脸照片
	Mat a2 = imread("D:\\facetest\\train\\Abhishek_Bachan\\2.jpg", CV_LOAD_IMAGE_GRAYSCALE);
	Mat a3 = imread("D:\\facetest\\train\\Abhishek_Bachan\\3.jpg", CV_LOAD_IMAGE_GRAYSCALE);
	Mat a4 = imread("D:\\facetest\\train\\Abhishek_Bachan\\4.jpg", CV_LOAD_IMAGE_GRAYSCALE);
	Mat a5 = imread("D:\\facetest\\train\\Abhishek_Bachan\\5.jpg", CV_LOAD_IMAGE_GRAYSCALE);
	Mat b1 = imread("D:\\facetest\\train\\Alex_Rodriguez\\1.jpg", CV_LOAD_IMAGE_GRAYSCALE);
	Mat b2 = imread("D:\\facetest\\train\\Alex_Rodriguez\\2.jpg", CV_LOAD_IMAGE_GRAYSCALE);
	Mat b3 = imread("D:\\facetest\\train\\Alex_Rodriguez\\3.jpg", CV_LOAD_IMAGE_GRAYSCALE);
	Mat b4 = imread("D:\\facetest\\train\\Alex_Rodriguez\\4.jpg", CV_LOAD_IMAGE_GRAYSCALE);
	Mat b5 = imread("D:\\facetest\\train\\Alex_Rodriguez\\1.jpg", CV_LOAD_IMAGE_GRAYSCALE);
	Mat c1 = imread("D:\\facetest\\train\\Barack_Obama\\1.jpg", CV_LOAD_IMAGE_GRAYSCALE);
	Mat c2 = imread("D:\\facetest\\train\\Barack_Obama\\2.jpg", CV_LOAD_IMAGE_GRAYSCALE);
	Mat c3 = imread("D:\\facetest\\train\\Barack_Obama\\3.jpg", CV_LOAD_IMAGE_GRAYSCALE);
	Mat c4 = imread("D:\\facetest\\train\\Barack_Obama\\4.jpg", CV_LOAD_IMAGE_GRAYSCALE);
	Mat c5 = imread("D:\\facetest\\train\\Barack_Obama\\5.jpg", CV_LOAD_IMAGE_GRAYSCALE);


	vector<Mat> images;
	vector<int>labels;

	images.push_back(a1);        //照片和标签存入向量里，我了三个人的
	labels.push_back(0);
	images.push_back(a2);
	labels.push_back(0);
	images.push_back(a3);
	labels.push_back(0);
	images.push_back(a4);
	labels.push_back(0);
	images.push_back(a5);
	labels.push_back(0);

	images.push_back(b1);
	labels.push_back(1);
	images.push_back(b2);
	labels.push_back(1);
	images.push_back(b3);
	labels.push_back(1);
	images.push_back(b4);
	labels.push_back(1);
	images.push_back(b5);
	labels.push_back(1);

	images.push_back(c1);
	labels.push_back(2);
	images.push_back(c2);
	labels.push_back(2);
	images.push_back(c3);
	labels.push_back(2);
	images.push_back(c4);
	labels.push_back(2);
	images.push_back(c5);
	labels.push_back(2);

	fc->train(images, labels);    //训练
	VideoCapture cap;
	cap.open(0); //cap.open(0)为调用摄像头，cap.open(1)为加载avi文件，可以自行百度用法
	Mat image;
	vector<Rect> recs;
	Mat test(400, 500, CV_8UC1);
	Mat gray;
	int x = 0, y = 0;

	for (;;)
	{
		cap >> image;
		if (image.empty())
			break;
		cas.detectMultiScale(image, recs, 1.2, 6, 0, Size(50, 50));    //先检测人脸
		for (int i = 0; i < recs.size(); i++)
		{
			rectangle(image, recs[i], Scalar(0, 0, 255));
			x = recs[i].x + recs[i].width / 2;
			y = recs[i].y + recs[i].height / 2;

			Mat roi = image(recs[i]);       //因为我训练的样本是400*500大小，所以需要把摄像头中的人脸区域改为400*500大小
			cvtColor(roi, gray, CV_BGR2GRAY);
			resize(gray, test, Size(400, 500));
			int result = fc->predict(test);
			switch (result)
			{
			case 0:
				putText(image, "zhangsan", Point(recs[i].x, recs[i].y), FONT_HERSHEY_SIMPLEX, 1.5, Scalar(0, 0, 255), 2); break;
			case 1:
				putText(image, "lisi", Point(recs[i].x, recs[i].y), FONT_HERSHEY_SIMPLEX, 1.5, Scalar(0, 0, 255), 2); break;
			case 2:
				putText(image, "caowencai", Point(recs[i].x, recs[i].y), FONT_HERSHEY_SIMPLEX, 1.5, Scalar(0, 0, 255), 2); break;
			}
		}
		imshow("Sample", image);
		if (waitKey(30) >= 0)
			break;
	}

}

效果展示

参考链接
1.opencv_contrib安装笔记
2.OpenCV 使用FaceRecognizer类来进行人脸识别
3.opencv学习之路（2）、读取视频，读取摄像头