提供一个人脸检测的训练工程,其里面包括原始的训练样本、制作好的训练样本、训练指令等,感觉其样本分类特别麻烦其下载地址为:
opencv使用cascade分类器训练人脸检测的样本与相关文件
1 、opencv里的分类器大概介绍:
OpenCV中有两个程序可以训练级联分类器: opencv_haartraining and opencv_traincascade``。 ``opencv_traincascade 是一个新程序,使用OpenCV 2.x API 以C++ 编写。这二者主要的区别是 opencv_traincascade 支持 Haar [Viola2001] 和 LBP [Liao2007] (Local Binary Patterns) 两种特征,现在已经发展到可以支持hog特征,并易于增加其他的特征。与Haar特征相比,LBP特征是整数特征,因此训练和检测过程都会比Haar特征快几倍。LBP和Haar特征用于检测的准确率,是依赖训练过程中的训练数据的质量和训练参数。训练一个与基于Haar特征同样准确度的LBP的分类器是可能的。
2、分类器的样本制作:
其样本点的制作主要是指正样本的制作,因为其负样本制作很简单,只要把其图片的相对路径生成到文件里即可用于训练,其如下:
使用这个指令生成的路径是绝对路径,其生成后需要把绝对路径给替换掉即可。使用的指令为:
dir /b/s/p/w *.jpg > positives.txt
注意:负样本的图片大小可以不用进行归一化成统一大小,因为其在训练的时候可以进行指定大小,训练时会进行图像resize操作。
接着就是正样本的生成,其是比较重要的。其中正样本的样本采集有两种方法:
A、只通过一张正样本图片,结合负样本进行其他正样本的生成。这种方法比较适合刚性的物体,即正样本目标不会变形,所以要对其进行样本采集比较困难,例如交通LOGO牌,无法对其进行变形采用。这种情况可以通过图像手段来对其进行一些图像预处理操作,从而产生样本。其使用的指令是:
其要使用 【-img】参数来指明单张正样本,其中的【num】是指通过这一张正样本要生成的样本数量,其是通过负样本结合来生成的,负样本主要是给旋转等操作后的正样本提供背景。他会在生成样本的同时直接生成vec文件。
注意:其中更好的生成样本的工具代码是:opencv-haar-classifier-training 其使用脚本来调用opencv_createsamples.exe进行样本的生成,而且也可以顺路生成vec文件,真的超方便。
B、通过人为采集所有训练样本。其中正样本的txt文件格式如下,其中文件路径后面的格式是在指令生成后自己手动替换得到的:
其指令如下:
此时提供的是包含所有的正样本路径的txt文件,其生成可以参考上面的方法。此时这里设置的x、y、z三轴旋角等一些数据增城的参数是不会被采用的,其只有上面A单张样本是才使用这些参数。其中的【-num】的只要小于或等于正样本的指,否则会报错。
注意:这是把所有目标都裁剪下来的处理方式,而且需要进行样本归一化。还有一种就是使用工具在整张图片上进行正样本标注,其可以使用ObjectMarker工具。具体过程参考博客:基于级联分类器的多目标检测
3、级联分类器的训练:
但样本都准备好后,其训练指令为:
opencv_traincascade -data classifier -vec pos.vec -bg negatives.txt -numStages 20 -minHitRate 0.999 -maxFalseAlarmRate 0.5 -numPos 14000 -numNeg 10000 -w 20 -h 20 -mode ALL -precalcValBufSize 1024 -precalcIdxBufSize 1024 -featureType LBP
pause
通用参数:
-data
目录名,如不存在训练程序会创建它,用于存放训练好的分类器。
-vec
包含正样本的vec文件名(由 opencv_createsamples 程序生成)。
-bg
背景描述文件,也就是包含负样本文件名的那个描述文件。
-numPos
每级分类器训练时所用的正样本数目。其指设置为正样本数量的85%(这是一个保守值)。具体的也要根据级联器的层数来决定的。因为每个stages都是会增加图片数量来进行分类。
-numNeg
每级分类器训练时所用的负样本数目,可以大于 -bg 指定的图片数目。
-numStages
训练的分类器的级数。
-precalcValBufSize
缓存大小,用于存储预先计算的特征值(feature values),单位为MB。
-precalcIdxBufSize
缓存大小,用于存储预先计算的特征索引(feature indices),单位为MB。内存越大,训练时间越短。
-baseFormatSave
这个参数仅在使用Haar特征时有效。如果指定这个参数,那么级联分类器将以老的格式存储。
级联参数:
-stageType
级别(stage)参数。目前只支持将BOOST分类器作为级别的类型。
-featureType<{HAAR(default), LBP}>
特征的类型: HAAR - 类Haar特征; LBP - 局部纹理模式特征。
-w
-h
训练样本的尺寸(单位为像素)。必须跟训练样本创建(使用 opencv_createsamples 程序创建)时的尺寸保持一致。
Boosted分类器参数:
-bt <{DAB, RAB, LB, GAB(default)}>
Boosted分类器的类型: DAB - Discrete AdaBoost, RAB - Real AdaBoost, LB - LogitBoost, GAB - Gentle AdaBoost。
-minHitRate
分类器的每一级希望得到的最小检测率。总的检测率大约为 min_hit_rate^number_of_stages。总检测率即为整个级联器的检测召回率,
-maxFalseAlarmRate
分类器的每一级希望得到的最大误检率。总的误检率大约为 max_false_alarm_rate^number_of_stages. 为整个级联器的误检率
-weightTrimRate
Specifies whether trimming should be used and its weight. 一个还不错的数值是0.95。
-maxDepth
弱分类器树最大的深度。一个还不错的数值是1,是二叉树(stumps)。
-maxWeakCount
每一级中的弱分类器的最大数目。The boosted classifier (stage) will have so many weak trees (<=maxWeakCount), as needed to achieve the given -maxFalseAlarmRate.
类Haar特征参数:
-mode
选择训练过程中使用的Haar特征的类型。 BASIC 只使用右上特征, ALL 使用所有右上特征和45度旋转特征。
此时训练的结果图:
注意:由于是20stages,所以训练时间要三四个钟,其中采用LBP特征会比Haar特征快十几倍的训练速度。还有如果想把检测准确度提高很高,则需要大量的样本和好的图像质量。
4、中断后,如果不行在继续训练,如何通过先前的中间文件来生产分类器文件cascade.xml?
方法:此时需要修改训练指令的【-numStages】将其设置成已有的states的层数,则其则会生成上面的检测文件xml。其如下:
至此已经训练完成,并得到cascade.xml检测文件,接下来就是如何使用这个文件用于人脸检测,其方法是使用opencv3书里提供的人脸检测例子,只要替换相应的xml文件即可,如下:
//---------------------------------【头文件、命名空间包含部分】---------------------------- // 描述:包含程序所使用的头文件和命名空间 //------------------------------------------------------------------------------------------------- #include "opencv2/objdetect/objdetect.hpp" #include "opencv2/highgui/highgui.hpp" #include "opencv2/imgproc/imgproc.hpp" #include "opencv2/imgproc/imgproc.hpp" #include
"cascade.xml"; String eyes_cascade_name = "haarcascade_eye_tree_eyeglasses.xml"; CascadeClassifier face_cascade; CascadeClassifier eyes_cascade; string window_name = "Capture - Face detection"; RNG rng(12345); //-----------------------------------【main( )函数】-------------------------------------------- // 描述:控制台应用程序的入口函数,我们的程序从这里开始 //------------------------------------------------------------------------------------------------- int main( void ) { VideoCapture capture; Mat frame; //-- 1. 加载级联(cascades) if( !face_cascade.load( face_cascade_name ) ){ printf("--(!)Error loading\n"); return -1; }; if( !eyes_cascade.load( eyes_cascade_name ) ){ printf("--(!)Error loading\n"); return -1; }; //-- 2. 读取视频 capture.open(0); if( capture.isOpened() ) { for(;;) { capture >> frame; if( !frame.empty() ) { detectAndDisplay( frame ); } else { printf(" --(!) No captured frame -- Break!"); break; } int c = waitKey(10); if( (char)c == 'c' ) { break; } } } return 0; } void detectAndDisplay( Mat frame ) { std::vector#include using namespace std; using namespace cv; void detectAndDisplay( Mat frame ); //--------------------------------【全局变量声明】---------------------------------------------- // 描述:声明全局变量 //------------------------------------------------------------------------------------------------- //注意,需要把"haarcascade_frontalface_alt.xml"和"haarcascade_eye_tree_eyeglasses.xml"这两个文件复制到工程路径下 String face_cascade_name = "cascade.xml"; String eyes_cascade_name = "haarcascade_eye_tree_eyeglasses.xml"; CascadeClassifier face_cascade; CascadeClassifier eyes_cascade; string window_name = "Capture - Face detection"; RNG rng(12345); //-----------------------------------【main( )函数】-------------------------------------------- // 描述:控制台应用程序的入口函数,我们的程序从这里开始 //------------------------------------------------------------------------------------------------- int main( void ) { VideoCapture capture; Mat frame; //-- 1. 加载级联(cascades) if( !face_cascade.load( face_cascade_name ) ){ printf("--(!)Error loading\n"); return -1; }; if( !eyes_cascade.load( eyes_cascade_name ) ){ printf("--(!)Error loading\n"); return -1; }; //-- 2. 读取视频 capture.open(0); if( capture.isOpened() ) { for(;;) { capture >> frame; if( !frame.empty() ) { detectAndDisplay( frame ); } else { printf(" --(!) No captured frame -- Break!"); break; } int c = waitKey(10); if( (char)c == 'c' ) { break; } } } return 0; } void detectAndDisplay( Mat frame ) { std::vector faces; Mat frame_gray; cvtColor( frame, frame_gray, COLOR_BGR2GRAY ); equalizeHist( frame_gray, frame_gray ); //-- 人脸检测 face_cascade.detectMultiScale( frame_gray, faces, 1.1, 3, 0| cv::CASCADE_SCALE_IMAGE, Size(20, 20) ); for( size_t i = 0; i < faces.size(); i++ ) { Point center( faces[i].x + faces[i].width/2, faces[i].y + faces[i].height/2 ); ellipse( frame, center, Size( faces[i].width/2, faces[i].height/2), 0, 0, 360, Scalar( 255, 0, 255 ), 2, 8, 0 ); Mat faceROI = frame_gray( faces[i] ); std::vector eyes; //-- 在脸中检测眼睛 eyes_cascade.detectMultiScale( faceROI, eyes, 1.1, 2, 0 |CV_HAAR_SCALE_IMAGE, Size(30, 30) ); for( size_t j = 0; j < eyes.size(); j++ ) { Point eye_center( faces[i].x + eyes[j].x + eyes[j].width/2, faces[i].y + eyes[j].y + eyes[j].height/2 ); int radius = cvRound( (eyes[j].width + eyes[j].height)*0.25 ); circle( frame, eye_center, radius, Scalar( 255, 0, 0 ), 3, 8, 0 ); } } //-- 显示最终效果图 imshow( window_name, frame ); } faces; Mat frame_gray; cvtColor( frame, frame_gray, COLOR_BGR2GRAY ); equalizeHist( frame_gray, frame_gray ); //-- 人脸检测 face_cascade.detectMultiScale( frame_gray, faces, 1.1, 3, 0| cv::CASCADE_SCALE_IMAGE, Size(20, 20) ); for( size_t i = 0; i < faces.size(); i++ ) { Point center( faces[i].x + faces[i].width/2, faces[i].y + faces[i].height/2 ); ellipse( frame, center, Size( faces[i].width/2, faces[i].height/2), 0, 0, 360, Scalar( 255, 0, 255 ), 2, 8, 0 ); Mat faceROI = frame_gray( faces[i] ); std::vector eyes; //-- 在脸中检测眼睛 eyes_cascade.detectMultiScale( faceROI, eyes, 1.1, 2, 0 |CV_HAAR_SCALE_IMAGE, Size(30, 30) ); for( size_t j = 0; j < eyes.size(); j++ ) { Point eye_center( faces[i].x + eyes[j].x + eyes[j].width/2, faces[i].y + eyes[j].y + eyes[j].height/2 ); int radius = cvRound( (eyes[j].width + eyes[j].height)*0.25 ); circle( frame, eye_center, radius, Scalar( 255, 0, 0 ), 3, 8, 0 ); } } //-- 显示最终效果图 imshow( window_name, frame ); }
参考:基于级联分类器的多目标检测
opencv提高之cascade分类器训练人脸检测模型
使用opencv的Haar训练自己的人脸分类器
OpenCV级联分类器训练中文手册
使用opencv来训练香蕉检测