人脸检测（二）--人脸识别样本制作及训练测试

闲得没事，折腾下opencv 人脸识别，从样本制作到评估。

1.直接copy opencv里的源码，创建工程，添加opencv库，可以直接cmake源码，但我之所以自己创建工程，是想多学习，并且降低与源码框架的耦合度。

这里如果出现_imp__CreateToolbarEx 符号无法解析（error LNK2019: unresolved external symbol __imp__CreateToolbarEx@52 referenced in function "int __cdecl icvCreateTrackbar(char const *,char const *,int *,int,void (__cdecl*)(int),void (__cdecl*)(int,void *),void *)" (?icvCreateTrackbar@@YAHPBD0PAHHP6AXH@ZP6AXHPAX@Z3@Z)）。则添加comctl32.lib 和vfw32.lib 即可。亲测。安装配置如下：

http://blog.sina.com.cn/s/blog_96ea53fb0101htfb.html

2.编译生成haartarining的lib和其他相关exe（如opencv_createsamples.exe）后，即可debug。

正样本制作：

对于正样本，通常的做法是先把所有正样本裁切好，并对尺寸做规整（即缩放至指定大小），由于HaarTraining训练时输入的正样本是vec文件，所以需要使用OpenCV自带的CreateSamples程序（在你所按照的opencv\bin下，如果没有需要编译opencv\apps\HaarTraining\make下的.dsw文件，注意要编译release版的）将准备好的正样本转换为vec文件。转换的步骤如下：

1) 制作一个正样本描述文件，用于描述正样本文件名（包括绝对路径或相对路径），正样本数目以及各正样本在图片中的位置和大小。典型的正样本描述文件如下：

posdata/1(10).bmp 1 1 1 23 23
posdata/1(11).bmp 1 1 1 23 23
posdata/1(12).bmp 1 1 1 23 23

不过你可以把描述文件放在你的posdata路径（即正样本路径）下，这样你就不需要加前面的相对路径了。同样它的生成方式可以用负样本描述文件的生成方法，最后用txt的替换工具将“bmp”全部替换成“bmp 1 1 1 23 23
”就可以了，如果你的样本图片多，用txt替换会导致程序未响应，你可以将内容拷到word下替换，然后再拷回来。bmp后面那五个数字分别表示图片个数，目标的起始位置及其宽高。这样就生成了正样本描述文件posdata.dat。

2) 运行CreateSamples程序。如果直接在VC环境下运行，可以在Project\Settings\Debug属性页的Program arguments栏设置运行参数。下面是一个运行参数示例：
-info D:\face\posdata\posdata.dat -vec D:\face\pos.vec -num 50 -w 20 -h 20
表示有50个样本，样本宽20，高20，正样本描述文件为posdata.dat，结果输出到pos.vec。

或者在dos下输入：

"D:\Program Files\OpenCV\bin\createsamples.exe" -info "posdata\posdata.dat" -vec data\pos.vec -num 50 -w 20 -h 20
运行完了会d:\face\data下生成一个*.vec的文件。该文件包含正样本数目，宽高以及所有样本图像数据。

Createsamples程序的命令行参数：
命令行参数：
－vec
训练好的正样本的输出文件名。
－img
源目标图片（例如：一个公司图标）
－bg
背景描述文件。
－num
要产生的正样本的数量，和正样本图片数目相同。
－bgcolor
背景色（假定当前图片为灰度图）。背景色制定了透明色。对于压缩图片，颜色方差量由bgthresh参数来指定。则在bgcolor－bgthresh和bgcolor＋bgthresh中间的像素被认为是透明的。
－bgthresh
－inv
如果指定，颜色会反色
－randinv
如果指定，颜色会任意反色
－maxidev
背景色最大的偏离度。
－maxangel
－maxangle，
－maxzangle
最大旋转角度，以弧度为单位。
－show
如果指定，每个样本会被显示出来，按下"esc"会关闭这一开关，即不显示样本图片，而创建过程继续。这是个有用的debug选项。
－w
输出样本的宽度（以像素为单位）
－h《sample_height》
输出样本的高度，以像素为单位。

opencv_createsamples.exe的参数

（createsamples.cpp）

 

[cpp] view plain copy print?

1. "  [-info ]\n"  
2. "  [-img ]\n"  
3. "  [-vec ]\n"  
4. "  [-bg ]\n  [-num ]\n"  
5. "  [-bgcolor ]\n"  
6. "  [-inv] [-randinv] [-bgthresh ]\n"  
7. "  [-maxidev ]\n"  
8. "  [-maxxangle ]\n"  
9. "  [-maxyangle ]\n"  
10. "  [-maxzangle ]\n"  
11. "  [-show []]\n"  
12. "  [-w ]\n  [-h ]\n"//默认24*24  

	"  [-info ]\n"
	"  [-img ]\n"
	"  [-vec ]\n"
	"  [-bg ]\n  [-num ]\n"
	"  [-bgcolor ]\n"
	"  [-inv] [-randinv] [-bgthresh ]\n"
	"  [-maxidev ]\n"
	"  [-maxxangle ]\n"
	"  [-maxyangle ]\n"
	"  [-maxzangle ]\n"
	"  [-show []]\n"
	"  [-w ]\n  [-h ]\n"//默认24*24

 

以下1）~4）是按顺序判断，且有且仅有一个

1）提供imagename 和vecname时，调用以下操作

[cpp] view plain copy print?

1. /* 
2.  * cvCreateTrainingSamples 
3.  * 
4.  * Create training samples applying random distortions to sample image and 
5.  * store them in .vec file 
6.  * 
7.  * filename        - .vec file name 
8.  * imgfilename     - sample image file name 
9.  * bgcolor         - background color for sample image 
10.  * bgthreshold     - background color threshold. Pixels those colors are in range 
11.  *   [bgcolor-bgthreshold, bgcolor+bgthreshold] are considered as transparent 
12.  * bgfilename      - background description file name. If not NULL samples 
13.  *   will be put on arbitrary background 
14.  * count           - desired number of samples 
15.  * invert          - if not 0 sample foreground pixels will be inverted 
16.  *   if invert == CV_RANDOM_INVERT then samples will be inverted randomly 
17.  * maxintensitydev - desired max intensity deviation of foreground samples pixels 
18.  * maxxangle       - max rotation angles 
19.  * maxyangle 
20.  * maxzangle 
21.  * showsamples     - if not 0 samples will be shown 
22.  * winwidth        - desired samples width 
23.  * winheight       - desired samples height 
24.  */  

/*
 * cvCreateTrainingSamples
 *
 * Create training samples applying random distortions to sample image and
 * store them in .vec file
 *
 * filename        - .vec file name
 * imgfilename     - sample image file name
 * bgcolor         - background color for sample image
 * bgthreshold     - background color threshold. Pixels those colors are in range
 *   [bgcolor-bgthreshold, bgcolor+bgthreshold] are considered as transparent
 * bgfilename      - background description file name. If not NULL samples
 *   will be put on arbitrary background
 * count           - desired number of samples
 * invert          - if not 0 sample foreground pixels will be inverted
 *   if invert == CV_RANDOM_INVERT then samples will be inverted randomly
 * maxintensitydev - desired max intensity deviation of foreground samples pixels
 * maxxangle       - max rotation angles
 * maxyangle
 * maxzangle
 * showsamples     - if not 0 samples will be shown
 * winwidth        - desired samples width
 * winheight       - desired samples height
 */

2）提供imagename、bgfilename和infoname时
与1）类似
3）提供 infoname和 vecname时，调用以下操作（这里是我们训练需要的）

[cpp] view plain copy print?

1. /* 
2.  * cvCreateTrainingSamplesFromInfo 
3.  * 
4.  * Create training samples from a set of marked up images and store them into .vec file 
5.  * infoname    - file in which marked up image descriptions are stored 
6.  * num         - desired number of samples 
7.  * showsamples - if not 0 samples will be shown 
8.  * winwidth    - sample width 
9.  * winheight   - sample height 
10.  *  
11.  * Return number of successfully created samples 
12.  */  
13. int cvCreateTrainingSamplesFromInfo( const char* infoname, const char* vecfilename,  
14.                                      int num,  
15.                                      int showsamples,  
16.                                      int winwidth, int winheight )  

/*
 * cvCreateTrainingSamplesFromInfo
 *
 * Create training samples from a set of marked up images and store them into .vec file
 * infoname    - file in which marked up image descriptions are stored
 * num         - desired number of samples
 * showsamples - if not 0 samples will be shown
 * winwidth    - sample width
 * winheight   - sample height
 * 
 * Return number of successfully created samples
 */
int cvCreateTrainingSamplesFromInfo( const char* infoname, const char* vecfilename,
                                     int num,
                                     int showsamples,
                                     int winwidth, int winheight )

 

函数内容：读取当前图中所有标记的sample（x,y,w,h），并将其缩放到winwidth、winheight大小，故在这之前的人为缩放操作不需要

（可以看到，仅需要num、w、h参数）
4）仅vecname时，可以将vec里面的所有缩放后的samples都显示出来

[cpp] view plain copy print?

1. /* 
2.  * cvShowVecSamples 
3.  * 
4.  * Shows samples stored in .vec file 
5.  * 
6.  * filename 
7.  *   .vec file name 
8.  * winwidth 
9.  *   sample width 
10.  * winheight 
11.  *   sample height 
12.  * scale 
13.  *   the scale each sample is adjusted to（这个scale与3中的缩放不是一回事，这里仅为了显示而再次缩放） 
14.  */  
15. void cvShowVecSamples( const char* filename, int winwidth, int winheight, double scale );
16.  

1.  

/*
 * cvShowVecSamples
 *
 * Shows samples stored in .vec file
 *
 * filename
 *   .vec file name
 * winwidth
 *   sample width
 * winheight
 *   sample height
 * scale
 *   the scale each sample is adjusted to（这个scale与3中的缩放不是一回事，这里仅为了显示而再次缩放）
 */
void cvShowVecSamples( const char* filename, int winwidth, int winheight, double scale );

训练样本分为正例样本和反例样本，其中正例样本是指待检目标样本，反例样本指其它任意图片。
负样本
负样本可以来自于任意的图片，但这些图片不能包含目标特征。负样本由背景描述文件来描述。背景描述文件是一个文本文件，每一行包含了一个负样本图片的文件名（基于描述文件的相对路径）。该文件创建方法如下：

采用Dos命令生成样本描述文件。具体方法是在Dos下的进入你的图片目录，比如我的图片放在D:\face\posdata下，则：

按Ctrl+R打开Windows运行程序，输入cmd打开DOS命令窗口，输入d:回车，再输入cd D:\face\negdata进入图片路径，再次输入dir /b > negdata.dat，则会图片路径下生成一个negdata.dat文件，打开该文件将最后一行的negdata.dat删除，这样就生成了负样本描述文件。

样本制作完成，下面训练。

2、opencv_haartraining.exe的参数

（haartraining.cpp ）

 

[cpp] view plain copy print?

1. "  -data \n"  
2. "  -vec \n"  
3. "  -bg \n"  
4. "  [-bg-vecfile]\n"  
5. "  [-npos ]\n"  
6. "  [-nneg ]\n"  
7. "  [-nstages ]\n"  
8. "  [-nsplits ]\n"  
9. "  [-mem ]\n"  
10. "  [-sym (default)] [-nonsym]\n"  
11. "  [-minhitrate ]\n"  
12. "  [-maxfalsealarm ]\n"  
13. "  [-weighttrimming ]\n"  
14. "  [-eqw]\n"  
15. "  [-mode ]\n"  
16. "  [-w ]\n"  
17. "  [-h ]\n"  
18. "  [-bt ]\n"  
19. "  [-err ]\n"  
20. "  [-maxtreesplits ]\n"  
21. "  [-minpos ]\n" 

"  -data \n"
"  -vec \n"
"  -bg \n"
"  [-bg-vecfile]\n"
"  [-npos ]\n"
"  [-nneg ]\n"
"  [-nstages ]\n"
"  [-nsplits ]\n"
"  [-mem ]\n"
"  [-sym (default)] [-nonsym]\n"
"  [-minhitrate ]\n"
"  [-maxfalsealarm ]\n"
"  [-weighttrimming ]\n"
"  [-eqw]\n"
"  [-mode ]\n"
"  [-w ]\n"
"  [-h ]\n"
"  [-bt ]\n"
"  [-err ]\n"
"  [-maxtreesplits ]\n"
"  [-minpos ]\n"

 

"  -data \n"
"  -vec \n"
"  -bg \n"
"  [-bg-vecfile]\n"
"  [-npos ]\n"
"  [-nneg ]\n"
"  [-nstages ]\n"
"  [-nsplits ]\n"
"  [-mem ]\n"
"  [-sym (default)] [-nonsym]\n"
"  [-minhitrate ]\n"
"  [-maxfalsealarm ]\n"
"  [-weighttrimming ]\n"
"  [-eqw]\n"
"  [-mode ]\n"
"  [-w ]\n"
"  [-h ]\n"
"  [-bt ]\n"
"  [-err ]\n"
"  [-maxtreesplits ]\n"
"  [-minpos ]\n"

样本创建之后，接下来要训练分类器，这个过程是由haartraining程序来实现的。该程序源码由OpenCV自带，且可执行程序在OpenCV安装目录的bin目录下。
Haartraining的命令行参数如下：
－data
存放训练好的分类器的路径名。
－vec
正样本文件名（由trainingssamples程序或者由其他的方法创建的）
－bg
背景描述文件。
－npos，
－nneg
用来训练每一个分类器阶段的正/负样本。合理的值是：nPos = 7000;nNeg = 3000
－nstages
训练的阶段数。
－nsplits
决定用于阶段分类器的弱分类器。如果1，则一个简单的stump classifier被使用。如果是2或者更多，则带有number_of_splits个内部节点的CART分类器被使用。
－mem
预先计算的以MB为单位的可用内存。内存越大则训练的速度越快。
－sym（default）
－nonsym
指定训练的目标对象是否垂直对称。垂直对称提高目标的训练速度。例如，正面部是垂直对称的。
－minhitrate《min_hit_rate》
每个阶段分类器需要的最小的命中率。总的命中率为min_hit_rate的number_of_stages次方。
－maxfalsealarm
没有阶段分类器的最大错误报警率。总的错误警告率为max_false_alarm_rate的number_of_stages次方。
－weighttrimming
指定是否使用权修正和使用多大的权修正。一个基本的选择是0.9
－eqw
－mode
选择用来训练的haar特征集的种类。basic仅仅使用垂直特征。all使用垂直和45度角旋转特征。
－w《sample_width》
－h《sample_height》
训练样本的尺寸，（以像素为单位）。必须和训练样本创建的尺寸相同。
一个训练分类器的例子：
"D:\Program Files\OpenCV\bin\haartraining.exe"   -data data\cascade -vec data\pos.vec -bg negdata\negdata.dat -npos 49 -nneg 49 -mem 200 -mode ALL -w 20 -h 20

训练结束后，会在目录data下生成一些子目录，即为训练好的分类器。

这一步需要用到performance.exe，该程序源码由OpenCV自带，且可执行程序在OpenCV安装目录的bin目录下。

 

performance.exe -data data/cascade -info posdata/test.dat -w 20 -h 20 -rs 30

 

performance的命令行参数如下：

 

Usage: ./performance
-data
-info
[-maxSizeDiff ]
[-maxPosDiff ]
[-sf ]
[-ni]
[-nos ]
[-rs ]
[-w ]
[-h ]

 

也可以用opencv的cvHaarDetectObjects函数进行检测：

 

CvSeq* faces = cvHaarDetectObjects( img, cascade, storage,1.1, 2, CV_HAAR_DO_CANNY_PRUNING,cvSize(40, 40) ); //3. 检测人脸

 

使用心得：

http://blog.csdn.net/liulina603/article/details/8197889