一、简介
目标检测方法最初由PaulViola提出,并由Rainer Lienhart对这一方法进行了改善。该方法的基本步骤为: 首先,利用样本(大约几百幅样本图片)的harr 特征进行分类器训练,得到一个级联的boosted分类器。分类器中的"级联"是指最终的分类器是由几个简单分类器级联组成。在图像检测中,被检窗口依次通过每一级分类器, 这样在前面几层的检测中大部分的候选区域就被排除了,全部通过每一级分类器检测的区域即为目标区域。
分类器训练完以后,就可以应用于输入图像中的感兴趣区域的检测。检测到目标区域分类器输出为1,否则输出为0。为了检测整副图像,可以在图像中移动搜索窗口,检测每一个位置来确定可能的目标。 为了搜索不同大小的目标物体,分类器被设计为可以进行尺寸改变,这样比改变待检图像的尺寸大小更为有效。所以,为了在图像中检测未知大小的目标物体,扫描程序通常需要用不同比例大小的搜索窗口对图片进行几次扫描。
目前支持这种分类器的boosting技术有四种:Discrete Adaboost, Real Adaboost, Gentle Adaboost and Logitboost。"boosted"即指级联分类器的每一层都可以从中选取一个boosting算法(权重投票),并利用基础分类器的自我训练得到。
根据上面的分析,目标检测分为三个步骤:
1、 样本的创建
2、 训练分类器3、 利用训练好的分类器进行目标检测
二、样本的创建
训练样本分为正例样本和反例样本,其中正例样本是指待检测的目标样本,反例样本指其它任意图片。
反例(负)样本:负样本可以来自于任意的图片,但这些图片不能包含目标特征。负样本由背景描述文件来描述。背景描述文件是一个文本文件,每一行包含了一个负样本图片的文件名(基于描述文件的相对路径)。该文件创建方法如下:
在Dos命令下,可以生成描述文件,具体方法是在Dos下的进入你的图片目录,比如我的图片放在D:\face\negdata下,则:
在开始菜单的查找框中输入cmd,然后运行程序,输入cmd打开DOS命令窗口,输入d:回车,再输入cd D:\face\negdata进入图片路径,再次输入dir/b > negdata.dat,则会图片路径下生成一个negdata.dat文件,打开该文件将最后一行的negdata.dat删除,这样就生成了负样本描述文件。
也可以直接写一个negdata.bat文件,.bat是一个windows批处理文件,里面的内容如下:
cd D:\face\negdata
dir /b > negdata.dat
pausedos
双击可直接执行里面的内容,生成负样本的描述文件。
正样本:
对于正样本,通常的做法是先把所有正样本裁切好,并对尺寸做规整(即缩放至指定大小),如上图所示:
我这里是缩放成20*20大小,由于HaarTraining训练时输入的正样本是vec文件,所以需要使用OpenCV自带的CreateSamples程序,据我所知,早期版本的opencv好像自带编译好的createsamples.exe,但后期版本需要自己编译一下,才能形成creatsamples.exe,编译方法如下:新建一个项目,在项目中添加opencv自带的creatsamples.cpp文件,运行程序就会有.exe文件生成。例如,我新建项目first,就会有一个first.exe生成,这个first.exe在工程项目里面,opencv的createsamples.cpp在opencv\apps\haartraining路径下可以找到。
1) 制作一个正样本描述文件,用于描述正样本文件名(包括绝对路径或相对路径),正样本数目以及各正样本在图片中的位置和大小。典型的正样本描述文件如下:
同样它的生成方式可以用负样本描述文件的生成方法,最后用txt的替换工具将“jpg”全部替换成“jpg 1 0 0 20 20“,就可以了,如果你的样本图片多,用txt替换会导致程序未响应,你可以将内容拷到word下替换,然后再拷回来。jpg后面那五个数字分别表示图片个数,目标的起始位置及其宽高。这样就生成了正样本描述文件posdata.dat。
2) 运行first.exe,如果直接在Vs环境下运行,可以在Project\Settings\Debug属性页的Programarguments栏设置运行参数。下面是一个运行参数示例:
-info D:\face\dst\src.dat -vec D:\face\pos.vec -num 80 -w 20 -h 20
表示有80个样本,样本宽20,高20,正样本描述文件为src.dat,结果输出到pos.vec,这些文件前面是我存放这些文件的路径,读者应根据自己的实际情况做修改。
或者在dos下输入:
"F:\opencvworkspace\first\Debug\first.exe" -info D:\face\dst\src.dat -vec D:\face\pos.vec -num 80 -w 20 -h 20
运行完了会D:\face下生成一个*.vec的文件。该文件包含正样本数目,宽高以及所有样本图像数据。结果入下图:
三、训练分类器
样本创建之后,接下来要训练分类器,这个过程是由haartraining程序来实现的。该程序源码由OpenCV自带,和Createsamples一样,早期opencv版本有自带的haartraining.exe,这里也需要自己编译,例如:我新建项目second,添加opencv\apps\haartraining中的haartraining.cpp文件,可以生成一个second.exe。同样在它的Project\Settings\Debug属性页的Programarguments栏设置运行参数,可以完成分类器的训练。例如:
-data D:\face\cascade -vec D:\face\pos.vec -bg D:\face\negdata\negdata.dat -npos 80 -nneg 350 -mem 200 -mod ALL -w 20 -h 20
cascade代表分类器的名字,pos.ves代表正样本,negdata.dat代表负样本,-pos代表正样本个数,-nneg代表负样本个数,-mem代表分配内存数,-mod ALL代表使用垂直和45度角旋转特征,-w和-h代表图片的宽高,注意,正样本数量和负样本数量最好控制在1:4至1:5之间的比例为好。训练好以后会在D:\face\cascade生成生成一些子目录,这些子目录里包含txt文档,这些文档即为训练好的分类器。训练结果如图所示:
Haartraining的命令行参数如下:
-data
存放训练好的分类器的路径名。
-vec
正样本文件名(由trainingssamples程序或者由其他的方法创建的)
-bg
背景描述文件。
-npos
-nneg
用来训练每一个分类器阶段的正/负样本。合理的值是:nPos= 7000;nNeg = 3000
-nstages
训练的阶段数。
-nsplits
决定用于阶段分类器的弱分类器。如果1,则一个简单的stumpclassifier被使用。如果是2或者更多,则带有number_of_splits个内部节点的CART分类器被使用。
-mem
预先计算的以MB为单位的可用内存。内存越大则训练的速度越快。
-sym(default)
-nonsym
指定训练的目标对象是否垂直对称。垂直对称提高目标的训练速度。例如,正面部是垂直对称的。
-minhitrate《min_hit_rate》
每个阶段分类器需要的最小的命中率。总的命中率为min_hit_rate的number_of_stages次方。
-maxfalsealarm
没有阶段分类器的最大错误报警率。总的错误警告率为max_false_alarm_rate的number_of_stages次方。
-weighttrimming
指定是否使用权修正和使用多大的权修正。一个基本的选择是0.9
-eqw
-mode
选择用来训练的haar特征集的种类。basic仅仅使用垂直特征。all使用垂直和45度角旋转特征。
-w《sample_width》
-h《sample_height》
训练样本的尺寸,(以像素为单位)。必须和训练样本创建的尺寸相同。
四、利用训练好的分类器进行目标检测
这一步需要用到performance.exe,该程序源码由OpenCV自带,也需要我们新建项目,自己编译一遍,例如:我新建项目third,添加opencv\apps\haartraining中的performance.cpp文件,可生成third.exe。同样在它的Project\Settings\Debug属性页的Programarguments栏设置运行参数,可以完成分类器的目标检测。在这之前,必须准备好你的测试图片,格式和你的正样本图片一样,尺寸也和正样本图片一样。在Programarguments栏设置运行参数,例如:
-data D:\face\cascade -info D:\face\testdata\testdata.dat -w 20 -h 20 -rs 30
然后就可以的得到测试结果。
performance的命令行参数如下:
Usage:./performance
-data
-info
[-maxSizeDiff
[-maxPosDiff
[-sf
[-ni]
[-nos
[-rs
[-w
[-h
也可以用opencv的cvHaarDetectObjects函数进行检测。