SVM分类器训练的HOG行人检测

正样本来源是INRIA数据集中的96*160大小的人体图片,使用时上下左右都去掉16个像素,截取中间的64*128大小的人体。

负样本是从不包含人体的图片中随机裁取的,大小同样是64*128(从完全不包含人体的图片中随机剪裁出64*128大小的用于人体检测的负样本)。

SVM使用的是OpenCV自带的CvSVM类。

首先计算正负样本图像的HOG描述子,组成一个特征向量矩阵,对应的要有一个指定每个特征向量的类别的类标向量,输入SVM中进行训练。

训练好的SVM分类器保存为XML文件,然后根据其中的支持向量和参数生成OpenCV中的HOG描述子可用的检测子参数,再调用OpenCV中的多尺度检测函数进行行人检测。

难例(Hard Example)是指利用第一次训练的分类器在负样本原图(肯定没有人体)上进行行人检测时所有检测到的矩形框,这些矩形框区域很明显都是误报,把这些误报的矩形框保存为图片,加入到初始的负样本集合中,重新进行SVM的训练,可显著减少误报。

用训练好的分类器在负样本原图上检测Hard Example见:用初次训练的SVM+HOG分类器在负样本原图上检测HardExample

Navneet Dalal在CVPR2005上的HOG原论文翻译见:http://blog.csdn.net/masibuaa/article/details/14056807


[cpp]  view plain  copy
 
  1. #include <iostream>  
  2. #include <fstream>  
  3. #include <opencv2/core/core.hpp>  
  4. #include <opencv2/highgui/highgui.hpp>  
  5. #include <opencv2/imgproc/imgproc.hpp>  
  6. #include <opencv2/objdetect/objdetect.hpp>  
  7. #include <opencv2/ml/ml.hpp>  
  8.   
  9. using namespace std;  
  10. using namespace cv;  
  11.   
  12. #define PosSamNO 2400    //正样本个数  
  13. #define NegSamNO 12000    //负样本个数  
  14.   
  15. #define TRAIN false    //是否进行训练,true表示重新训练,false表示读取xml文件中的SVM模型  
  16. #define CENTRAL_CROP true   //true:训练时,对96*160的INRIA正样本图片剪裁出中间的64*128大小人体  
  17.   
  18. //HardExample:负样本个数。如果HardExampleNO大于0,表示处理完初始负样本集后,继续处理HardExample负样本集。  
  19. //不使用HardExample时必须设置为0,因为特征向量矩阵和特征类别矩阵的维数初始化时用到这个值  
  20. #define HardExampleNO 4435    
  21.   
  22.   
  23. //继承自CvSVM的类,因为生成setSVMDetector()中用到的检测子参数时,需要用到训练好的SVM的decision_func参数,  
  24. //但通过查看CvSVM源码可知decision_func参数是protected类型变量,无法直接访问到,只能继承之后通过函数访问  
  25. class MySVM : public CvSVM  
  26. {  
  27. public:  
  28.     //获得SVM的决策函数中的alpha数组  
  29.     double * get_alpha_vector()  
  30.     {  
  31.         return this->decision_func->alpha;  
  32.     }  
  33.   
  34.     //获得SVM的决策函数中的rho参数,即偏移量  
  35.     float get_rho()  
  36.     {  
  37.         return this->decision_func->rho;  
  38.     }  
  39. };  
  40.   
  41.   
  42.   
  43. int main()  
  44. {  
  45.     //检测窗口(64,128),块尺寸(16,16),块步长(8,8),cell尺寸(8,8),直方图bin个数9  
  46.     HOGDescriptor hog(Size(64,128),Size(16,16),Size(8,8),Size(8,8),9);//HOG检测器,用来计算HOG描述子的  
  47.     int DescriptorDim;//HOG描述子的维数,由图片大小、检测窗口大小、块大小、细胞单元中直方图bin个数决定  
  48.     MySVM svm;//SVM分类器  
  49.   
  50.     //若TRAIN为true,重新训练分类器  
  51.     if(TRAIN)  
  52.     {  
  53.         string ImgName;//图片名(绝对路径)  
  54.         ifstream finPos("INRIAPerson96X160PosList.txt");//正样本图片的文件名列表  
  55.         //ifstream finPos("PersonFromVOC2012List.txt");//正样本图片的文件名列表  
  56.         ifstream finNeg("NoPersonFromINRIAList.txt");//负样本图片的文件名列表  
  57.   
  58.         Mat sampleFeatureMat;//所有训练样本的特征向量组成的矩阵,行数等于所有样本的个数,列数等于HOG描述子维数      
  59.         Mat sampleLabelMat;//训练样本的类别向量,行数等于所有样本的个数,列数等于1;1表示有人,-1表示无人  
  60.   
  61.   
  62.         //依次读取正样本图片,生成HOG描述子  
  63.         for(int num=0; num<PosSamNO && getline(finPos,ImgName); num++)  
  64.         {  
  65.             cout<<"处理:"<<ImgName<<endl;  
  66.             //ImgName = "D:\\DataSet\\PersonFromVOC2012\\" + ImgName;//加上正样本的路径名  
  67.             ImgName = "D:\\DataSet\\INRIAPerson\\INRIAPerson\\96X160H96\\Train\\pos\\" + ImgName;//加上正样本的路径名  
  68.             Mat src = imread(ImgName);//读取图片  
  69.             if(CENTRAL_CROP)  
  70.                 src = src(Rect(16,16,64,128));//将96*160的INRIA正样本图片剪裁为64*128,即剪去上下左右各16个像素  
  71.             //resize(src,src,Size(64,128));  
  72.   
  73.             vector<float> descriptors;//HOG描述子向量  
  74.             hog.compute(src,descriptors,Size(8,8));//计算HOG描述子,检测窗口移动步长(8,8)  
  75.             //cout<<"描述子维数:"<<descriptors.size()<<endl;  
  76.   
  77.             //处理第一个样本时初始化特征向量矩阵和类别矩阵,因为只有知道了特征向量的维数才能初始化特征向量矩阵  
  78.             if( 0 == num )  
  79.             {  
  80.                 DescriptorDim = descriptors.size();//HOG描述子的维数  
  81.                 //初始化所有训练样本的特征向量组成的矩阵,行数等于所有样本的个数,列数等于HOG描述子维数sampleFeatureMat  
  82.                 sampleFeatureMat = Mat::zeros(PosSamNO+NegSamNO+HardExampleNO, DescriptorDim, CV_32FC1);  
  83.                 //初始化训练样本的类别向量,行数等于所有样本的个数,列数等于1;1表示有人,0表示无人  
  84.                 sampleLabelMat = Mat::zeros(PosSamNO+NegSamNO+HardExampleNO, 1, CV_32FC1);  
  85.             }  
  86.   
  87.             //将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMat  
  88.             for(int i=0; i<DescriptorDim; i++)  
  89.                 sampleFeatureMat.at<float>(num,i) = descriptors[i];//第num个样本的特征向量中的第i个元素  
  90.             sampleLabelMat.at<float>(num,0) = 1;//正样本类别为1,有人  
  91.         }  
  92.   
  93.         //依次读取负样本图片,生成HOG描述子  
  94.         for(int num=0; num<NegSamNO && getline(finNeg,ImgName); num++)  
  95.         {  
  96.             cout<<"处理:"<<ImgName<<endl;  
  97.             ImgName = "D:\\DataSet\\NoPersonFromINRIA\\" + ImgName;//加上负样本的路径名  
  98.             Mat src = imread(ImgName);//读取图片  
  99.             //resize(src,img,Size(64,128));  
  100.   
  101.             vector<float> descriptors;//HOG描述子向量  
  102.             hog.compute(src,descriptors,Size(8,8));//计算HOG描述子,检测窗口移动步长(8,8)  
  103.             //cout<<"描述子维数:"<<descriptors.size()<<endl;  
  104.   
  105.             //将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMat  
  106.             for(int i=0; i<DescriptorDim; i++)  
  107.                 sampleFeatureMat.at<float>(num+PosSamNO,i) = descriptors[i];//第PosSamNO+num个样本的特征向量中的第i个元素  
  108.             sampleLabelMat.at<float>(num+PosSamNO,0) = -1;//负样本类别为-1,无人  
  109.         }  
  110.   
  111.         //处理HardExample负样本  
  112.         if(HardExampleNO > 0)  
  113.         {  
  114.             ifstream finHardExample("HardExample_2400PosINRIA_12000NegList.txt");//HardExample负样本的文件名列表  
  115.             //依次读取HardExample负样本图片,生成HOG描述子  
  116.             for(int num=0; num<HardExampleNO && getline(finHardExample,ImgName); num++)  
  117.             {  
  118.                 cout<<"处理:"<<ImgName<<endl;  
  119.                 ImgName = "D:\\DataSet\\HardExample_2400PosINRIA_12000Neg\\" + ImgName;//加上HardExample负样本的路径名  
  120.                 Mat src = imread(ImgName);//读取图片  
  121.                 //resize(src,img,Size(64,128));  
  122.   
  123.                 vector<float> descriptors;//HOG描述子向量  
  124.                 hog.compute(src,descriptors,Size(8,8));//计算HOG描述子,检测窗口移动步长(8,8)  
  125.                 //cout<<"描述子维数:"<<descriptors.size()<<endl;  
  126.   
  127.                 //将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMat  
  128.                 for(int i=0; i<DescriptorDim; i++)  
  129.                     sampleFeatureMat.at<float>(num+PosSamNO+NegSamNO,i) = descriptors[i];//第PosSamNO+num个样本的特征向量中的第i个元素  
  130.                 sampleLabelMat.at<float>(num+PosSamNO+NegSamNO,0) = -1;//负样本类别为-1,无人  
  131.             }  
  132.         }  
  133.   
  134.         ////输出样本的HOG特征向量矩阵到文件  
  135.         //ofstream fout("SampleFeatureMat.txt");  
  136.         //for(int i=0; i<PosSamNO+NegSamNO; i++)  
  137.         //{  
  138.         //  fout<<i<<endl;  
  139.         //  for(int j=0; j<DescriptorDim; j++)  
  140.         //      fout<<sampleFeatureMat.at<float>(i,j)<<"  ";  
  141.         //  fout<<endl;  
  142.         //}  
  143.   
  144.         //训练SVM分类器  
  145.         //迭代终止条件,当迭代满1000次或误差小于FLT_EPSILON时停止迭代  
  146.         CvTermCriteria criteria = cvTermCriteria(CV_TERMCRIT_ITER+CV_TERMCRIT_EPS, 1000, FLT_EPSILON);  
  147.         //SVM参数:SVM类型为C_SVC;线性核函数;松弛因子C=0.01  
  148.         CvSVMParams param(CvSVM::C_SVC, CvSVM::LINEAR, 0, 1, 0, 0.01, 0, 0, 0, criteria);  
  149.         cout<<"开始训练SVM分类器"<<endl;  
  150.         svm.train(sampleFeatureMat, sampleLabelMat, Mat(), Mat(), param);//训练分类器  
  151.         cout<<"训练完成"<<endl;  
  152.         svm.save("SVM_HOG.xml");//将训练好的SVM模型保存为xml文件  
  153.   
  154.     }  
  155.     else //若TRAIN为false,从XML文件读取训练好的分类器  
  156.     {  
  157.         svm.load("SVM_HOG_2400PosINRIA_12000Neg_HardExample(误报少了漏检多了).xml");//从XML文件读取训练好的SVM模型  
  158.     }  
  159.   
  160.   
  161.     /************************************************************************************************* 
  162.     线性SVM训练完成后得到的XML文件里面,有一个数组,叫做support vector,还有一个数组,叫做alpha,有一个浮点数,叫做rho; 
  163.     将alpha矩阵同support vector相乘,注意,alpha*supportVector,将得到一个列向量。之后,再该列向量的最后添加一个元素rho。 
  164.     如此,变得到了一个分类器,利用该分类器,直接替换opencv中行人检测默认的那个分类器(cv::HOGDescriptor::setSVMDetector()), 
  165.     就可以利用你的训练样本训练出来的分类器进行行人检测了。 
  166.     ***************************************************************************************************/  
  167.     DescriptorDim = svm.get_var_count();//特征向量的维数,即HOG描述子的维数  
  168.     int supportVectorNum = svm.get_support_vector_count();//支持向量的个数  
  169.     cout<<"支持向量个数:"<<supportVectorNum<<endl;  
  170.   
  171.     Mat alphaMat = Mat::zeros(1, supportVectorNum, CV_32FC1);//alpha向量,长度等于支持向量个数  
  172.     Mat supportVectorMat = Mat::zeros(supportVectorNum, DescriptorDim, CV_32FC1);//支持向量矩阵  
  173.     Mat resultMat = Mat::zeros(1, DescriptorDim, CV_32FC1);//alpha向量乘以支持向量矩阵的结果  
  174.   
  175.     //将支持向量的数据复制到supportVectorMat矩阵中  
  176.     for(int i=0; i<supportVectorNum; i++)  
  177.     {  
  178.         const float * pSVData = svm.get_support_vector(i);//返回第i个支持向量的数据指针  
  179.         for(int j=0; j<DescriptorDim; j++)  
  180.         {  
  181.             //cout<<pData[j]<<" ";  
  182.             supportVectorMat.at<float>(i,j) = pSVData[j];  
  183.         }  
  184.     }  
  185.   
  186.     //将alpha向量的数据复制到alphaMat中  
  187.     double * pAlphaData = svm.get_alpha_vector();//返回SVM的决策函数中的alpha向量  
  188.     for(int i=0; i<supportVectorNum; i++)  
  189.     {  
  190.         alphaMat.at<float>(0,i) = pAlphaData[i];  
  191.     }  
  192.   
  193.     //计算-(alphaMat * supportVectorMat),结果放到resultMat中  
  194.     //gemm(alphaMat, supportVectorMat, -1, 0, 1, resultMat);//不知道为什么加负号?  
  195.     resultMat = -1 * alphaMat * supportVectorMat;  
  196.   
  197.     //得到最终的setSVMDetector(const vector<float>& detector)参数中可用的检测子  
  198.     vector<float> myDetector;  
  199.     //将resultMat中的数据复制到数组myDetector中  
  200.     for(int i=0; i<DescriptorDim; i++)  
  201.     {  
  202.         myDetector.push_back(resultMat.at<float>(0,i));  
  203.     }  
  204.     //最后添加偏移量rho,得到检测子  
  205.     myDetector.push_back(svm.get_rho());  
  206.     cout<<"检测子维数:"<<myDetector.size()<<endl;  
  207.     //设置HOGDescriptor的检测子  
  208.     HOGDescriptor myHOG;  
  209.     myHOG.setSVMDetector(myDetector);  
  210.     //myHOG.setSVMDetector(HOGDescriptor::getDefaultPeopleDetector());  
  211.   
  212.     //保存检测子参数到文件  
  213.     ofstream fout("HOGDetectorForOpenCV.txt");  
  214.     for(int i=0; i<myDetector.size(); i++)  
  215.     {  
  216.         fout<<myDetector[i]<<endl;  
  217.     }  
  218.   
  219.   
  220.     /**************读入图片进行HOG行人检测******************/  
  221.     //Mat src = imread("00000.jpg");  
  222.     //Mat src = imread("2007_000423.jpg");  
  223.     Mat src = imread("1.png");  
  224.     vector<Rect> found, found_filtered;//矩形框数组  
  225.     cout<<"进行多尺度HOG人体检测"<<endl;  
  226.     myHOG.detectMultiScale(src, found, 0, Size(8,8), Size(32,32), 1.05, 2);//对图片进行多尺度行人检测  
  227.     cout<<"找到的矩形框个数:"<<found.size()<<endl;  
  228.   
  229.     //找出所有没有嵌套的矩形框r,并放入found_filtered中,如果有嵌套的话,则取外面最大的那个矩形框放入found_filtered中  
  230.     for(int i=0; i < found.size(); i++)  
  231.     {  
  232.         Rect r = found[i];  
  233.         int j=0;  
  234.         for(; j < found.size(); j++)  
  235.             if(j != i && (r & found[j]) == r)  
  236.                 break;  
  237.         if( j == found.size())  
  238.             found_filtered.push_back(r);  
  239.     }  
  240.   
  241.     //画矩形框,因为hog检测出的矩形框比实际人体框要稍微大些,所以这里需要做一些调整  
  242.     for(int i=0; i<found_filtered.size(); i++)  
  243.     {  
  244.         Rect r = found_filtered[i];  
  245.         r.x += cvRound(r.width*0.1);  
  246.         r.width = cvRound(r.width*0.8);  
  247.         r.y += cvRound(r.height*0.07);  
  248.         r.height = cvRound(r.height*0.8);  
  249.         rectangle(src, r.tl(), r.br(), Scalar(0,255,0), 3);  
  250.     }  
  251.   
  252.     imwrite("ImgProcessed.jpg",src);  
  253.     namedWindow("src",0);  
  254.     imshow("src",src);  
  255.     waitKey();//注意:imshow之后必须加waitKey,否则无法显示图像  
  256.       
  257.   
  258.     /******************读入单个64*128的测试图并对其HOG描述子进行分类*********************/  
  259.     ////读取测试图片(64*128大小),并计算其HOG描述子  
  260.     ////Mat testImg = imread("person014142.jpg");  
  261.     //Mat testImg = imread("noperson000026.jpg");  
  262.     //vector<float> descriptor;  
  263.     //hog.compute(testImg,descriptor,Size(8,8));//计算HOG描述子,检测窗口移动步长(8,8)  
  264.     //Mat testFeatureMat = Mat::zeros(1,3780,CV_32FC1);//测试样本的特征向量矩阵  
  265.     ////将计算好的HOG描述子复制到testFeatureMat矩阵中  
  266.     //for(int i=0; i<descriptor.size(); i++)  
  267.     //  testFeatureMat.at<float>(0,i) = descriptor[i];  
  268.   
  269.     ////用训练好的SVM分类器对测试图片的特征向量进行分类  
  270.     //int result = svm.predict(testFeatureMat);//返回类标  
  271.     //cout<<"分类结果:"<<result<<endl;  
  272.   
  273.   
  274.   
  275.     system("pause");  
  276. }  


结果:

(1) 1500个INRIA正样本,2000个负样本,结果误报太多:

SVM分类器训练的HOG行人检测_第1张图片

SVM分类器训练的HOG行人检测_第2张图片


(2) 2400个INRIA正样本,12000个负样本,结果表明负样本增多后误报明显减少,但依然有不少误报:

SVM分类器训练的HOG行人检测_第3张图片

SVM分类器训练的HOG行人检测_第4张图片


(3)2400个INRIA正样本,12000个负样本 + 4435个用(2)中的分类器在负样本原图上检测出来的Hard Example,

结果误报明显减少,几乎没有误报了,但同时漏检率增加:



SVM分类器训练的HOG行人检测_第5张图片

SVM分类器训练的HOG行人检测_第6张图片

SVM分类器训练的HOG行人检测_第7张图片

上图中的两个小女孩都没有被检测出来


(4)下面是OpenCV中HOG检测器的默认SVM参数的结果,OpenCV自带的SVM参数也是用INRIA数据集训练得到的:

SVM分类器训练的HOG行人检测_第8张图片

SVM分类器训练的HOG行人检测_第9张图片

SVM分类器训练的HOG行人检测_第10张图片

上图中的两个小女孩用OpenCV默认SVM参数也检测不出来。


所以感觉要想效果好的话,还应该加大正样本的个数。


参考: http://blog.csdn.net/carson2005/article/details/7841443

源码下载,环境为VS2010 + OpenCV2.4.4

http://download.csdn.net/detail/masikkk/6547973


1500个INRIA正样本,2000个负样本训练好的SVM下载(XML文件):http://pan.baidu.com/s/18CCos

2400个INRIA正样本,12000个负样本训练好的SVM下载(XML文件):http://pan.baidu.com/s/1gmudL

2400个INRIA正样本,12000个负样本 + 4435个用(2)中的分类器在负样本原图上检测出来的Hard Example 训练好的SVM下载(XML文件):http://pan.baidu.com/s/126Yoc


转自:http://blog.csdn.net/masibuaa/article/details/16105073


你可能感兴趣的:(SVM分类器训练的HOG行人检测)