HOG特征+SVM训练过程

转：http://blog.163.com/pz124578%40126/blog/static/235226942013435156379/

纠结了快20天的东西，今天终于有了一个好的结果，利用hog+svm进行行人检测。

纠结过很多地方，不过现在终于理通了，写下总结实为发泄！

言归正传，实验所用行人库：INRIAPerson。训练过程如下：

1、选定正负样本：正样本、行人库中正样本大小为96x160，比我们需要的64x128窗口要大，是因为每一个边有一个padding，16像素，因此保持中心不动，选取64x128窗口大小的图片作为训练的正样本。负样本、负样本大小不统一，在每一个负样本图像中随机选取10个64x128大小的patch作为训练的负样本（即用来训练的负样本个数是行人库中个数的10倍，每一个负样本产生10个patch）；

2、提取hog特征(opencv完成)；

3、将提取出来的hog特征投入到svm中训练，得到初始分类器；

4、利用初始分类器(其实就是支持向量以及对应的权值，还有一个偏移)的支持向量和对应的权值加权得到检测行人的检测子，再加上一维的偏移，整个检测子是3781维。但是，重点来了，这个初始检测子，效果很差很差，不信你可以试试，有很多错检的（有点hard example的味道，什么是hard example？别急），错检太多，是因为训练还没有完成；

5、利用这个初始的检测子去检测前面用来训练的负样本原图（不是随机提取出来的图，而是原图），检测方法是利用cvhog的多尺度检测detectMultiScale方法，检测出来一打一打的行人（但实际上是负样本，所以肯定是错的），这些检测出来的区域，就是hard example；

6、提取第5步中hard example的hog特征（如果训练样本数量太多的话，可以在选出来的hard example里二次抽样，即选取部分hard example提取hog特征）；

7、将hard example的hog特征和第2步中正负样本的hog特征综合起来，再训练svm分类器，这样就得到了最终的分类器。

之前纠结过的地方：

1、负样本为何会大小不统一？因为整个负样本中是没有人的，随便在图像中选择64x128窗口大小的图像都可作为负样本进行训练，因此负样本原始图像的大小并不重要。

2、resize不能乱用。这里就迁出了为何要使用多尺度检测的问题。因为我们规定的窗口大小是64x128，太大或者太小的人都检测不到，因此我们利用尺度对图像进行缩放，在每一层中进行检测，最后在原图画矩形框，他的结果是把每一层的检测结果综合起来，可能有一层就检测不到了，resize的话没准就恰恰resize成了找不到行人或者把不是行人的判断为行人了。resize不能乱用，我最开始用resize的时候，支持向量和投入训练的数量一样多，这不坑爹么？所以不到万不得已，别用resize。

3、hard example是个什么东西？我一度以为hard example是最初训练分类的随机选出来的那些样本，可是我用分类器一检测，100%的通过率(即全部都不是行人)，这不坑爹么？然后该怎么办呢？于是慢慢试啊试，试到最后，就是第5步中的结果，不得不说，耽误时间最多的是重训练这块，尤其是在找hard example这块。

     之前介绍过Hog特征(http://blog.csdn.net/carson2005/article/details/7782726)，也介绍过SVM分类器（http://blog.csdn.net/carson2005/article/details/6453502 ）；而本文的目的在于介绍利用Hog特征和SVM分类器来进行行人检测。

        在2005年CVPR上，来自法国的研究人员Navneet Dalal 和Bill Triggs提出利用Hog进行特征提取，利用线性SVM作为分类器，从而实现行人检测。而这两位也通过大量的测试发现，Hog+SVM是速度和效果综合平衡性能较好的一种行人检测方法。后来，虽然很多研究人员也提出了很多改进的行人检测算法，但基本都以该算法为基础框架。因此，Hog+SVM也成为一个里程表式的算法被写入到OpenCV中。在OpenCV2.0之后的版本，都有Hog特征描述算子的API，而至于SVM，早在OpenCV1.0版本就已经集成进去了；OpenCV虽然提供了Hog和SVM的API，也提供了行人检测的sample，遗憾的是，OpenCV并没有提供样本训练的sample。这也就意味着，很多人只能用OpenCV自带的已经训练好的分类器来进行行人检测。然而，OpenCV自带的分类器是利用Navneet Dalal和Bill Triggs提供的样本进行训练的，不见得能适用于你的应用场合。因此，针对你的特定应用场景，很有必要进行重新训练得到适合你的分类器。本文的目的，正在于此。

重新训练行人检测的流程：

（1）准备训练样本集合；包括正样本集和负样本集；根据机器学习的基础知识我们知道，要利用机器学习算法进行样本训练，从而得到一个性能优良的分类器，训练样本应该是无限多的，而且训练样本应该覆盖实际应用过程中可能发生的各种情况。（很多朋友，用10来个正样本，10来个负样本进行训练，之后，就进行测试，发现效果没有想象中的那么好，就开始发牢骚，抱怨。。。对于这些人，我只能抱歉的说，对于机器学习、模式识别的认识，你还处于没有入门的阶段）；实际应用过程中，训练样本不可能无限多，但无论如何，三五千个正样本，三五千个负样本，应该不是什么难事吧？（如果连这个都做不到，建议你别搞机器学习，模式识别了；训练素材都没有，怎么让机器学习到足够的信息呢？）

（2）收集到足够的训练样本之后，你需要手动裁剪样本。例如，你想用Hog+SVM来对商业步行街的监控画面中进行行人检测，那么，你就应该用收集到的训练样本集合，手动裁剪画面中的行人（可以写个简单程序，只需要鼠标框选一下，就将框选区域保存下来）。

（3）裁剪得到训练样本之后，将所有正样本放在一个文件夹中；将所有负样本放在另一个文件夹中；并将所有训练样本缩放到同样的尺寸大小。OpenCV自带的例子在训练时，就是将样本缩放为64*128进行训练的；

（4）提取所有正样本的Hog特征；

（5）提取所有负样本的Hog特征；

（6）对所有正负样本赋予样本标签；例如，所有正样本标记为1，所有负样本标记为0；

（7）将正负样本的Hog特征，正负样本的标签，都输入到SVM中进行训练；Dalal在论文中考虑到速度问题，建议采用线性SVM进行训练。这里，不妨也采用线性SVM；

（8）SVM训练之后，将结果保存为文本文件。

（9）线性SVM进行训练之后得到的文本文件里面，有一个数组，叫做support vector，还有一个数组，叫做alpha,有一个浮点数，叫做rho;将alpha矩阵同support vector相乘，注意，alpha*supportVector,将得到一个列向量。之后，再该列向量的最后添加一个元素rho。如此，变得到了一个分类器，利用该分类器，直接替换opencv中行人检测默认的那个分类器（cv::HOGDescriptor::setSVMDetector()），就可以利用你的训练样本训练出来的分类器进行行人检测了。

下面给出样本训练的参考代码：

[cpp]  view plain copy

1. class Mysvm: public CvSVM  
2. {  
3. public:  
4.     int get_alpha_count()  
5.     {  
6.         return this->sv_total;  
7.     }  
8.   
9.     int get_sv_dim()  
10.     {  
11.         return this->var_all;  
12.     }  
13.   
14.     int get_sv_count()  
15.     {  
16.         return this->decision_func->sv_count;  
17.     }  
18.   
19.     double* get_alpha()  
20.     {  
21.         return this->decision_func->alpha;  
22.     }  
23.   
24.     float** get_sv()  
25.     {  
26.         return this->sv;  
27.     }  
28.   
29.     float get_rho()  
30.     {  
31.         return this->decision_func->rho;  
32.     }  
33. };  
34.   
35. void Train()  
36. {  
37.     char classifierSavePath[256] = "c:/pedestrianDetect-peopleFlow.txt";  
38.   
39.     string positivePath = "E:\\pictures\\train1\\pos\\";  
40.     string negativePath = "E:\\pictures\\train1\\neg\\";  
41.   
42.     int positiveSampleCount = 4900;  
43.     int negativeSampleCount = 6192;  
44.     int totalSampleCount = positiveSampleCount + negativeSampleCount;  
45.   
46.     cout<<"//////////////////////////////////////////////////////////////////"<
47.     cout<<"totalSampleCount: "<
48.     cout<<"positiveSampleCount: "<
49.     cout<<"negativeSampleCount: "<
50.   
51.     CvMat *sampleFeaturesMat = cvCreateMat(totalSampleCount , 1764, CV_32FC1);  
52.     //64*128的训练样本，该矩阵将是totalSample*3780,64*64的训练样本，该矩阵将是totalSample*1764  
53.     cvSetZero(sampleFeaturesMat);    
54.     CvMat *sampleLabelMat = cvCreateMat(totalSampleCount, 1, CV_32FC1);//样本标识    
55.     cvSetZero(sampleLabelMat);    
56.   
57.     cout<<"************************************************************"<
58.     cout<<"start to training positive samples..."<
59.   
60.     char positiveImgName[256];  
61.     string path;  
62.     for(int i=0; i
63.     {    
64.         memset(positiveImgName, '\0', 256*sizeof(char));  
65.         sprintf(positiveImgName, "%d.jpg", i);  
66.         int len = strlen(positiveImgName);  
67.         string tempStr = positiveImgName;  
68.         path = positivePath + tempStr;  
69.   
70.         cv::Mat img = cv::imread(path);  
71.         if( img.data == NULL )  
72.         {  
73.             cout<<"positive image sample load error: "<" "<
74.             system("pause");  
75.             continue;  
76.         }  
77.   
78.         cv::HOGDescriptor hog(cv::Size(64,64), cv::Size(16,16), cv::Size(8,8), cv::Size(8,8), 9);  
79.         vector<float> featureVec;   
80.   
81.         hog.compute(img, featureVec, cv::Size(8,8));    
82.         int featureVecSize = featureVec.size();  
83.   
84.         for (int j=0; j
85.         {         
86.             CV_MAT_ELEM( *sampleFeaturesMat, float, i, j ) = featureVec[j];   
87.         }    
88.         sampleLabelMat->data.fl[i] = 1;  
89.     }  
90.     cout<<"end of training for positive samples..."<
91.   
92.     cout<<"*********************************************************"<
93.     cout<<"start to train negative samples..."<
94.   
95.     char negativeImgName[256];  
96.     for (int i=0; i
97.     {    
98.         memset(negativeImgName, '\0', 256*sizeof(char));  
99.         sprintf(negativeImgName, "%d.jpg", i);  
100.         path = negativePath + negativeImgName;  
101.         cv::Mat img = cv::imread(path);  
102.         if(img.data == NULL)  
103.         {  
104.             cout<<"negative image sample load error: "<
105.             continue;  
106.         }  
107.   
108.         cv::HOGDescriptor hog(cv::Size(64,64), cv::Size(16,16), cv::Size(8,8), cv::Size(8,8), 9);    
109.         vector<float> featureVec;   
110.   
111.         hog.compute(img,featureVec,cv::Size(8,8));//计算HOG特征  
112.         int featureVecSize = featureVec.size();    
113.   
114.         for ( int j=0; j
115.         {    
116.             CV_MAT_ELEM( *sampleFeaturesMat, float, i + positiveSampleCount, j ) = featureVec[ j ];  
117.         }    
118.   
119.         sampleLabelMat->data.fl[ i + positiveSampleCount ] = -1;  
120.     }    
121.   
122.     cout<<"end of training for negative samples..."<
123.     cout<<"********************************************************"<
124.     cout<<"start to train for SVM classifier..."<
125.   
126.     CvSVMParams params;    
127.     params.svm_type = CvSVM::C_SVC;    
128.     params.kernel_type = CvSVM::LINEAR;    
129.     params.term_crit = cvTermCriteria(CV_TERMCRIT_ITER, 1000, FLT_EPSILON);  
130.     params.C = 0.01;  
131.   
132.     Mysvm svm;  
133.     svm.train( sampleFeaturesMat, sampleLabelMat, NULL, NULL, params ); //用SVM线性分类器训练  
134.     svm.save(classifierSavePath);  
135.   
136.     cvReleaseMat(&sampleFeaturesMat);  
137.     cvReleaseMat(&sampleLabelMat);  
138.   
139.     int supportVectorSize = svm.get_support_vector_count();  
140.     cout<<"support vector size of SVM："<
141.     cout<<"************************ end of training for SVM ******************"<
142.   
143.     CvMat *sv,*alp,*re;//所有样本特征向量   
144.     sv  = cvCreateMat(supportVectorSize , 1764, CV_32FC1);  
145.     alp = cvCreateMat(1 , supportVectorSize, CV_32FC1);  
146.     re  = cvCreateMat(1 , 1764, CV_32FC1);  
147.     CvMat *res  = cvCreateMat(1 , 1, CV_32FC1);  
148.   
149.     cvSetZero(sv);  
150.     cvSetZero(re);  
151.     
152.     for(int i=0; i
153.     {  
154.         memcpy( (float*)(sv->data.fl+i*1764), svm.get_support_vector(i), 1764*sizeof(float));      
155.     }  
156.   
157.     double* alphaArr = svm.get_alpha();  
158.     int alphaCount = svm.get_alpha_count();  
159.   
160.     for(int i=0; i
161.     {  
162.         alp->data.fl[i] = alphaArr[i];  
163.     }  
164.     cvMatMul(alp, sv, re);  
165.   
166.     int posCount = 0;  
167.     for (int i=0; i<1764; i++)  
168.     {  
169.         re->data.fl[i] *= -1;  
170.     }  
171.   
172.     FILE* fp = fopen("c:/hogSVMDetector-peopleFlow.txt","wb");  
173.     if( NULL == fp )  
174.     {  
175.         return 1;  
176.     }  
177.     for(int i=0; i<1764; i++)  
178.     {  
179.         fprintf(fp,"%f \n",re->data.fl[i]);  
180.     }  
181.     float rho = svm.get_rho();  
182.     fprintf(fp, "%f", rho);  
183.     cout<<"c:/hogSVMDetector.txt 保存完毕"<//保存HOG能识别的分类器  
184.     fclose(fp);  
185.   
186.     return 1;  
187. }  

接着，再给出利用训练好的分类器进行行人检测的参考代码：

[cpp]  view plain copy

1. void Detect()  
2. {  
3.     CvCapture* cap = cvCreateFileCapture("E:\\02.avi");  
4.     if (!cap)  
5.     {  
6.         cout<<"avi file load error..."<
7.         system("pause");  
8.         exit(-1);  
9.     }  
10.   
11.     vector<float> x;  
12.     ifstream fileIn("c:/hogSVMDetector-peopleFlow.txt", ios::in);  
13.     float val = 0.0f;  
14.     while(!fileIn.eof())  
15.     {  
16.         fileIn>>val;  
17.         x.push_back(val);  
18.     }  
19.     fileIn.close();  
20.   
21.     vector  found;  
22.     cv::HOGDescriptor hog(cv::Size(64,64), cv::Size(16,16), cv::Size(8,8), cv::Size(8,8), 9);  
23.     hog.setSVMDetector(x);  
24.   
25.     IplImage* img = NULL;  
26.     cvNamedWindow("img", 0);  
27.     while(img=cvQueryFrame(cap))  
28.     {  
29.         hog.detectMultiScale(img, found, 0, cv::Size(8,8), cv::Size(32,32), 1.05, 2);  
30.         if (found.size() > 0)  
31.         {  
32.   
33.             for (int i=0; i
34.             {  
35.                 CvRect tempRect = cvRect(found[i].x, found[i].y, found[i].width, found[i].height);  
36.   
37.                 cvRectangle(img, cvPoint(tempRect.x,tempRect.y),  
38.                     cvPoint(tempRect.x+tempRect.width,tempRect.y+tempRect.height),CV_RGB(255,0,0), 2);  
39.             }  
40.         }  
41.     }  
42.     cvReleaseCapture(&cap);  
43. }