opencv学习笔记三十：HOG特征提取与行人检测

1、HOG特征：

       方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。需要提醒的是，HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的CVPR上提出的，而如今虽然有很多行人检测算法不断提出，但基本都是以HOG+SVM的思路为主。

（1）主要思想：

       在一副图像中，局部目标的表象和形状（appearance and shape）能够被梯度或边缘的方向密度分布很好地描述。（本质：梯度的统计信息，而梯度主要存在于边缘的地方）。

（2）具体的实现方法是：

       首先将图像分成小的连通区域，我们把它叫细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组合起来就可以构成特征描述器。

（3）提高性能：

       把这些局部直方图在图像的更大的范围内（我们把它叫区间或block）进行对比度归一化（contrast-normalized），所采用的方法是：先计算各直方图在这个区间（block）中的密度，然后根据这个密度对区间中的各个细胞单元做归一化。通过这个归一化后，能对光照变化和阴影获得更好的效果。

（4）优点：

       与其他的特征描述方法相比，HOG有很多优点。首先，由于HOG是在图像的局部方格单元上操作，所以它对图像几何的和光学的形变都能保持很好的不变性，这两种形变只会出现在更大的空间领域上。其次，在粗的空域抽样、精细的方向抽样以及较强的局部光学归一化等条件下，只要行人大体上能够保持直立的姿势，可以容许行人有一些细微的肢体动作，这些细微的动作可以被忽略而不影响检测效果。因此HOG特征是特别适合于做图像中的人体检测的。

 

2、HOG特征提取算法的实现过程：

大概过程：

HOG特征提取方法就是将一个image（你要检测的目标或者扫描窗口）：

1）灰度化（将图像看做一个x,y,z（灰度）的三维图像）；

2）采用Gamma校正法对输入图像进行颜色空间的标准化（归一化）；目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；

3）计算图像每个像素的梯度（包括大小和方向）；主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。

4）将图像划分成小cells（例如8*8像素/cell）；

5）统计每个cell的梯度直方图（不同梯度的个数），即可形成每个cell的descriptor；

6）将每几个cell组成一个block（例如2*2个cell/block），一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor。

7）将图像image内的所有block的HOG特征descriptor串联起来就可以得到该image（你要检测的目标）的HOG特征descriptor了。这个就是最终的可供分类使用的特征向量了。

 

 

 

具体每一步的详细过程如下：

（1）标准化gamma空间和颜色空间

     为了减少光照因素的影响，首先需要将整个图像进行规范化（归一化）。在图像的纹理强度中，局部的表层曝光贡献的比重较大，所以，这种压缩处理能够有效地降低图像局部的阴影和光照变化。因为颜色信息作用不大，通常先转化为灰度图；

     Gamma压缩公式：

     比如可以取Gamma=1/2；

 

（2）计算图像梯度

        计算图像横坐标和纵坐标方向的梯度，并据此计算每个像素位置的梯度方向值；求导操作不仅能够捕获轮廓，人影和一些纹理信息，还能进一步弱化光照的影响。

图像中像素点(x,y)的梯度为：

 

       最常用的方法是：首先用[-1,0,1]梯度算子对原图像做卷积运算，得到x方向（水平方向，以向右为正方向）的梯度分量gradscalx，然后用[1,0,-1]T梯度算子对原图像做卷积运算，得到y方向（竖直方向，以向上为正方向）的梯度分量gradscaly。然后再用以上公式计算该像素点的梯度大小和方向。

 

（3）为每个细胞单元构建梯度方向直方图

        第三步的目的是为局部图像区域提供一个编码，同时能够保持对图像中人体对象的姿势和外观的弱敏感性。

我们将图像分成若干个“单元格cell”，例如每个cell为8*8个像素。假设我们采用9个bin的直方图来统计这8*8个像素的梯度信息。也就是将cell的梯度方向360度分成9个方向块，如图所示：例如：如果这个像素的梯度方向是20-40度，直方图第2个bin的计数就加一，这样，对cell内每个像素用梯度方向在直方图中进行加权投影（映射到固定的角度范围），就可以得到这个cell的梯度方向直方图了，就是该cell对应的9维特征向量（因为有9个bin）。

        像素梯度方向用到了，那么梯度大小呢？梯度大小就是作为投影的权值的。例如说：这个像素的梯度方向是20-40度，然后它的梯度大小是2（假设啊），那么直方图第2个bin的计数就不是加一了，而是加二（假设啊）。

         细胞单元可以是矩形的（rectangular），也可以是星形的（radial）。

 

（4）把细胞单元组合成大的块（block），块内归一化梯度直方图

       由于局部光照的变化以及前景-背景对比度的变化，使得梯度强度的变化范围非常大。这就需要对梯度强度做归一化。归一化能够进一步地对光照、阴影和边缘进行压缩。

        作者采取的办法是：把各个细胞单元组合成大的、空间上连通的区间（blocks）。这样，一个block内所有cell的特征向量串联起来便得到该block的HOG特征。这些区间是互有重叠的，这就意味着：每一个单元格的特征会以不同的结果多次出现在最后的特征向量中。我们将归一化之后的块描述符（向量）就称之为HOG描述符。

        区间有两个主要的几何形状——矩形区间（R-HOG）和环形区间（C-HOG）。R-HOG区间大体上是一些方形的格子，它可以有三个参数来表征：每个区间中细胞单元的数目、每个细胞单元中像素点的数目、每个细胞的直方图通道数目。

       例如：行人检测的最佳参数设置是：2×2细胞/区间、8×8像素/细胞、9个直方图通道。则一块的特征数为：2*2*9；

 

（5）收集HOG特征

      最后一步就是将检测窗口中所有重叠的块进行HOG特征的收集，并将它们结合成最终的特征向量供分类使用。

    

（6）那么一个图像的HOG特征维数是多少呢？

        顺便做个总结：Dalal提出的Hog特征提取的过程：把样本图像分割为若干个像素的单元（cell），把梯度方向平均划分为9个区间（bin），在每个单元里面对所有像素的梯度方向在各个方向区间进行直方图统计，得到一个9维的特征向量，每相邻的4个单元构成一个块（block），把一个块内的特征向量联起来得到36维的特征向量，用块对样本图像进行扫描，扫描步长为一个单元。最后将所有块的特征串联起来，就得到了人体的特征。

例如，对于64*128的图像而言，每8*8的像素组成一个cell，每2*2个cell组成一个块，因为每个cell有9个特征，所以每个块内有4*9=36个特征，以8个像素为步长，那么，水平方向将有7个扫描窗口，垂直方向将有15个扫描窗口。也就是说，64*128的图片，总共有36*7*15=3780个特征。

 

图4单独将其中一个8*8的小格拿出来，方向梯度中指的方向范围为2π，360°，为了画直方图我们还需要选取合适的组距也就是bin，这里组距选取2π/9，也就是最后的直方图组数为9。下图为8*8像素的cell对应的方向梯度（未全部画出，共有8*8=64个）。

 

 

图5

　　将上面的64个方向梯度，按着直方图的参数设置进行画图，其中梯度的大小在统计数量中呈线性关系，比如梯度大小为2，则直方图对应增加2个单位，

画出的对应直方图假设如下所示：

 

图6

 

　　把上图中单个cell对应的方向直方图转换为单维向量，也就是按规定组距对对应方向梯度个数进行编码，（8,10,6,12,4,5,8,6,14），得到单个cell的9个特征，每个block（扫描窗口）包含2*2个cell也就是2*2*9=36个特征，一个64*128大小的图像最后得到的特征数为36*7*15=3780个。这样将一幅直观的梯度图通过分解提取变为计算机容易理解的特征向量。

　　以上工作为HOG提取的主要内容，最后得到对应的行人的由方向梯度直方图HOG提取到的特征向量，但是计算机还是不知道这个数据数组代表了什么意思，什么时候这组向量代表行人，什么时候代表其他东西，怎样train，最后通过不断地学习，而后在检测积累的基础上对对未知图像检测识别有没有行人呢？那就是后一步SVM要做的事了。

 

目前OpenCV中的行人检测算法支持HOG+SVM以及HOG+Cascade两种，二者都采用了滑动窗口技术，为了检测不同大小的行人，还需要对窗口进行缩放。然后对每一个窗口进行前景和背景的二分类。

比如下面例子检测到3个行人的矩形框分别为：72x144, 70x140 , 66x132，像72x144这个矩形框是在窗口放大1.125（72/64=1.125，144/128=1.125）倍时，（放大的区域要再缩放到64x128计算HOG特征送到SVM中去判别，因为模型需要输入的图像尺寸是固定的，才能提取固定的3780维的特征）检测到的行人。

下面利用HOG+SVM实现行人检测：

#include
#include

using namespace cv;
using namespace cv::xfeatures2d;
using namespace std;

Mat src, dst, gray_img;
int main(int arc, char** argv) { 
	src = imread("3.jpg");
	namedWindow("input", CV_WINDOW_AUTOSIZE);
	imshow("input", src);

	//【1】计算一幅图像的特征向量看看有多少维
	/*resize(src, dst, Size(64, 128));//重新设置图像大小
	cvtColor(dst, gray_img, CV_BGR2GRAY);
	HOGDescriptor hog1(Size(64,128), Size(16, 16), Size(8, 8), Size(8, 8), 9);//声明HOG特征描述的结构体
	vectordescriptors;//特征向量
	vectorlocations;//位置
	hog1.compute(gray_img, descriptors, Size(0, 0), Size(0, 0), locations);
	printf("number of HOG descriptors:%d\n", descriptors.size());*/
	
	//【2】行人检测
	HOGDescriptor hog = HOGDescriptor();//声明HOG特征描述的结构体，这里表明用默认参数
	hog.setSVMDetector(hog.getDefaultPeopleDetector());//用opencv训练好的行人检测模型
	vectorfoundLocations;
	hog.detectMultiScale(src, foundLocations, 0, Size(4, 4), Size(0, 0), 1.05, 2, false);
	for (int i = 0; i < foundLocations.size(); i++) {
		rectangle(src, foundLocations[i], Scalar(0, 255, 0), 2, 8, 0);
	}
	namedWindow("HOG SVM Detector", CV_WINDOW_AUTOSIZE);
	imshow("HOG SVM Detector", src);
	waitKey(0);
	return 0;
}

运行结果如下：

实时行人检测：

#include
using namespace cv;
using namespace std;
int main(int arc, char** argv) { 
	namedWindow("input", CV_WINDOW_AUTOSIZE);
	namedWindow("output", CV_WINDOW_AUTOSIZE);
	VideoCapture capture;
	capture.open("vtest.avi");
	Mat frame;
	HOGDescriptor hog = HOGDescriptor();
	hog.setSVMDetector(hog.getDefaultPeopleDetector());
	vectorobjects;
	
	while (capture.read(frame)){
		imshow("input", frame);
		hog.detectMultiScale(frame, objects, 0, Size(4,4), Size(0,0), 1.05, 2);
		for (int i = 0; i < objects.size(); i++) {
			rectangle(frame, objects[i], Scalar(0, 255, 0), 2, 8);
		}
		char c = waitKey(10);
		if (c == 27) { break; }
		imshow("output", frame);
	}
	waitKey(0);
	return 0;
}

如果需要重新训练行人检测的模型，流程如下：

（1）准备训练样本集合；包括正样本集和负样本集；根据机器学习的基础知识我们知道，要利用机器学习算法进行样本训练，从而得到一个性能优良的分类器，训练样本应该是无限多的，而且训练样本应该覆盖实际应用过程中可能发生的各种情况。实际应用过程中，训练样本不可能无限多，但无论如何，三五千个正样本，三五千个负样本，应该不是什么难事吧？

（2）收集到足够的训练样本之后，你需要手动裁剪样本。例如，你想用Hog+SVM来对商业步行街的监控画面中进行行人检测，那么，你就应该用收集到的训练样本集合，手动裁剪画面中的行人（可以写个简单程序，只需要鼠标框选一下，就将框选区域保存下来）。

（3）裁剪得到训练样本之后，将所有正样本放在一个文件夹中；将所有负样本放在另一个文件夹中；并将所有训练样本缩放到同样的尺寸大小。OpenCV自带的例子在训练时，就是将样本缩放为64*128进行训练的；

（4）提取所有正样本的Hog特征；

（5）提取所有负样本的Hog特征；

（6）对所有正负样本赋予样本标签；例如，所有正样本标记为1，所有负样本标记为0；

（7）将正负样本的Hog特征，正负样本的标签，都输入到SVM中进行训练；Dalal在论文中考虑到速度问题，建议采用线性SVM进行训练。这里，不妨也采用线性SVM；

（8）SVM训练之后，将结果保存为文本文件。

（9）线性SVM进行训练之后得到的文本文件里面，有一个数组，叫做support vector，还有一个数组，叫做alpha,有一个浮点数，叫做rho;将alpha矩阵同support vector相乘，注意，alpha*supportVector,将得到一个列向量。之后，再该列向量的最后添加一个元素rho。如此，变得到了一个分类器，利用该分类器，直接替换opencv中行人检测默认的那个分类器（cv::HOGDescriptor::setSVMDetector()），就可以利用你的训练样本训练出来的分类器进行行人检测了。

 参考文献：https://blog.csdn.net/zouxy09/article/details/7929348

https://blog.csdn.net/coming_is_winter/article/details/72850511

https://blog.csdn.net/carson2005/article/details/7841443