目标检测之一(传统算法和深度学习的源码学习)
本系列写一写关于目标检测的东西,包括传统算法和深度学习的方法都会涉及到,注重实验而不着重理论,理论相关的看论文去哈,主要依赖opencv。
一、目标检测有哪些算法,历史简介
最近在做一些目标检测相关的东西,目标检测是计算机视觉里面最重要的课题之一了,很多场合检测和识别都是很重要的,比如现在很火的无人驾驶,就非常依赖目标检测和识别,需要非常高的检测精度和定位精度。
目标检测从很早就开始有了。
传统算法的典型代表有:
Haar特征+Adaboost算法
Hog特征+Svm算法
DPM算法
深度学习的目标检测典型代表有:
RCNN系列,RCNN,spp-net,fast-rcnn,faster-rcnn
YOLO系列,YOLO和YOLO9000
SSD
后来有了深度残差网络ResNet之后,又出现了RFCN,还有最近的mask-rcnn等等,检测效果越来越好,精度越来越高。
二、Haar特征+Adaboost特征检测
作为本系列的第一篇,先来点简单的,我们从Haar特征+Adaboost算法开始。原理很简单。网络上教程一大堆,我这里就不废话了,稍微提下下。
Haar特征有以下几种:
Adaboost算法是机器学习里面的一种集成学习的算法,说的通俗点,就是用弱分类器(分类能力较差,但是也要大于0.5)级联加权组合成强分类器(分类能力较强),在训练过程中会着重训练前面分类错误的样本,及具体做法是增加样本对应的权重。
本次实验检测目标为车辆
使用Haar+Adaboost算法目标检测分为三个步骤:
1、 样本的创建和标记
2、 训练分类器
3、 利用训练好的分类器进行目标检测。
1. 样本的创建和标记
自己做样本是一个非常痛苦和麻烦的事,最好还是自己去网上找些公开的数据集,毕竟像ImageNet比赛或者无人驾驶这么火,公开的数据集很多的。
这里给出几个车辆检测相关数据集链接:
http://www.gti.ssr.upm.es/data/Vehicle_database.html
http://www.cvlibs.net/datasets/kitti/raw_data.php?type=city
正样本,即包含检测对象的图片,使用图像标记工具,网上搜一下有很多的,格式就是,图片名+目标个数+目标的矩形框定位(左上角坐标和矩形长宽)
正样本描述文件vec文件的创建。
已经把目标的情况记录了放在txt文件里,打开cmd窗口,输入createsamples.exe -info positive/info.txt -vec data/vector.vec -num 500 -w 24-h 24。当然你也可以使用.bat文件运行。这句话的-num后面的500表示正样本图片的数目,后面的-w和 -h说的是图片resize成的大小,根据实际情况修改。运行完会生成vector.vec文件,这个就是向量描述文件了。你不用打开看它的内容,其实打开也没用,因为是乱码的,需要专门的软件。后面会用到。
做好这个其实就成功了一大半了,制作正样本很麻烦的。下面看看怎么制、制作负样本。很简单,准备图片(不包含车的图像)1500张,多点也可以。
负样本的制作
然后在当前路径下在cmd窗口运行dir /b *.jpg >neg_name.txt就会生成一个neg_name.txt文件,里面包含当前路径下的所有jpg文件的文件名。
好了,正负样本制作完成,可以开始训练了。我们使用opencv自带的opencv_haartraining.exe文件(opencv安装目录的bin目录下面有该文件)进行训练。
参数看起来很多,有点复杂。不用管它,网上查一下就明白了,很多参数都有默认值。我训练时的命令为
opencv_haartraining.exe-data data/cascade -vec data/vector.vec -bg negative/neg_name.txt -npos 500-nneg 1500 -nstages 20 -mem 4000 -w 24 -h 24
意思依次为 可执行文件名,训练好的xml分类器文件保存地址,正样本描述文件vec文件,负样本的文件名,正负样本的数量,nstages为训练轮数,mem为分配内存MB,图像resize的大小。
训练截图
这个训练过程非常慢,可能要十几二十个小时,看电脑配置和数据量,我当时训练了20多个小时。你可以让它一直训练直到完成,你也可以随时中断训练,然后随时开始,他会接着训练,不会从头再来。
经过漫长的等待训练完成得到xml分类器文件,然后使用opencv的接口即可进行车辆检测了,我是使用detectMultiScale这个函数检测的,就跟人脸检测一样的,然后输出矩形框。我直接贴出检测部分的源代码,其他部分都是直接使用opencv自带的。其实这个也算~~
#include
#include
#include
#include
using namespace std;
using namespace cv;
int main()
{
string xmlPath = "car_model.xml"; //训练好的分类器xml文件
CascadeClassifier ccf; //创建分类器对象
Mat img;
if (!ccf.load(xmlPath)) //加载训练文件
{
cout << "不能加载指定的xml文件" << endl;
return 0;
}
namedWindow("car");
bool stop = false;
//获取摄像头图像
//VideoCapture cap(0);
//获取文件夹图片序列
string img_path = "data";//把图片放到当前目录的data文件夹下即可,文件名随便都可以
vector vec_img;
glob(img_path, vec_img);
if (vec_img.empty())
{
std::cout << "there is no pictures." << endl;
return -1;
}
//写入视频文件,我处理的是序列图片,所以我把检测结果写成视频文件了,便于观察
//VideoWriter writer;
//string video_name = "car1.avi";
//Mat temp = imread(vec_img[0]);
//int frame_fps = 15; //帧率
//writer = VideoWriter(video_name, CV_FOURCC('X', 'V', 'I', 'D'), frame_fps, Size(temp.cols, temp.rows));
while (!stop)
{
int64 start = getTickCount();
for (int i = 0; i < vec_img.size(); ++i)
{
img = imread(vec_img[i]);
//if (!cap.read(img))
// break;
//cap >> img;
vector cars; //创建一个容器保存检测出来的车辆
Mat gray;
cvtColor(img, gray, CV_BGR2GRAY); //转换成灰度图,因为harr特征从灰度图中提取
//equalizeHist(gray, gray); //直方图均衡行
ccf.detectMultiScale(gray, cars, 1.1, 3, 0, Size(10, 10), Size(100, 100)); //检测车辆
//cout << cars.size() << endl;
for (vector::const_iterator iter = cars.begin(); iter != cars.end(); iter++)
{
rectangle(img, *iter, Scalar(0, 0, 255), 2, 8); //画出矩形
}
imshow("car", img);
//writer.write(img);
if (waitKey(2) == 'q')//按q退出
{
stop = true;
break;
}
}
//计算运行时间
cout << (getTickCount() - start) / getTickFrequency() << endl;
break;
}
return 1;
}
测试效果截图:可以看到对于简单场景 的测试,检测效果还不错,速度超快的,每秒几十帧,几乎都能正确检测出来,但是对于复杂点的场景检测效果就很差了。这个时候就要看深度学习的了
测试场景1:高速公路,目标较少,1700张序列图片(320*240),只需要25s左右.
这是高速公路的监控相机下的场景,从上面两幅图像可以看到,远处的车辆几乎都没有检测到,当车辆靠近相机时,就能准确检测到。
简单场景下检测效果较好,场景中的车辆几乎都能较准确的检测出来。
测试场景2:城市街道,由于光照和场景较复杂,检测效果很差,几乎不能检测出来
深度学习方法的对比,几乎都能正确检测出来,目前用的是YOLO方法进行车辆的检测,速度和精度都比较好,适合用于视频的实时检测。1700帧序列图像(320*240),用时600s左右,相当于大概1秒3帧,速度有点慢
注:由于车辆较多,我把目标的标签和概率去掉了,只保留了检测框。
从上图可以看到,总体检测车辆的效果良好,但第三幅图的时候出现了一个错误的检测,它把马路识别为train。还有第四幅图像,由于目标比较密集,检测框定位不准确
在更复杂的场景中,深度学习的方法表现出了更大的优势,由于光照的原因,场景中的目标不容易被检测,但是YOLO几乎全部准确检测出来。
关于YOLO进行目标检测的东西见本系列第二篇。有问题欢迎在评论区或者邮件交流,我也是初学者,有不对的地方还望各位不吝指正~~
参考文献
[1] ViolaP, Jones M. Rapid object detection using a boosted cascade of simplefeatures[C]// Computer Vision and Pattern Recognition, 2001. CVPR 2001.Proceedings of the 2001 IEEE Computer Society Conference on. IEEE, 2003:I-511-I-518vol.1.
[2] Lienhart R, Maydt J. An extended set of Haar-like features for rapidobject detection[C]// International Conference on Image Processing. 2002.Proceedings. IEEE, 2002:I-900-I-903 vol.1.
[3] http://blog.csdn.net/zhuangxiaobin/article/details/25476833
[4] Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[J]. 2016.