OpenCV运动目标检测背景差法和帧差法的理解

视频中运动目标检测的一种思路是,通过区分视频中静止和运动的部分,提取出运动的部分就是我们的检测目标。 

背差法是:如果事先拍好静止的背景,每一帧的图像与背景图像相减可以得到差异的部分,差异的部分就是运动目标。下面举两张图片的例子来体会:

OpenCV运动目标检测背景差法和帧差法的理解_第1张图片

上图使用absdiff图像减法函数,代码如下:

//二值化腐蚀膨胀学习,帧差法和背景差法对比测试
#include
#include
using namespace cv;
using namespace std;
int main(int argc, char** argv)
{
	Mat back = imread("D:/feiji.jpg");;//背景
	Mat frame = imread("D:/feiji2.jpg");;//当前图片
	Mat fore;//前景
	imshow("1背景图像", back);
	imshow("2当前图像", frame);
	absdiff(frame, back, fore);//absdiff是图像减法。当前图像减去背景图像得到前景图像fore 
	imshow("3前景图像", fore);
	waitKey(0);
	return 0;
}

帧差法也是使用absdiff图像减法函数,只不过是相邻帧图像相减(下图假设是相邻帧,笑脸从左往右移动到飞机尾部),找出差异的部分。例如下面两个图像的例子:

OpenCV运动目标检测背景差法和帧差法的理解_第2张图片

代码如下(实际上和上面代码是一样的,只是为了突出对比一下):

//二值化腐蚀膨胀学习,帧差法和背景差法对比测试
#include
#include
using namespace cv;
using namespace std;
int main(int argc, char** argv)
{
	Mat proframe = imread("D:/feiji2.jpg");;//前一帧图像
	Mat frame = imread("D:/feiji3.jpg");;//当前帧图片
	Mat fore;//前景
	imshow("1前一帧图像", proframe);
	imshow("2当前帧图像", frame);
	absdiff(frame, proframe, fore);//absdiff是图像减法。当前图像减去背景图像得到前景图像fore 
	imshow("3前景图像", fore);
	waitKey(0);
	return 0;
}

之所以先用图片的例子,是因为实际处理视频的时候,也是将视频分成一帧一帧的来处理,每一帧的图像存储在Mat对象中,进行上述操作。

下面来看看帧差法在视频中的表现:(如图是运动的车辆)

OpenCV运动目标检测背景差法和帧差法的理解_第3张图片

检测效果较好,检测出来的差异基本上就是车辆的样子,但是要知道,如果运动目标非常快,就会出现和上面图片实验一样,出现这种情况:OpenCV运动目标检测背景差法和帧差法的理解_第4张图片    检测的差异部分表现为“两个运动物体”。

代码如下:

///运动物体检测——帧差法、缺点是无法对运动后突然又静止的景象进行识别,优点是光照不影响;
#include "opencv2/opencv.hpp"
using namespace cv;
#include 
using namespace std;
//运动物体检测函数声明
Mat MoveDetect(Mat temp, Mat frame);

int main()
{
	VideoCapture video("D://车.mp4");//定义VideoCapture类video
	if (!video.isOpened())	//对video进行异常检测
	{
		cout << "video open error!" << endl;
		return 0;
	}
	int frameCount = video.get(CV_CAP_PROP_FRAME_COUNT);//获取帧数
	double FPS = video.get(CV_CAP_PROP_FPS);//获取FPS
	Mat frame;//存储帧
	Mat temp;//存储前一帧图像
	Mat result;//存储结果图像
	for (int i = 0; i < frameCount; i++)
	{

		video >> frame;//读帧进frame
		imshow("frame", frame);
		if (frame.empty())//对帧进行异常检测
		{
			cout << "frame is empty!" << endl;
			break;
		}

		int framePosition = video.get(CV_CAP_PROP_POS_FRAMES);//获取帧位置(第几帧)
		cout << "framePosition: " << framePosition << endl;
		if (i == 0)   //如果为第一帧(temp还为空)
			absdiff(frame, frame, result);
		else     //若不是第一帧(temp有值了)
	      absdiff(temp, frame, result);//2.将前一帧temp图像和当前帧frame图像做差
		imshow("result", result);
		if (waitKey(1000.0 / FPS) == 27)//按原FPS显示
		{
			cout << "ESC退出!" << endl;
			break;
		}
		temp = frame.clone();//当前帧赋给temp作为下一帧的前一帧
	}
	return 0;


}

 再来看看背景差法(使用第一帧做背景)

OpenCV运动目标检测背景差法和帧差法的理解_第5张图片

背景差法使用第一帧做背景,检测的差异图中还存在第一帧的“残影”,因为这个视频的第一帧就有车辆,所以拿后面的帧来和第一帧做差,差异越来越大,就出现了类似图片实验中“两个运动物体”的情况。所以背景法检测的关键在于需要建立一个可靠的背景模型。关于背景模型的建立和帧差法的优化,将在下一篇博文中给出。 下面继续实现目标检测功能。

现在我们虽然把前景(检测目标)提取出来了, 我们需要将这些目标的轮廓画出来, 并用矩形框标识出来。

为了更好的解释各个函数的意义,我们先用图片测试一下各个函数的功能:代码中的各个函数作用和用法写的注释很详细。

//二值化腐蚀膨胀学习,帧差法和背景差法对比测试
#include
#include
using namespace cv;
using namespace std;
int main(int argc, char** argv)
{
	// opencv读图片的API
	Mat back = imread("D:/feiji.jpg");;//背景
	Mat frame = imread("D:/feiji2.jpg");;//当前图片
	Mat gray_image;//灰度图片
	Mat two_image;//二值化图片
	Mat fore;//前景
	Mat fore1;//前景灰度
	Mat fore2;//前景二值化


	namedWindow("1背景图像", CV_WINDOW_AUTOSIZE);//nameWindow的作用是什么?
	imshow("1背景图像", back);//指定图像显示到指定窗口上
	imshow("2当前图像", frame);
	//cvtColor(frame, frame, CV_BGR2GRAY);//当前图片灰度化
	//imshow("当前图像灰度化", frame);
	//cvtColor(back, back, CV_BGR2GRAY);//背景灰度化
	//imshow("背景图像灰度化", back);

	absdiff(frame, back, fore);//absdiff是图像减法。当前图像减去背景图像得到前景图像fore  视频中 Mat变量,用于存储每一帧的图像
	imshow("3前景图像", fore);
	cvtColor(fore, fore1, CV_BGR2GRAY);
	imshow("4前景灰度化", fore1);
	threshold(fore1, fore2, 30, 255, CV_THRESH_BINARY);
	imshow("5前景二值化", fore2);//为什么要先二值化再腐蚀膨胀?(二值化使得车的黑白轮廓已经显示出来,腐蚀膨胀是为了变成一块整体以达到标识的目的,使得黑白轮廓明显)
							//4.腐蚀    先腐蚀还是先膨胀,腐蚀在一定程度上会消除干扰点。但是这里考虑到车辆中有摩托车,如果先腐蚀处理的话会将摩托车给消除掉,造成识别精度不高。
							//腐蚀的目的在于将因为膨胀而导致的黏合,还有非关键点和区域的清除,以达到区分标识的目的。
	Mat kernel_erode = getStructuringElement(MORPH_RECT, Size(3, 3));//函数返回值为指定形状和尺寸的结构元素(内核矩阵),这个参数为腐蚀做准备。
	erode(fore2, fore2, kernel_erode);
	imshow("6前景腐蚀", fore2);
	//5.膨胀         膨胀的目的在于将一辆车拼合成一块完整的个体,以达到标识的目的
	Mat kernel_dilate = getStructuringElement(MORPH_RECT, Size(15, 15));
	dilate(fore2, fore2, kernel_dilate);
	imshow("7前景膨胀", fore2);

	//6.查找轮廓并绘制轮廓
	vector> contours; //是一个向量,并且是一个双重向量,向量内每个元素保存了一组由连续的Point点构成的点的集合的向量,每一组Point点集就是一个轮廓。
									//	有多少轮廓,向量contours就有多少元素。
									//findContours第一个参数处理的图像是单通道图像矩阵,可以是灰度图,但更常用的是二值图像。故要在之前二值化。
	findContours(fore2, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE); //CV_RETR_EXTERNAL只检测最外围轮廓;CV_CHAIN_APPROX_NONE 保存物体边界上所有连续的轮廓点到contours向量内
	drawContours(frame, contours, -1, Scalar(0, 0, 255), 2);//在frame上绘制轮廓
	imshow("8轮廓", frame);
	vector boundRect(contours.size());//外接矩阵集合
	for (int i = 0; i < contours.size(); i++)
	{
		boundRect[i] = boundingRect(contours[i]);
		rectangle(frame, boundRect[i], Scalar(0, 255, 0), 2);//在frame上绘制正外接矩形
	}                    //轮廓的颜色;轮廓线条的粗细默认为1
	imshow("9绘制正外接矩形", frame);
	waitKey(0);
	return 0;
}

最后来看一个帧差法检测运动目标的完整代码:

OpenCV运动目标检测背景差法和帧差法的理解_第6张图片

完整代码如下:

///运动物体检测——帧差法、缺点是无法对运动后突然又静止的景象进行识别,优点是光照不影响;
#include "opencv2/opencv.hpp"
using namespace cv;
#include 
using namespace std;
//运动物体检测函数声明
Mat MoveDetect(Mat temp, Mat frame);

int main()
{

	VideoCapture video("D://车.mp4");//定义VideoCapture类video
	if (!video.isOpened())	//对video进行异常检测
	{
		cout << "video open error!" << endl;
		return 0;
	}
	int frameCount = video.get(CV_CAP_PROP_FRAME_COUNT);//获取帧数
	double FPS = video.get(CV_CAP_PROP_FPS);//获取FPS
	Mat frame;//存储帧
	Mat temp;//存储前一帧图像
	Mat result;//存储结果图像
	for (int i = 0; i < frameCount; i++)
	{

		video >> frame;//读帧进frame
		imshow("frame", frame);
		if (frame.empty())//对帧进行异常检测
		{
			cout << "frame is empty!" << endl;
			break;
		}

		int framePosition = video.get(CV_CAP_PROP_POS_FRAMES);//获取帧位置(第几帧)
		cout << "framePosition: " << framePosition << endl;
		if (i == 0)//如果为第一帧(temp还为空)
		{
			result = MoveDetect(frame, frame);//调用MoveDetect()进行运动物体检测,返回值存入result
		}
		else//若不是第一帧(temp有值了)
		{                      //前一帧,当前帧
			result = MoveDetect(temp, frame);//调用MoveDetect()进行运动物体检测,返回值存入result
		}
		imshow("result", result);
		if (waitKey(1000.0 / FPS) == 27)//按原FPS显示
		{
			cout << "ESC退出!" << endl;
			break;
		}
		temp = frame.clone();//当前帧赋给temp作为下一帧的前一帧
	}
	return 0;


}
Mat MoveDetect(Mat temp, Mat frame)
{
	Mat result = frame.clone();
	//1.将前一帧temp图像和当前帧frame图像转为灰度图
	Mat gray1, gray2;
	cvtColor(temp, gray1, CV_BGR2GRAY);
	cvtColor(frame, gray2, CV_BGR2GRAY);
	//2.将前一帧temp图像和当前帧frame图像做差
	Mat diff;
	absdiff(gray1, gray2, diff);
	imshow("前景", diff);
	//3.对差值图diff_thresh进行阈值化处理
	Mat diff_thresh;
	threshold(diff, diff_thresh, 50, 255, CV_THRESH_BINARY);
	imshow("前景二值化", diff_thresh);
	//4.腐蚀
	Mat kernel_erode = getStructuringElement(MORPH_RECT, Size(3, 3));
	Mat kernel_dilate = getStructuringElement(MORPH_RECT, Size(18, 18));
	erode(diff_thresh, diff_thresh, kernel_erode);
	imshow("腐蚀", diff_thresh);
	//5.膨胀
	dilate(diff_thresh, diff_thresh, kernel_dilate);
	imshow("膨胀", diff_thresh);
	//6.查找轮廓并绘制轮廓
	vector> contours;
	findContours(diff_thresh, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE);
	drawContours(result, contours, -1, Scalar(0, 0, 255), 2);//在result上绘制轮廓
															 //7.查找正外接矩形
	vector boundRect(contours.size());
	for (int i = 0; i < contours.size(); i++)
	{
		boundRect[i] = boundingRect(contours[i]);
		rectangle(result, boundRect[i], Scalar(0, 255, 0), 2);//在result上绘制正外接矩形
	}
	return result;//返回result
}

下一篇博客将针对本文帧差法和背景差法的不足提出解决方案,给出优化的代码。

你可能感兴趣的:(OpenCV,opencv)