OpenCV运动目标检测背景差法和帧差法的理解

视频中运动目标检测的一种思路是，通过区分视频中静止和运动的部分，提取出运动的部分就是我们的检测目标。 

背差法是：如果事先拍好静止的背景，每一帧的图像与背景图像相减可以得到差异的部分，差异的部分就是运动目标。下面举两张图片的例子来体会：

上图使用absdiff图像减法函数，代码如下：

//二值化腐蚀膨胀学习，帧差法和背景差法对比测试
#include
#include
using namespace cv;
using namespace std;
int main(int argc, char** argv)
{
	Mat back = imread("D:/feiji.jpg");;//背景
	Mat frame = imread("D:/feiji2.jpg");;//当前图片
	Mat fore;//前景
	imshow("1背景图像", back);
	imshow("2当前图像", frame);
	absdiff(frame, back, fore);//absdiff是图像减法。当前图像减去背景图像得到前景图像fore 
	imshow("3前景图像", fore);
	waitKey(0);
	return 0;
}

帧差法也是使用absdiff图像减法函数，只不过是相邻帧图像相减（下图假设是相邻帧，笑脸从左往右移动到飞机尾部），找出差异的部分。例如下面两个图像的例子：

代码如下（实际上和上面代码是一样的，只是为了突出对比一下）：

//二值化腐蚀膨胀学习，帧差法和背景差法对比测试
#include
#include
using namespace cv;
using namespace std;
int main(int argc, char** argv)
{
	Mat proframe = imread("D:/feiji2.jpg");;//前一帧图像
	Mat frame = imread("D:/feiji3.jpg");;//当前帧图片
	Mat fore;//前景
	imshow("1前一帧图像", proframe);
	imshow("2当前帧图像", frame);
	absdiff(frame, proframe, fore);//absdiff是图像减法。当前图像减去背景图像得到前景图像fore 
	imshow("3前景图像", fore);
	waitKey(0);
	return 0;
}

之所以先用图片的例子，是因为实际处理视频的时候，也是将视频分成一帧一帧的来处理，每一帧的图像存储在Mat对象中，进行上述操作。

下面来看看帧差法在视频中的表现：（如图是运动的车辆）

检测效果较好，检测出来的差异基本上就是车辆的样子，但是要知道，如果运动目标非常快，就会出现和上面图片实验一样，出现这种情况：    检测的差异部分表现为“两个运动物体”。

代码如下：

///运动物体检测——帧差法、缺点是无法对运动后突然又静止的景象进行识别，优点是光照不影响；
#include "opencv2/opencv.hpp"
using namespace cv;
#include 
using namespace std;
//运动物体检测函数声明
Mat MoveDetect(Mat temp, Mat frame);

int main()
{
	VideoCapture video("D://车.mp4");//定义VideoCapture类video
	if (!video.isOpened())	//对video进行异常检测
	{
		cout << "video open error!" << endl;
		return 0;
	}
	int frameCount = video.get(CV_CAP_PROP_FRAME_COUNT);//获取帧数
	double FPS = video.get(CV_CAP_PROP_FPS);//获取FPS
	Mat frame;//存储帧
	Mat temp;//存储前一帧图像
	Mat result;//存储结果图像
	for (int i = 0; i < frameCount; i++)
	{

		video >> frame;//读帧进frame
		imshow("frame", frame);
		if (frame.empty())//对帧进行异常检测
		{
			cout << "frame is empty!" << endl;
			break;
		}

		int framePosition = video.get(CV_CAP_PROP_POS_FRAMES);//获取帧位置（第几帧）
		cout << "framePosition: " << framePosition << endl;
		if (i == 0)   //如果为第一帧（temp还为空）
			absdiff(frame, frame, result);
		else     //若不是第一帧（temp有值了）
	      absdiff(temp, frame, result);//2.将前一帧temp图像和当前帧frame图像做差
		imshow("result", result);
		if (waitKey(1000.0 / FPS) == 27)//按原FPS显示
		{
			cout << "ESC退出!" << endl;
			break;
		}
		temp = frame.clone();//当前帧赋给temp作为下一帧的前一帧
	}
	return 0;


}

 再来看看背景差法（使用第一帧做背景）

背景差法使用第一帧做背景，检测的差异图中还存在第一帧的“残影”，因为这个视频的第一帧就有车辆，所以拿后面的帧来和第一帧做差，差异越来越大，就出现了类似图片实验中“两个运动物体”的情况。所以背景法检测的关键在于需要建立一个可靠的背景模型。关于背景模型的建立和帧差法的优化，将在下一篇博文中给出。 下面继续实现目标检测功能。

现在我们虽然把前景（检测目标）提取出来了， 我们需要将这些目标的轮廓画出来， 并用矩形框标识出来。

为了更好的解释各个函数的意义，我们先用图片测试一下各个函数的功能：代码中的各个函数作用和用法写的注释很详细。

//二值化腐蚀膨胀学习，帧差法和背景差法对比测试
#include
#include
using namespace cv;
using namespace std;
int main(int argc, char** argv)
{
	// opencv读图片的API
	Mat back = imread("D:/feiji.jpg");;//背景
	Mat frame = imread("D:/feiji2.jpg");;//当前图片
	Mat gray_image;//灰度图片
	Mat two_image;//二值化图片
	Mat fore;//前景
	Mat fore1;//前景灰度
	Mat fore2;//前景二值化


	namedWindow("1背景图像", CV_WINDOW_AUTOSIZE);//nameWindow的作用是什么？
	imshow("1背景图像", back);//指定图像显示到指定窗口上
	imshow("2当前图像", frame);
	//cvtColor(frame, frame, CV_BGR2GRAY);//当前图片灰度化
	//imshow("当前图像灰度化", frame);
	//cvtColor(back, back, CV_BGR2GRAY);//背景灰度化
	//imshow("背景图像灰度化", back);

	absdiff(frame, back, fore);//absdiff是图像减法。当前图像减去背景图像得到前景图像fore  视频中 Mat变量，用于存储每一帧的图像
	imshow("3前景图像", fore);
	cvtColor(fore, fore1, CV_BGR2GRAY);
	imshow("4前景灰度化", fore1);
	threshold(fore1, fore2, 30, 255, CV_THRESH_BINARY);
	imshow("5前景二值化", fore2);//为什么要先二值化再腐蚀膨胀？（二值化使得车的黑白轮廓已经显示出来，腐蚀膨胀是为了变成一块整体以达到标识的目的，使得黑白轮廓明显）
							//4.腐蚀    先腐蚀还是先膨胀，腐蚀在一定程度上会消除干扰点。但是这里考虑到车辆中有摩托车，如果先腐蚀处理的话会将摩托车给消除掉，造成识别精度不高。
							//腐蚀的目的在于将因为膨胀而导致的黏合，还有非关键点和区域的清除，以达到区分标识的目的。
	Mat kernel_erode = getStructuringElement(MORPH_RECT, Size(3, 3));//函数返回值为指定形状和尺寸的结构元素（内核矩阵），这个参数为腐蚀做准备。
	erode(fore2, fore2, kernel_erode);
	imshow("6前景腐蚀", fore2);
	//5.膨胀         膨胀的目的在于将一辆车拼合成一块完整的个体，以达到标识的目的
	Mat kernel_dilate = getStructuringElement(MORPH_RECT, Size(15, 15));
	dilate(fore2, fore2, kernel_dilate);
	imshow("7前景膨胀", fore2);

	//6.查找轮廓并绘制轮廓
	vector> contours; //是一个向量，并且是一个双重向量，向量内每个元素保存了一组由连续的Point点构成的点的集合的向量，每一组Point点集就是一个轮廓。
									//	有多少轮廓，向量contours就有多少元素。
									//findContours第一个参数处理的图像是单通道图像矩阵，可以是灰度图，但更常用的是二值图像。故要在之前二值化。
	findContours(fore2, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE); //CV_RETR_EXTERNAL只检测最外围轮廓;CV_CHAIN_APPROX_NONE 保存物体边界上所有连续的轮廓点到contours向量内
	drawContours(frame, contours, -1, Scalar(0, 0, 255), 2);//在frame上绘制轮廓
	imshow("8轮廓", frame);
	vector boundRect(contours.size());//外接矩阵集合
	for (int i = 0; i < contours.size(); i++)
	{
		boundRect[i] = boundingRect(contours[i]);
		rectangle(frame, boundRect[i], Scalar(0, 255, 0), 2);//在frame上绘制正外接矩形
	}                    //轮廓的颜色；轮廓线条的粗细默认为1
	imshow("9绘制正外接矩形", frame);
	waitKey(0);
	return 0;
}

最后来看一个帧差法检测运动目标的完整代码：

完整代码如下：

///运动物体检测——帧差法、缺点是无法对运动后突然又静止的景象进行识别，优点是光照不影响；
#include "opencv2/opencv.hpp"
using namespace cv;
#include 
using namespace std;
//运动物体检测函数声明
Mat MoveDetect(Mat temp, Mat frame);

int main()
{

	VideoCapture video("D://车.mp4");//定义VideoCapture类video
	if (!video.isOpened())	//对video进行异常检测
	{
		cout << "video open error!" << endl;
		return 0;
	}
	int frameCount = video.get(CV_CAP_PROP_FRAME_COUNT);//获取帧数
	double FPS = video.get(CV_CAP_PROP_FPS);//获取FPS
	Mat frame;//存储帧
	Mat temp;//存储前一帧图像
	Mat result;//存储结果图像
	for (int i = 0; i < frameCount; i++)
	{

		video >> frame;//读帧进frame
		imshow("frame", frame);
		if (frame.empty())//对帧进行异常检测
		{
			cout << "frame is empty!" << endl;
			break;
		}

		int framePosition = video.get(CV_CAP_PROP_POS_FRAMES);//获取帧位置（第几帧）
		cout << "framePosition: " << framePosition << endl;
		if (i == 0)//如果为第一帧（temp还为空）
		{
			result = MoveDetect(frame, frame);//调用MoveDetect()进行运动物体检测，返回值存入result
		}
		else//若不是第一帧（temp有值了）
		{                      //前一帧，当前帧
			result = MoveDetect(temp, frame);//调用MoveDetect()进行运动物体检测，返回值存入result
		}
		imshow("result", result);
		if (waitKey(1000.0 / FPS) == 27)//按原FPS显示
		{
			cout << "ESC退出!" << endl;
			break;
		}
		temp = frame.clone();//当前帧赋给temp作为下一帧的前一帧
	}
	return 0;


}
Mat MoveDetect(Mat temp, Mat frame)
{
	Mat result = frame.clone();
	//1.将前一帧temp图像和当前帧frame图像转为灰度图
	Mat gray1, gray2;
	cvtColor(temp, gray1, CV_BGR2GRAY);
	cvtColor(frame, gray2, CV_BGR2GRAY);
	//2.将前一帧temp图像和当前帧frame图像做差
	Mat diff;
	absdiff(gray1, gray2, diff);
	imshow("前景", diff);
	//3.对差值图diff_thresh进行阈值化处理
	Mat diff_thresh;
	threshold(diff, diff_thresh, 50, 255, CV_THRESH_BINARY);
	imshow("前景二值化", diff_thresh);
	//4.腐蚀
	Mat kernel_erode = getStructuringElement(MORPH_RECT, Size(3, 3));
	Mat kernel_dilate = getStructuringElement(MORPH_RECT, Size(18, 18));
	erode(diff_thresh, diff_thresh, kernel_erode);
	imshow("腐蚀", diff_thresh);
	//5.膨胀
	dilate(diff_thresh, diff_thresh, kernel_dilate);
	imshow("膨胀", diff_thresh);
	//6.查找轮廓并绘制轮廓
	vector> contours;
	findContours(diff_thresh, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE);
	drawContours(result, contours, -1, Scalar(0, 0, 255), 2);//在result上绘制轮廓
															 //7.查找正外接矩形
	vector boundRect(contours.size());
	for (int i = 0; i < contours.size(); i++)
	{
		boundRect[i] = boundingRect(contours[i]);
		rectangle(result, boundRect[i], Scalar(0, 255, 0), 2);//在result上绘制正外接矩形
	}
	return result;//返回result
}

下一篇博客将针对本文帧差法和背景差法的不足提出解决方案，给出优化的代码。