OpenCV4学习笔记（35）——基于帧差法的运动检测

在之前的《OpenCV4学习笔记（33）——KLT稀疏光流跟踪算法》和《OpenCV4学习笔记（34）——Farneback稠密光流算法》这两篇博文中，整理记录了基于稀疏光流跟踪和稠密光流跟踪算法实现的运动检测，而今天要记录的是另外一种实现运动检测的方法，那就是基于帧差法的运动检测。

帧差法，也叫做帧间差分法，这里引用百度百科上的一段定义：

帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波。

最简单的帧差法就是二帧差分法，将视频流中的前后两帧图像转换为灰度图像，再经过高斯模糊消除噪声干扰，然后将两帧图像进行相减操作得到两帧图像之间的差异区域，再对差异图像进行二值分割把差异区域作为前景、不变区域作为背景，并且进行开运算操作来消除一些微小干扰。这样，就得到了两帧图像中明显不同的区域，也就是运动的目标物体。

下面看一下演示代码：

	VideoCapture capture;
	capture.open("D:\\opencv_c++\\opencv_tutorial\\data\\images\\bike.avi");
	//capture.open("D:\\OpenCV\\opencv\\sources\\samples\\data\\vtest.avi");
	if (!capture.isOpened())
	{
     
		return 0;
	}
	//两帧差法
	Mat pre_frame, current_frame, pre_gray, current_gray, pre_gaus, current_gaus;
	capture.read(pre_frame);
	cvtColor(pre_frame, pre_gray, COLOR_BGR2GRAY);
	GaussianBlur(pre_gray, pre_gaus, Size(), 5, 5);
	while (capture.read(current_frame))
	{
     
		cvtColor(current_frame, current_gray, COLOR_BGR2GRAY);
		GaussianBlur(current_gray, current_gaus, Size(), 5, 5);
		Mat sub_gray, sub_binary, sub_open;
		subtract(current_gaus, pre_gaus, sub_gray);
		threshold(sub_gray, sub_binary, 0, 255, THRESH_BINARY | THRESH_OTSU);
		Mat kernel = getStructuringElement(MORPH_RECT, Size(5, 5));
		morphologyEx(sub_binary, sub_open, MORPH_OPEN, kernel, Point(-1, -1), 1, 0);
		imshow("sub_open", sub_open);
		imshow("current_frame", current_frame);
		swap(pre_gaus, current_gaus);

		char ch = cv::waitKey(20);
		if (ch == 27)
		{
     
			break;
		}
	}

下面是效果截图：

可以看到当视频中的人骑着单车经过时，会在检测视频中找出这个运动目标，并作为前景显示出来。但是二帧差分法对于噪声、光照等都非常敏感，在检测过程中容易因为环境因素的影响而出现误检测的问题，如下图。

除了真实的人骑单车这个运动物体外，还有其他的目标被检测出来，但在原视频中对应位置并没有运动物体的出现，可见两帧差法出现了误检。

所以为了提高帧差法的鲁棒性和稳定性，又出现了三帧差分法这种改进方法。

三帧差分法是将连续的三帧图像，分别进行转灰度图、高斯模糊消除噪声干扰，然后进行逐帧相减，也就是后一帧图像减去当前帧图像、当前帧图像减去前一帧图像，从而得到两张差异图像。再将得到的两个差值图像进行与操作，得到共同的差异区域，最后通过开运算操作消除微小干扰。这样就得到了三帧图像间的明显差异区域，也就是运动的目标物体。

而且二帧差分法对于微小运动物体的检测能力比较差，因为如果在两帧图像之间变化太小，就很难被检测出来。而三帧差分法利用连续三帧图像的差异结果，能够提高对微小运动物体的检测能力，同时增强对噪声、光照等因素的抗干扰能力。

下面看一下代码演示：

	VideoCapture capture;
	capture.open("D:\\opencv_c++\\opencv_tutorial\\data\\images\\bike.avi");
	//capture.open("D:\\OpenCV\\opencv\\sources\\samples\\data\\vtest.avi");
	if (!capture.isOpened())
	{
     
		return 0;
	}
	Mat pre_frame1, pre_frame2, current_frame;
	capture.read(pre_frame1);
	capture.read(pre_frame2);
	Mat pre_gray1, pre_gray2, current_gray;
	cvtColor(pre_frame1, pre_gray1, COLOR_BGR2GRAY);
	cvtColor(pre_frame2, pre_gray2, COLOR_BGR2GRAY);
	Mat pre_gaus1, pre_gaus2, current_gaus;
	GaussianBlur(pre_gray1, pre_gaus1, Size(), 10, 0);
	GaussianBlur(pre_gray2, pre_gaus2, Size(), 10, 0);
	
	while (capture.read(current_frame))
	{
     
		cvtColor(current_frame, current_gray, COLOR_BGR2GRAY);
		GaussianBlur(current_gray, current_gaus, Size(), 10, 0);
		Mat diff1, diff2, diff;
		subtract(pre_gaus2, pre_gaus1, diff1);
		subtract(current_gaus, pre_gaus2, diff2);
		Mat diff1_binary, diff2_binary;
		threshold(diff1, diff1_binary, 0, 255, THRESH_BINARY | THRESH_OTSU);
		threshold(diff2, diff2_binary, 0, 255, THRESH_BINARY | THRESH_OTSU);
		bitwise_and(diff1_binary, diff2_binary, diff);
		Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3));
		morphologyEx(diff, diff, MORPH_OPEN, kernel, Point(-1, -1), 1, 0);
		imshow("diff", diff);
		imshow("current_frame", current_frame);
		char ch = cv::waitKey(20);
		if (ch == 27)
		{
     
			break;
		}
		pre_gaus1 = pre_gaus2.clone();
		pre_gaus2 = current_gaus.clone();
	}

下面是效果截图：

从视频可以看出，对同一视频进行运动检测，三帧差法的检测效果要优于二帧差法，对于运动目标的检测更稳定，而且没有出现误检的情况。

可见三帧差分法的性能是要优于二帧差分法的，而且由于帧差法本身的运算规模并不算特别庞大，所以运行速度还是比较理想的，对于二帧差和三帧差之间的运行速度虽然有差距，但是在视频播放过程中均没有出现明显的卡顿现象。

好的，今天对于帧差法的笔记整理到此结束，谢谢阅读~

PS：本人的注释比较杂，既有自己的心得体会也有网上查阅资料时摘抄下的知识内容，所以如有雷同，纯属我向前辈学习的致敬，如果有前辈觉得我的笔记内容侵犯了您的知识产权，请和我联系，我会将涉及到的博文内容删除，谢谢！