python图像差分法目标检测_运动目标检测(2)—帧间差分法

帧差法依据的原则是：当视频中存在移动物体的时候，相邻帧(或相邻三帧)之间在灰度上会有差别，求取两帧图像灰度差的绝对值，则静止的物体在差值图像上表现出来全是0，而移动物体特别是移动物体的轮廓处由于存在灰度变化为非0，当绝对值超过一定阈值时，即可判断为运动目标，从而实现目标的检测功能。 帧间差分法的优点是算法实现简单，程序设计复杂度低；对光线等场景变化不太敏感，能够适应各种动态环境，有着比较强的鲁棒性。缺点是不能提取出对象的完整区域，对象内部有“空洞”，只能提取出边界，边界轮廓比较粗，往往比实际物体要大。对快速运动的物体，容易出现鬼影的现象，甚至会被检测为两个不同的运动物体，对慢速运动的物体，当物体在前后两帧中几乎完全重叠时，则检测不到物体。故该方法一般适用于简单的实时运动检测的情况。 这里介绍二帧法和三帧法的实现。

2. 相邻帧间差分法

相邻帧间差分法直接对相邻的两帧图像做差分运算，并取差分运算的绝对值构成移动物体，优点是运算快速，实时性高，缺点是无法应对光照的突变，物体间一般具有空洞。

代码实现如下：

# 导入必要的软件包

import cv2

# 视频文件输入初始化

filename = "E:/opencv_vs/opencv/sources/samples/data/vtest.avi"

camera = cv2.VideoCapture(filename)

# 视频文件输出参数设置

out_fps = 12.0 # 输出文件的帧率

fourcc = cv2.VideoWriter_fourcc('M', 'P', '4', '2')

out1 = cv2.VideoWriter('E:/video/v1.avi', fourcc, out_fps, (500, 400))

out2 = cv2.VideoWriter('E:/video/v2.avi', fourcc, out_fps, (500, 400))

# 初始化当前帧的前帧

lastFrame = None

# 遍历视频的每一帧

while camera.isOpened():

# 读取下一帧

(ret, frame) = camera.read()

# 如果不能抓取到一帧，说明我们到了视频的结尾

if not ret:

break

# 调整该帧的大小

frame = cv2.resize(frame, (500, 400), interpolation=cv2.INTER_CUBIC)

# 如果第一帧是None，对其进行初始化

if lastFrame is None:

lastFrame = frame

continue

# 计算当前帧和前帧的不同

frameDelta = cv2.absdiff(lastFrame, frame)

# 当前帧设置为下一帧的前帧

lastFrame = frame.copy()

# 结果转为灰度图

thresh = cv2.cvtColor(frameDelta, cv2.COLOR_BGR2GRAY)

# 图像二值化

thresh = cv2.threshold(thresh, 25, 255, cv2.THRESH_BINARY)[1]

'''#去除图像噪声,先腐蚀再膨胀(形态学开运算)thresh=cv2.erode(thresh,None,iterations=1)thresh = cv2.dilate(thresh, None, iterations=2)'''

# 阀值图像上的轮廓位置

binary, cnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

# 遍历轮廓

for c in cnts:

# 忽略小轮廓，排除误差

if cv2.contourArea(c) < 300:

continue

# 计算轮廓的边界框，在当前帧中画出该框

(x, y, w, h) = cv2.boundingRect(c)

cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)

# 显示当前帧

cv2.imshow("frame", frame)

cv2.imshow("frameDelta", frameDelta)

cv2.imshow("thresh", thresh)

# 保存视频

out1.write(frame)

out2.write(frameDelta)

# 如果q键被按下，跳出循环

if cv2.waitKey(200) & 0xFF == ord('q'):

break

# 清理资源并关闭打开的窗口

out1.release()

out2.release()

camera.release()

cv2.destroyAllWindows()

二帧差分法帧差图https://www.zhihu.com/video/1016726688163405824

二帧差分法二值化图1二帧差分法二值化图2二帧差分法二值化图3

二帧差分法运动目标检测https://www.zhihu.com/video/1016727276821565440

2. 三帧差分法

三帧差法是在相邻帧差法基础上改进的算法，在一定程度上优化了运动物体双边，粗轮廓的现象，相比之下，三帧差法比相邻帧差法更适用于物体移动速度较快的情况，比如道路上车辆的智能监控。

三帧差法基本实现步骤如下：首先前两帧图像做灰度差，然后当前帧图像与前一帧图像做灰度差，最后1和2的结果图像按位做“与”操作，进行阙值判断和得出运动目标。

代码实现如下：

# 导入必要的软件包

import cv2

# 视频文件输入初始化

filename = "E:/opencv_vs/opencv/sources/samples/data/vtest.avi"

camera = cv2.VideoCapture(filename)

# 视频文件输出参数设置

out_fps = 12.0 # 输出文件的帧率

fourcc = cv2.VideoWriter_fourcc('M', 'P', '4', '2')

out1 = cv2.VideoWriter('E:/video/v3.avi', fourcc, out_fps, (500, 400))

out2 = cv2.VideoWriter('E:/video/v4.avi', fourcc, out_fps, (500, 400))

# 初始化当前帧的前两帧

lastFrame1 = None

lastFrame2 = None

# 遍历视频的每一帧

while camera.isOpened():

# 读取下一帧

(ret, frame) = camera.read()

# 如果不能抓取到一帧，说明我们到了视频的结尾

if not ret:

break

# 调整该帧的大小

frame = cv2.resize(frame, (500, 400), interpolation=cv2.INTER_CUBIC)

# 如果第一二帧是None，对其进行初始化,计算第一二帧的不同

if lastFrame2 is None:

if lastFrame1 is None:

lastFrame1 = frame

else:

lastFrame2 = frame

global frameDelta1 # 全局变量

frameDelta1 = cv2.absdiff(lastFrame1, lastFrame2) # 帧差一

continue

# 计算当前帧和前帧的不同,计算三帧差分

frameDelta2 = cv2.absdiff(lastFrame2, frame) # 帧差二

thresh = cv2.bitwise_and(frameDelta1, frameDelta2) # 图像与运算

thresh2 = thresh.copy()

# 当前帧设为下一帧的前帧,前帧设为下一帧的前前帧,帧差二设为帧差一

lastFrame1 = lastFrame2

lastFrame2 = frame.copy()

frameDelta1 = frameDelta2

# 结果转为灰度图

thresh = cv2.cvtColor(thresh, cv2.COLOR_BGR2GRAY)

# 图像二值化

thresh = cv2.threshold(thresh, 25, 255, cv2.THRESH_BINARY)[1]

# 去除图像噪声,先腐蚀再膨胀(形态学开运算)

thresh = cv2.dilate(thresh, None, iterations=3)

thresh = cv2.erode(thresh, None, iterations=1)

# 阀值图像上的轮廓位置

binary, cnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

# 遍历轮廓

for c in cnts:

# 忽略小轮廓，排除误差

if cv2.contourArea(c) < 300:

continue

# 计算轮廓的边界框，在当前帧中画出该框

(x, y, w, h) = cv2.boundingRect(c)

cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)

# 显示当前帧

cv2.imshow("frame", frame)

cv2.imshow("thresh", thresh)

cv2.imshow("threst2", thresh2)

# 保存视频

out1.write(frame)

out2.write(thresh2)

# 如果q键被按下，跳出循环

if cv2.waitKey(200) & 0xFF == ord('q'):

break

# 清理资源并关闭打开的窗口

out1.release()

out2.release()

camera.release()

cv2.destroyAllWindows()

https://www.zhihu.com/video/1016729425731145728

三帧差分法二值化图1三帧差分法二值化图２三帧差分法二值化图３

三帧差分法运动目标检测https://www.zhihu.com/video/1016729816179068928

参考资料

[1]视频监控中运动物体检测与跟踪----相邻帧差法和三帧差法 - CSDN博客

https://blog.csdn.net/dcrmg/article/details/52234929

[2]运动目标检测--帧间差分法 - CSDN博客

https://blog.csdn.net/tiemaxiaosu/article/details/51558830