视频是非常重要的视觉信息来源,它是视觉处理过程中经常要处理的一类信号。实际上,视频是由一系列图像构成,这一系列的图像被称为帧,帧是以固定时间间隔从视频中获取的。获取帧的速度称为帧速率,其单位通常使用“帧率/每秒”表示,代表在1秒内所出现的帧数,也就是游戏迷称为的FPS。
如果我们从视频中提取出独立的帧,就可以使用图像处理的方法对其进行处理,达到处理视频的目的。
在OpenCV中,它给我们提供了cv2.VideoCapture类来处理视频。
通常我们使用 VideoCapture类有以下几个步骤:
VideoCapture类提供了构造函数:cv2.VideoCapture(),用于打开摄像头并完成摄像头的初始化操作。其构造函数定义如下:
cv2.VideoCapture(摄像头ID号)
摄像头ID号默认值为-1,表示随机选取一个摄像头。如果你运行该程序的设备有多个摄像头,则用0表示设备的第一个摄像头,1表示设备的第二个摄像头,依次类推。当然,一般台式机只有一个摄像头,用0或者-1都可以。比如,下面代码都行:
video=cv2.VideoCapture(0)
video=cv2.VideoCapture(-1)
为了程序的健壮性,我们一般在获取摄像头初始化之后,检验摄像头是否初始化成功。
检查摄像头是否初始化成功的函数为cv2.VideoCapture.isOpened(),其完整定义如下:
result=cv2.VideoCapture.isOpened()
如果成功,result返回True,如果失败,result返回False。当我们初始化摄像头失败后,我们还可以使用函数cv2.VideoCapture.open()打开摄像头。具体代码如下:
video=cv2.VideoCapture(0)
result=cv2.VideoCapture.isOpened()
if result is False:
result=cv2.VideoCapture.open(0)
其中,open参数也是摄像头的ID号,与前面构造函数一样。同时,使用open()函数打开摄像头后,也返回成功True或失败False。
不过,cv2.VideoCapture.open()函数还可以直接打开视频文件。比如:
result=cv2.VideoCapture.open(filename)
摄像头初始化完成之后,我们就可以从摄像头中捕获帧信息了。
在OpenCV中,它给我们提供的捕获帧函数为cv2.VideoCapture.read()。其完整定义如下:
retval,image=cv2.VideoCapture.read()
其中,retval表示是否捕获成功,返回布尔类型。image返回捕获的帧信息(也就是图像)。如果没有捕获帧信息,该值为空。
在我们捕获帧,或者使用玩摄像头资源之后,我们需要释放该资源,也就是关闭摄像头。
在OpenCV中,它提供函数cv2.VideoCapture.release()关闭摄像头,其使用方式如下:
cv2.VideoCapture.release()
以上,就是OpenCV使用摄像头捕获信息的基本步骤。
有时,我们需要获取cv2.VideoCapture摄像头的一些属性,比如其分辨率,像素什么的。就需要通过OpenCV提供给我们的cv2.VideoCapture.get()函数。其完整定义如下:
cameraInfo=cv2.VideoCapture.get(propId)
这里参数propId对应着就是cv2.VideoCapture类对象的属性。比如,我们获取摄像头图像的宽度,代码如下:
cap=cv2.VideoCapture(0)
print(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
既然能获取宽度,肯定也能获取摄像头图像的高度,亮度等信息,包括饱和度,对比度都能够获取到。想了解更多的读者,可以查询开发文档,这里就不在赘述。
一般情况下,我们都只使用一个摄像头,上面这些步骤与函数完全能够应付。但是,如果需要同步一组或一个多头摄像头,上面的函数就无法胜任了。
这个时候,我们就需要使用cv2.VideoCapture.grab()与cv2.VideoCapture.retrieve()函数。你可以把函数cv2.VideoCapture.read()理解为这两个函数的组合。
函数cv2.VideoCapture.grab()用于指向下一帧,函数cv2.VideoCapture.retrieve()用来解码并返回一帧。所以,对于一组摄像头我们可以这样操作:
cap0=cv2.VideoCapture(0)
cap1=cv2.VideoCapture(0)
isCamera0=cap0.grab()
isCamera1=cap1.grab()
if isCamera0 and isCamera1:
frame0=cap0.retrieve()
frame1=cap1.retrieve()
当然,这两个函数也可以读取视频文件。
既然,我们已经了解了VideoCapture类。下面,我们来捕获电脑摄像头的视频。其完整代码如下:
import cv2
cap=cv2.VideoCapture(0)
while(cap.isOpened()):
ret,frame=cap.read()
cv2.imshow('video',frame)
c=cv2.waitKey(1)
if c==27:
break
cap.release()
cv2.destroyAllWindows()
代码很简单,首先获取电脑的摄像头,然后无线循环判断是否打开。在循环体中,我们读取每帧,并显示到界面上,当按下ESC键时,退出。
运行之后,效果如下:
之前,我们都讲解过,如果需要播放视频文件的话,只需要将摄像头换成文件名即可。
下面,我们来实现播放视频文件,代码如下:
import cv2
cap=cv2.VideoCapture("38.mp4")
print(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
while(cap.isOpened()):
ret,frame=cap.read()
cv2.imshow('video',frame)
c=cv2.waitKey(1)
if c==27:
break
cap.release()
cv2.destroyAllWindows()
这里,就不运行了,感兴趣的可以将“38.MP4”视频替换成自己的。
通过上面两个示例,我们知道了如何使用摄像头。但是,一般我们使用手机时,都有各种特效,比如美颜,黑白等效果。那么我们如何实现这些效果呢?
下面,我们以灰度图像为例,将摄像头录像视频采集为灰度图像。具体代码如下:
import cv2
cap=cv2.VideoCapture(0)
print(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
while(cap.isOpened()):
ret,frame=cap.read()
frame=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)
cv2.imshow('video',frame)
c=cv2.waitKey(1)
if c==27:
break
cap.release()
cv2.destroyAllWindows()
运行之后,我们摄像头显示的视频是灰色的。从这里我们也可以看出来,处理视频信号时,我们只需要获取其每一帧的图像Frame,然后对frame进行处理即可。