V4L2视频采集应用原理

 V4L2支持内存映射方式(mmap)和直接读取方式(read)来采集数据,前者一般用于连续视频数据的采集,后者常用于静态图片数据的采集,本文重点讨论内存映射方式的视频采集。

  应用程序通过V4L2接口采集视频数据分为五个步骤:

  首先,打开视频设备文件,进行视频采集的参数初始化,通过V4L2接口设置视频图像的采集窗口、采集的点阵大小和格式;

  其次,申请若干视频采集的帧缓冲区,并将这些帧缓冲区从内核空间映射到用户空间,便于应用程序读取/处理视频数据;

  第三,将申请到的帧缓冲区在视频采集输入队列排队,并启动视频采集;

  第四,驱动开始视频数据的采集,应用程序从视频采集输出队列取出帧缓冲区,处理完后,将帧缓冲区重新放入视频采集输入队列,循环往复采集连续的视频数据;

  第五,停止视频采集。

基于V4L2视频采集缓存机制应用与实现
时间:2010-12-24 来源:现代电子技术 作者:张 辉,李新华,刘 波,钱 翔 安徽大学
关键字:V4L2 视频采集 缓存 机制
摘要:V4L是Linux针对视频设备的应用程序接口,V4L2为其升级版本,它修复了第一版的很多设计缺陷。然而它提供的常规读写函数并不能满足大数据量的高速传输,所以将缓存技术引入到视频采集领域可以提高系统的吞吐量。提出了一种双帧内存映射视频采集机制,由于不需要做数据拷贝动作,减少了读/写时限,因而可以提高视频采集性能。实验结果表明,采用双帧内存映射机制在视频采集时速度快,效率高,达到了预期的实验效果。
关键词:V4L2;Linux;视频采集;内存映射

0 引言
V4L(video for linux)是由Alan Cox开发的针对视频设备的应用程序接口(API),开始出现是在Linux 2.1.x版本内核中,可以实现图像采集、AM/FM广播和图像编解码等功能。然而,由于它在扩展性和灵活性上的缺陷,渐渐被Bill Dirks设计出的V4L的升级版本V4L2所替代,V4L2开始是在Linux 2.5.x版本内核中集成的,在对视频设备数据的读/写中,应用程序可以通过read/write方法或者内存映射来获得位于内核空间的图像数据。 read/write方法是将数据在内核空间和用户空间之间进行拷贝,而内存映射使应用程序可以直接访问设备内存,减少了从内核态到用户态的数据拷贝,因而可以显著提高系统的吞吐量,下面讨论视频采集中缓存机制的应用和实现。

1 V4L2的视频采集框架
V4L2采用了分层架构,应用程序接口为上层,而下层则是视频设备的驱动程序,一般研究领域都是编写上层的应用程序,通过编程接口来控制视频设备完成相应的操作和功能。利用V4L2开发的视频采集程序具有设备无关性,任何支持V4L2的视频采集设备都可以移植此类程序,因而也提高了视频采集程序的可移植性。
当视频设备连接到主机后,驱动程序会首先注册一个主设备号为81的字符设备,它是硬件惟一的身份标识。驱动程序利用主设备号来识别硬件,而系统内核则是利用主设备号让设备与对应的驱动程序相结合,同时加载驱动程序的成员函数、次设备号以及其他相关信息,使设备可以正常工作。


V4L2视频采集应用原理_第1张图片


其中,ioctl函数的功能非常强大,它可以管理设备的I/O通道,设置视频制式和帧格式,还提供查询当前设备属性的功能,主要的ioctl命令如表2所示。
V4L2视频采集应用原理_第2张图片

这些函数原型一般定义在include/linux/videodev2.h或者videodev.h中。
视频采集的具体过程描述如下:
(1)打开设备。通过open()函数打开设备文件,返回文件描述符。
(2)初始化设备。首先通过VIDIOC_QUERYCAP查询设备属性,判断该设备是否为一个合法的视频采集设备,并确定其支持的功能有哪些;然后通过 VIDIOC_S_FMT设置图像的格式,例如图像的大小等;通过VIDIOC_REQBUFS和malloc()分别在内核空间和用户空间分配内存缓冲区;最后通过mmap()函数进行内存映射。
(3)图像采集循环。首先通过VIDIOC_QBUF将空缓冲区移入待处理队列,准备接收图像数据;然后通过VIDIOC_QBUF将满缓冲区移出已处理队列,进行图像的显示和处理;最后通过VIDIOC_STREAMON和VIDIOC_STREAMOFF启动和停止采集。
(4)关闭设备。通过close()函数关闭设备文件。

2 双帧缓存数据传输
在视频采集中,首先在内核空间建立2个图像缓冲区,不断将采集到的图像存放到缓冲区中。当应用程序需要图像时,驱动程序并不做拷贝操作,而是建立内核缓冲区到用户空间的映射,也就是利用mmap()函数,存取其返回的指针,相当于存取内核中的图像缓冲区。由于不需要做额外的复制操作,效率大大提高了,图像采集流程如图1所示。
V4L2视频采集应用原理_第3张图片
具体说明如下:
(1)程序首先使用VIDIOC_REQBUFS向驱动程序请求图像缓冲区,v412_requestbuffers结构体包含了所要求缓冲区的类型及数量,但驱动程序有权决定最后返回的数量,因此程序仍需要使用系统返回的缓冲区数量,在这里程序返回2个缓冲区。
(2)由于缓冲区数量有2个,调用2次mmap()建立起用户空间和内核空间缓冲区的对应关系,然后读取mmap()所返回的指针就相当于读取图像缓冲区。
(3)此时驱动程序仍然不能对图像缓冲区做读取,调用2次VIDIOC_QBUF ioctl将缓冲区加入到驱动程序内部的采集序列,之后采集的图像就会被储存到这些缓冲区内。
(4)调用VIDIOC_STREAM ioctl后,驱动程序开始采集图像,并将图像放置到缓冲区内。
(5)虽然缓冲区内已经存放有图像了,但直接去读取某个缓冲区还是需要非常小心的,因为缓冲区仍然在驱动程序的图像采集序列中,有可能读取到一半,驱动程序又使用该缓冲区储存新的图像,而图1中的(5)是最后调用VIDIOC_STREAMOFF,以停止图像采集,此时驱动程序会自动将所有缓冲区从图像采集序列中移除,所以不需要手动调用VIDIOC_DQBUF,接着使用munmap()清除所有的存储区映射导致图像前后不一致。因此要在读取缓冲区前,先调用VIDIOC_DQBUG ioctl,通知驱动程序不要使用此缓冲区,在这个阶段中,通常是以如图2所示的顺序来读取每个缓冲区的。
V4L2视频采集应用原理_第4张图片

你可能感兴趣的:(linux学习)