V4L2驱动视频开发要点

V4L2是V4L的升级版本，为linux下视频设备程序提供了一套接口规范。包括一套数据结构和底层V4L2驱动接口。

1、常用的结构体在内核目录include/linux/videodev2.h中定义

struct v4l2_requestbuffers        //申请帧缓冲，对应命令VIDIOC_REQBUFS 
        struct v4l2_capability        //视频设备的功能，对应命令VIDIOC_QUERYCAP 
        struct v4l2_input        //视频输入信息，对应命令VIDIOC_ENUMINPUT
        struct v4l2_standard        //视频的制式，比如PAL，NTSC，对应命令VIDIOC_ENUMSTD 
        struct v4l2_format        //帧的格式，对应命令VIDIOC_G_FMT、VIDIOC_S_FMT等
        struct v4l2_buffer        //驱动中的一帧图像缓存，对应命令VIDIOC_QUERYBUF 
        struct v4l2_crop        //视频信号矩形边框
        v4l2_std_id        //视频制式

2、常用的IOCTL接口命令也在include/linux/videodev2.h中定义

VIDIOC_REQBUFS //分配内存 
        VIDIOC_QUERYBUF         //把VIDIOC_REQBUFS中分配的数据缓存转换成物理地址 
        VIDIOC_QUERYCAP        //查询驱动功能 
        VIDIOC_ENUM_FMT        //获取当前驱动支持的视频格式 
        VIDIOC_S_FMT        //设置当前驱动的频捕获格式 
        VIDIOC_G_FMT        //读取当前驱动的频捕获格式 
        VIDIOC_TRY_FMT        //验证当前驱动的显示格式 
        VIDIOC_CROPCAP        //查询驱动的修剪能力 
        VIDIOC_S_CROP        //设置视频信号的矩形边框 
        VIDIOC_G_CROP        //读取视频信号的矩形边框
        VIDIOC_QBUF        //把数据从缓存中读取出来 
        VIDIOC_DQBUF        //把数据放回缓存队列 
        VIDIOC_STREAMON        //开始视频显示函数 
        VIDIOC_STREAMOFF        //结束视频显示函数 
        VIDIOC_QUERYSTD         //检查当前视频设备支持的标准，例如PAL或NTSC。

3、操作流程

V4L2提供了很多访问接口，你可以根据具体需要选择操作方法。需要注意的是，很少有驱动完全实现了所有的接口功能。所以在使用时需要参考驱动源码，或仔细阅读驱动提供者的使用说明。

下面列举出一种操作的流程，供参考。

（1）打开设备文件
                  int fd = open(Devicename,mode);
                  Devicename：/dev/video0、/dev/video1 ……
                  Mode：O_RDWR [| O_NONBLOCK]

如果使用非阻塞模式调用视频设备，则当没有可用的视频数据时，不会阻塞，而立刻返回。

（2）取得设备的capability

          struct v4l2_capability capability；
                  int ret = ioctl(fd, VIDIOC_QUERYCAP, &capability);

看看设备具有什么功能，比如是否具有视频输入特性。

（3）选择视频输入

          struct v4l2_input input；
                  ……初始化input
                  int ret = ioctl(fd, VIDIOC_QUERYCAP, &input);

一个视频设备可以有多个视频输入。如果只有一路输入，这个功能可以没有。

（4）检测视频支持的制式

          v4l2_std_id std;
                  do {
                                ret = ioctl(fd, VIDIOC_QUERYSTD, &std);
                   } while (ret == -1 && errno == EAGAIN);
                switch (std) {
                case V4L2_STD_NTSC: 
                                //……
                case V4L2_STD_PAL:
                                //……
                }

（5）设置视频捕获格式

          struct v4l2_format fmt;
                  fmt.type = V4L2_BUF_TYPE_VIDEO_OUTPUT;
                  fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_UYVY;
                  fmt.fmt.pix.height = height;
                  fmt.fmt.pix.width = width;
                  fmt.fmt.pix.field = V4L2_FIELD_INTERLACED;
                  ret = ioctl(fd, VIDIOC_S_FMT, &fmt);
                  if(ret) {
                          perror("VIDIOC_S_FMT\n");
                          close(fd);
                          return -1;
                  }

（6）向驱动申请帧缓存

          struct v4l2_requestbuffers req;
                   if (ioctl(fd, VIDIOC_REQBUFS, &req) == -1) {
                          return -1;
                   }

v4l2_requestbuffers结构中定义了缓存的数量，驱动会据此申请对应数量的视频缓存。多个缓存可以用于建立FIFO，来提高视频采集的效率。

（7）获取每个缓存的信息，并mmap到用户空间

          typedef struct VideoBuffer {
                          void *start;
                          size_t length;
                  } VideoBuffer;

          VideoBuffer* buffers = calloc( req.count, sizeof(*buffers) );
                  struct v4l2_buffer buf;

          for (numBufs = 0; numBufs < req.count; numBufs++) {//映射所有的缓存
                          memset( &buf, 0, sizeof(buf) );
                          buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
                          buf.memory = V4L2_MEMORY_MMAP;
                          buf.index = numBufs;
                          if (ioctl(fd, VIDIOC_QUERYBUF, &buf) == -1) {//获取到对应index的缓存信息，此处主要利用length信息及offset信息来完成后面的mmap操作。
                                  return -1;
                          }

                  buffers[numBufs].length = buf.length;
                          // 转换成相对地址
                          buffers[numBufs].start = mmap(NULL, buf.length,
                                  PROT_READ | PROT_WRITE,
                                  MAP_SHARED,
                                  fd, buf.m.offset);

                  if (buffers[numBufs].start == MAP_FAILED) {
                                  return -1;
                          }

（8）开始采集视频

          int buf_type= V4L2_BUF_TYPE_VIDEO_CAPTURE；
                  int ret = ioctl(fd, VIDIOC_STREAMON, &buf_type);

（9）取出FIFO缓存中已经采样的帧缓存

          struct v4l2_buffer buf;
                  memset(&buf,0,sizeof(buf));
                  buf.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;
                  buf.memory=V4L2_MEMORY_MMAP;
                  buf.index=0;//此值由下面的ioctl返回
                  if (ioctl(fd, VIDIOC_DQBUF, &buf) == -1)
                  {
                          return -1;
                  }

根据返回的buf.index找到对应的mmap映射好的缓存，取出视频数据。

（10）将刚刚处理完的缓冲重新入队列尾，这样可以循环采集

          if (ioctl(fd, VIDIOC_QBUF, &buf) == -1) {
                          return -1;
                  }

（11）停止视频的采集

          int ret = ioctl(fd, VIDIOC_STREAMOFF, &buf_type);

（12）关闭视频设备

          close(fd);

关于视频采集方式

操作系统一般把系统使用的内存划分成用户空间和内核空间，分别由应用程序管理和操作系统管理。应用程序可以直接访问内存的地址，而内核空间存放的是 供内核访问的代码和数据，用户不能直接访问。v4l2捕获的数据，最初是存放在内核空间的，这意味着用户不能直接访问该段内存，必须通过某些手段来转换地址。

一共有三种视频采集方式：

1）使用read、write方式：直接使用 read 和 write 函数进行读写。这种方式最简单，但是这种方式会在 用户空间和内核空间不断拷贝数据 ，同时在用户空间和内核空间占用 了 大量内存，效率不高。

2）内存映射方式（mmap）：把设备里的内存映射到应用程序中的内存控件，直接处理设备内存，这是一种有效的方式。上面的mmap函数就是使用这种方式。

3）用户指针模式：内存由用户空间的应用程序分配，并把地址传递到内核中的驱动程序，然后由 v4l2 驱动程序直接将数据填充到用户空间的内存中。这点需要在v4l2_requestbuffers里将memory字段设置成V4L2_MEMORY_USERPTR。

第一种方式效率是最低的，后面两种方法都能提高执行的效率，但是对于mmap 方式，文档中有这样一句描述 --Remember the buffers are allocated in physical memory, as opposed to virtual memory which can be swapped out to disk. Applications should free the buffers as soon as possible with the munmap () function .(使用mmap方法的时候，buffers相当于是在内核空间中分配的，这种情况下，这些buffer是不能被交换到虚拟内存中，虽然这种方法不怎么影响读写效率，但是它一直占用着内核空间中的内存，当系统的内存有限的时候，如果同时运行有大量的进程，则对系统的整体性能会有一定的影响。) 

       所以，对于三种视频采集方式的选择，推荐的顺序是 userptr 、 mmap 、 read-write 。当使用 mmap 或 userptr 方式的时候，有一个环形缓冲队列的概念，这个队列中，有 n 个 buffer ，驱动程序采集到的视频帧数据，就是存储在每个 buffer 中。在每次用 VIDIOC_DQBUF 取出一个 buffer ，并且处理完数据后，一定要用 VIDIOC_QBUF 将这个 buffer 再次放回到环形缓冲队列中。环形缓冲队列，也使得这两种视频采集方式的效率高于直接 read/write 。