Linux的V4L2架构分析

V4L2全名为VideoFor Linux 2，它是针对Linux系统的视频设备处理架构。视频设备主要包括输入设备（摄像头）及输出设备（显示设备）。

一、Linux的V4L2架构介绍

V4L2的初衷是想为linux系统建立统一的视频类设备处理模型，让驱动开发者依靠其驱动模型轻松的完成video设备的驱动，让视频应用程序可以轻松的使用其接口完成应用程序开发。V4L2的整体架构如下图所示：

☆ video设备

视频设备按输入输出来看，输入设备常见的就是摄像头了，输出设备常见的就是显示器、电视机。

☆ video设备接口

◆ 摄像头接口一般有：

ITU-RBT601/656：国际电信联盟针对数字电视演播室的视频接口及数据流格式所做的标准，比较老一点的手机摄像头一般都采用这种接口。

MIPICSI：移动行业处理器接口联盟定义的摄像头数字串行接口，是当今主流的手机摄像头接口。

USB：USB摄像头一般常见在台式机上，USB协议中有专门针对video设备的接口类（interfaceclass=0x0E）。

◆ 视频显示接口一般有：

HDMI：高清晰度多媒体接口，可同时传输音频及视频信号，广泛用于数字机顶盒、个人电脑、平板电脑、高清数字电视当中。

VGA:它是一种模拟信号视频接口，广泛用于PC电脑与显示器中，几乎所有显卡都支持该接口。数字电路中使用该类接口需要用到数模视频编码器，将视频的数字信号转化为模拟信号进行传输。

TV-out：TV-out只是一个泛指，指电视中常见的视频模拟接口，如AV接口，S端子,YPbPr接口等。同VGA一样，数字电路中使用该类接口需要用到TV视频编码器，将视频的数字信号转化为TV模拟信号进行传输。

☆ video设备接口驱动

该部分需要驱动开发者针对不同的视频设备接口，完成其接口驱动。

☆ video设备驱动

该部分是驱动开发者在进行视频设备驱动开发时，需要重点实现的对象。驱动开发者需要根据V4L2提供的驱动模型，完成对具体视频设备硬件控制的底层实现。Linux为开发者提供了V4L2驱动开发的示例源码：“/drivers/media/video/vivi.c”。

☆ V4L2核心

该部分是Linux视频设备的架构核心，它对下为驱动开发者提供统一的视频设备驱动开发模型，对上为应用开发者提供操作视频设备的统一接口。其在linux中的核心源码路径为：“/drivers/media/video/v4l2-dev.c”。

☆ V4L2应用接口

应用程序通过V4L2提供read()、write()、ioctl()编程接口，来控制操作视频设备，如：设置图像分辨率、视频数据格式、开始/结束视频捕获等等。

二、V4L2核心

  V4L2架构设计之初是只针对视频设备的，那时的V4L2被限制只能在struct video_device 结构体里面创建，并且用video_buf控制视频缓存。但随着硬件的变化也越来越复杂，现在大部分设备里面包含了多个子设备IC，比较常见的子设备如编解码器、传感器、摄像头控制器等。通常这些IC一般通过i2c总线连接到主板，这些设备都统称为sub-devices。
   这意味着所有的驱动创建自己的实例都将连接到自己的sub-devices，这些工作通常很复杂并经常引起错误，许多常见的代码因为缺乏一个框架而无法重构。因此V4L2 框架作了相应的优化：它有一个 v4l2_device 结构作为设备实例，一个v4l2_subdev结构作为子设备实例，video_device结构包含了v4l2_device节点，每个视频设备都采用v4l2_device结构来表示。为了提供统一的接口给这些子设备，内核将涉及到子设备控制的那部分独立了出来，用 struct v4l2_subdev 来表示以方便用户实现v4l2驱动程序。现如今的V4L2设备关系用一个比较粗糙的图来表示他们之间的关系，大致为：
      设备实例(v4l2_device)
         |______子设备实例(v4l2_subdev)
         |    |__视频设备节点(video_device)

         |______文件访问控制(v4l2_fh)    

           |______视频缓冲的处理(videobuf/videobuf2)

     在V4L2架构中，应用程序基本都是通过ioctl来控制视频设备，V4L2设备都有大量可操作的功能，所以V4L2的ioctl也是十分庞大的，ioctl功能的实现，也是V4L2的核心所在。在v4l2架构中ioctl的调用流程图如下图所示：

三、V4L2设备驱动编写

Linux的video设备驱动实现，驱动开发者需要按照V4L2的驱动模型进行设计，该驱动模型主要围绕核心数据结构structvideo_device来展开设计，通过该数据结构来完成视频设备的分配、设置、注册等工作。

对于没有子设备的简单视频设备来说，其驱动程序重点需要实现两个操作集：v4l2_file_operations和v4l2_ioctl_ops，V4L2架构最终会调用这两个操作集中的函数接口，来完成对视频设备硬件的控制。其实现流程如下图所示：

  而对于有子设备的视频设备，则需要借助v4l2_subdev框架来完成复杂视频设备驱动。每一个subdev驱动程序都应该创建一个struct v4l2_subdev结构实例,你可以在你的驱动程序中单独的为该结构申请内存,同样可以将这个结构嵌入到其他的驱动数据结构中去。

四、V4L2应用程序编写

  本文以摄像头video设备为例，简单介绍V4L2架构下linux应用程序的设计思路。