USB video class(又称为USB video device class or UVC)就是USB device class视频产品在不需要安装任何的驱动程序下即插即用,包括摄像头、数字摄影机、模拟视频转换器、电视卡及静态视频相机。
最新的UVC版本为UVC 1.5,由USB-IF(USB Implementers Forum)定义包括基本协议及负载格式 [1] [2].
这个链接是Linux中对UVC支持的相关描述。http://www.ideasonboard.org/uvc/
V4L2:
Video4Linux或V4L是一个视频截取及设备输出API,以及Linux的驱动程序框架,支持很多USB摄像头、电视调谐卡以及其他设备。Video4Linux与Linux内核紧密集成,Video4Linux取名的灵感来自Video for Windows(有时候会缩写为“V4W”),但两者在技术上并没有任何关系[1][2]。
从两个的介绍也能看出来这两者之间的关系。
简单的讲V4L2就是用来管理UVC设备的并且能够提供视频相关的一些API。那么这些API怎么使用或者能被谁使用呢。在Linux系统上有很多的开源软件能够支持V4L2。常见的又FFmpeg、opencv、Skype、Mplayer等等。
这样一个UVC能够进行视频显示的话应该满足三个条件:
1 UVC的camera硬件支持
2 UVC驱动支持,包括USB设备驱动以及v4l2的支持
3 上层的应用程序支持
linux UVC驱动是为了全面的支持UVC设备。它包括V4L2内核驱动程序和用户空间工具补丁。这个视频设备或者USB视频类的USB设备类的定义定义了在USB上的视频流的功能。UVC类型的外设只需要一个通用的驱动支持就能够正常工作,就像USB 大容量存储设备一样。
UVC的linux kernel驱动程序和支持的硬件设备都在这里有相关的描述:http://www.ideasonboard.org/uvc/。
判断一个摄像头是否属于UVC规范可以使用如下方法:
1 使用lsusb命令或其他硬件信息查看工具,找出摄像头的设备号(Vendor ID)和产品号(Product ID)。
2 查找是否有视频类借口信息
lsusb -d VID:PID -v | grep "14 Video"
如果兼容UVC,则会输出类似信息
bFunctionClass 14 Video
bInterfaceClass 14 Video
bInterfaceClass 14 Video
bInterfaceClass 14 Video
如果没有以上信息,则是non-UVC设备。
1. Kernel配置:
Device Drivers ---> <*> Multimediasupport --->
Device Drivers ---> <*> Multimediasupport ---> [*] Video capture adapters ---> [*] V4L USB devices --->
--- V4L USB devices :这里还有很多特定厂商的driver.可供选择。
分析:
"USB Video Class(UVC)":对应的driver是:uvcvideo.ko
"Video For Linux": 对应driver是:videodev.ko
安装driver顺序如下:
insmod v4l1_compat.ko
insmod videodev.ko
insmod uvcvideo.ko
driver会创建一个或多个主设备号为81,次设备号:0-255的设备。
除了camera会创建为:/dev/videoX 之外,还有VBI设备-/dev/vbiX.Radio设备--/dev/radioX.
2. V4L2一些概念:
2.1:Video Input and Output:
video input and output是指device物理连接。
只有video 和VBI capture拥有input.
Radio设备则没有video input 和output.
2.2: Video Standards:
Video Device支持一个或多个Video 标准。
3. 使用V4L2编程:
使用V4L2(Video for Linux 2) API的过程大致如下:
Opening the device
Changing device properties, selecting a video and audio input,video standard, picture brightness a. o.
Negotiating a data format
Negotiating an input/output method
The actual input/output loop
Closing the device
3.1:打开设备:
fd = open("/dev/video0", O_RDWR, 0); //以阻塞模式打开设想头
3.2: 查询设备能力:Querying Capabilities:
因为V4L2可以对多种设备编程,所以并不是所有API可以对所有设备编程,哪怕是同类型的设备,使用ioctl--VIDIOC_QUERYCAP去询问支持什么功能。
struct v4l2_capability cap;
rel = ioctl(fdUsbCam, VIDIOC_QUERYCAP,&cap);
if(rel != 0)
{
perror("ioctl VIDIOC_QUERYCAP");
return -1;
}
结构体如下:
struct v4l2_capability
{
__u8 driver[16];
__u8 card[32];
__u8 bus_info[32];
__u32 version;
__u32 capabilities;
__u32 reserved[4];
};
这里面最重要的是:capabilities:#define V4L2_CAP_VIDEO_CAPTURE 0x00000001
#define V4L2_CAP_VIDEO_OUTPUT 0x00000002
#define V4L2_CAP_VIDEO_OVERLAY 0x00000004
#define V4L2_CAP_VBI_CAPTURE 0x00000010
#define V4L2_CAP_VBI_OUTPUT 0x00000020
#define V4L2_CAP_SLICED_VBI_CAPTURE 0x00000040
#define V4L2_CAP_SLICED_VBI_OUTPUT 0x00000080
#define V4L2_CAP_RDS_CAPTURE 0x00000100
#define V4L2_CAP_VIDEO_OUTPUT_OVERLAY 0x00000200
#define V4L2_CAP_HW_FREQ_SEEK 0x00000400
#define V4L2_CAP_RDS_OUTPUT 0x00000800
#define V4L2_CAP_TUNER 0x00010000
#define V4L2_CAP_AUDIO 0x00020000
#define V4L2_CAP_RADIO 0x00040000
#define V4L2_CAP_MODULATOR 0x00080000
#define V4L2_CAP_READWRITE 0x01000000
#define V4L2_CAP_ASYNCIO 0x02000000
#define V4L2_CAP_STREAMING 0x04000000
这里要说到VBI, Vertical Blanking Interval的缩写 。电视信号包括一部分非可视信号,它不传送可视信息,因此被称为ⅦI(垂直消隐期间)。VBI可以用于传送其他信息,通常是一种专用字幕信号
这和Blog 重显率中所说暗合。
在这里, V4L2_CAP_VIDEO_CAPTURE 说明设备是个图像采集设备,V4L2_CAP_STREAMING 说明是个Streaming设备。
通常,摄像头都支持以上两个能力。
3.3:查询当前捕获格式:
memset(&fmt, 0, sizeof(structv4l2_format));
fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
if (ioctl(fdUsbCam, VIDIOC_G_FMT, &fmt)< 0)
{
printf("get format failed\n");
return -1;
}
注意,此处,fmt是个in/out参数。V4L2_BUF_TYPE_VIDEO_CAPTURE :vid-cap
V4L2_BUF_TYPE_VIDEO_OVERLAY :vid-overlay
V4L2_BUF_TYPE_VIDEO_OUTPUT :vid-out
V4L2_BUF_TYPE_VBI_CAPTURE :vbi-cap
V4L2_BUF_TYPE_VBI_OUTPUT : vbi-out
V4L2_BUF_TYPE_SLICED_VBI_CAPTURE :sliced-vbi-cap
V4L2_BUF_TYPE_SLICED_VBI_OUTPUT :sliced-vbi-out
V4L2_BUF_TYPE_VIDEO_OUTPUT_OVERLAY : vid-out-overlay
咱们是使用Video Cam的。所以用V4L2_BUF_TYPE_VIDEO_CAPTURE
struct v4l2_format
{
enum v4l2_buf_type type;
union
{
struct v4l2_pix_format pix;
struct v4l2_window win;
struct v4l2_vbi_format vbi;
struct v4l2_sliced_vbi_format sliced;
__u8 raw_data[200];
} fmt;
};
我们得到的信息在v4l2_pix_format中。
你可以看到,宽,高,像素格式。
其中像素格式包括:
#define V4L2_PIX_FMT_RGB332 v4l2_fourcc('R','G','B','1')
#define V4L2_PIX_FMT_RGB555 v4l2_fourcc('R','G','B','O')
#define V4L2_PIX_FMT_RGB565 v4l2_fourcc('R','G','B','P')
#define V4L2_PIX_FMT_RGB555X v4l2_fourcc('R','G','B','Q')
#define V4L2_PIX_FMT_RGB565X v4l2_fourcc('R','G','B','R')
#define V4L2_PIX_FMT_BGR24 v4l2_fourcc('B','G','R','3')
#define V4L2_PIX_FMT_RGB24 v4l2_fourcc('R','G','B','3')
#define V4L2_PIX_FMT_BGR32 v4l2_fourcc('B','G','R','4')
#define V4L2_PIX_FMT_RGB32 v4l2_fourcc('R','G','B','4')
#define V4L2_PIX_FMT_GREY v4l2_fourcc('G','R','E','Y')
#define V4L2_PIX_FMT_YVU410 v4l2_fourcc('Y','V','U','9')
#define V4L2_PIX_FMT_YVU420 v4l2_fourcc('Y','V','1','2')
#define V4L2_PIX_FMT_YUYV v4l2_fourcc('Y','U','Y','V')
#define V4L2_PIX_FMT_UYVY v4l2_fourcc('U','Y','V','Y')
#define V4L2_PIX_FMT_YUV422P v4l2_fourcc('4','2','2','P')
#define V4L2_PIX_FMT_YUV411P v4l2_fourcc('4','1','1','P')
#define V4L2_PIX_FMT_Y41P v4l2_fourcc('Y','4','1','P')
#define V4L2_PIX_FMT_NV12 v4l2_fourcc('N','V','1','2')
#define V4L2_PIX_FMT_NV21 v4l2_fourcc('N','V','2','1')
#define V4L2_PIX_FMT_YUV410 v4l2_fourcc('Y','U','V','9')
#define V4L2_PIX_FMT_YUV420 v4l2_fourcc('Y','U','1','2')
#define V4L2_PIX_FMT_YYUV v4l2_fourcc('Y','Y','U','V')
#define V4L2_PIX_FMT_HI240 v4l2_fourcc('H','I','2','4')
#define V4L2_PIX_FMT_HM12 v4l2_fourcc('H','M','1','2')
#define V4L2_PIX_FMT_SBGGR8 v4l2_fourcc('B','A','8','1')
#define V4L2_PIX_FMT_MJPEG v4l2_fourcc('M','J','P','G')
#define V4L2_PIX_FMT_JPEG v4l2_fourcc('J','P','E','G')
#define V4L2_PIX_FMT_DV v4l2_fourcc('d','v','s','d')
#define V4L2_PIX_FMT_MPEG v4l2_fourcc('M','P','E','G')
#define V4L2_PIX_FMT_WNVA v4l2_fourcc('W','N','V','A')
#define V4L2_PIX_FMT_SN9C10X v4l2_fourcc('S','9','1','0')
#define V4L2_PIX_FMT_PWC1 v4l2_fourcc('P','W','C','1')
#define V4L2_PIX_FMT_PWC2 v4l2_fourcc('P','W','C','2')
#define V4L2_PIX_FMT_ET61X251 v4l2_fourcc('E','6','2','5')
fmt.fmt.pix.width = 640;
fmt.fmt.pix.height = 480;
fmt.fmt.pix.pixelformat=V4L2_PIX_FMT_YUYV;
rel = ioctl(fdUsbCam, VIDIOC_S_FMT, &fmt);
if (rel < 0)
{
printf("\nSet format failed\n");
return -1;
}
此时,再取当前捕获格式,则一切正常。包括 bytesperline
3.5:读取Stream 设置。
struct v4l2_streamparm *setfps;
setfps=(struct v4l2_streamparm *) calloc(1, sizeof(structv4l2_streamparm));
memset(setfps, 0, sizeof(struct v4l2_streamparm));
setfps->type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
rel = ioctl(fdUsbCam,VIDIOC_G_PARM, setfps);
if(rel == 0)
{
printf("\n Frame rate: %u/%u\n",
setfps->parm.capture.timeperframe.denominator,
setfps->parm.capture.timeperframe.numerator
);
}
else
{
perror("Unable to read out current framerate");
return -1;
}
注1:ioctl中常用的cmd.
VIDIOC_REQBUFS:分配内存
VIDIOC_QUERYBUF:把VIDIOC_REQBUFS中分配的数据缓存转换成物理地址
VIDIOC_QUERYCAP:查询驱动功能
VIDIOC_ENUM_FMT:获取当前驱动支持的视频格式
VIDIOC_S_FMT:设置当前驱动的频捕获格式
VIDIOC_G_FMT:读取当前驱动的频捕获格式
VIDIOC_TRY_FMT:验证当前驱动的显示格式
VIDIOC_CROPCAP:查询驱动的修剪能力
VIDIOC_S_CROP:设置视频信号的边框
VIDIOC_G_CROP:读取视频信号的边框
VIDIOC_QBUF:把数据从缓存中读取出来
VIDIOC_DQBUF:把数据放回缓存队列
VIDIOC_STREAMON:开始视频显示函数
VIDIOC_STREAMOFF:结束视频显示函数
VIDIOC_QUERYSTD:检查当前视频设备支持的标准,例如PAL或NTSC。
VIDIOC_G_PARM :得到Stream信息。如帧数等。
VIDIOC_S_PARM:设置Stream信息。如帧数等。
注2:
如何判断某ioctl cmd所用参数类型:
例如:
ioctl-cmd: VIDIOC_QUERYCAP.
它的返回参数类型ioctl(fd, cmd, 参数)。
首先想到的是从kernel Sourcev4l2_ioctl.c中看。但这比较麻烦,又个简单办法:可以在video2dev.h中看到:
#define VIDIOC_QUERYCAP _IOR ('V', 0, struct v4l2_capability)
即使用cmd为 VIDIOC_QUERYCAP 时,参数为structv4l2_capability