Linux摄像头编程小结

http://blog.chinaunix.net/u/11445/showart.php?id=119461

linux下开发摄像头的程序,主要用的是 video4linux来做的,界面用qt来实现,开始准备用frame buffer来直接写屏但是效果不怎么好,后来就用qt来做了,这样用起来效果还蛮好的,帧率也可以,可以上到30fps;运用v4l来编程主要掌握其 api,要提高帧率最重要的是用到内存映射,其实用qt和frame buffer的时候都要用到内存映射来做,只有这样才可以达到较高的帧率,不过要注意资源的利用问题.mmap后一定要munmap.对于frame buffer是很有意思的一个东西,特别是驱动的设计.

这次是在linux下开发摄像头的程序,主要用的是video4linux来做的,界面用qt来实现,开始准备用frame buffer来直接写屏但是效果不怎么好,后来就用qt来做了,这样用起来效果还蛮好的,帧率也可以,可以上到30fps;运用v4l来编程主要掌握其 api,要提高帧率最重要的是用到内存映射,其实用qt和frame buffer的时候都要用到内存映射来做,只有这样才可以达到较高的帧率,不过要注意资源的利用问题.mmap后一定要munmap.对于frame buffer是很有意思的一个东西,特别是驱动的设计.
代码如下:
1.open device:
video_dev = open("\dev\video0",O_RDWR));
2.get the information of the video device
struct video_capability video_cap;
memset(&video_cap,0,sizeof(video_cap));
if(ioctl(video_dev,VIDIOCGCAP,&video_cap) == -1)
{
perror("Cann't get the information of the video device");
close(video_dev);
exit(1);
}
3.get the information of the channels
struct video_channel video_chan;
memset(&video_chan,0,sizeof(video_chan));
for(channel = 0;channel < video_cap.channels;channel++)
{
video_chan.channel = channel;
if(ioctl(video_dev,VIDIOCGCHAN,&video_chan) == -1)
{
perror("Cann't get the information of the channels");
close(video_dev);
exit(3);
}
if(video_chan.type == VIDEO_TYPE_TV)
{
#ifdef DEBUG
printf("NO.%d channel is %s,type is tv!\n",channel,video_chan.name);
#endif
}
if(video_chan.type == VIDEO_TYPE_CAMERA)
{
if(ioctl(video_dev,VIDIOCSCHAN,&video_chan) == -1)
{
perror("Cann't set the camera channel!");
close(video_dev);
exit(4);
}
}
}
4.get the capture attributes
struct video_picture video_pic;
memset(&video_pic,0,sizeof(video_pic));
if(ioctl(video_dev,VIDIOCGPICT,&video_pic) == -1)
{
perror("Cann't get the picture attributes of the device!");
close(video_dev);
exit(5);
}
5.set capture attributes
video_pic.palette = VIDEO_PALETTE_*****;//different camera has different palette
video_pic.brightness = 65535;
video_pic.colour = 0;
if(ioctl(video_dev,VIDIOCSPICT,&video_pic) == -1)
{
perror("Cann't set the picture attributs!");
close(video_dev);
exit(6);
}
6.mmap the device
struct video_mbuf mbuf;
unsigned char *frames;
memset(&mbuf,0,sizeof(mbuf));
if(ioctl(video_dev,VIDIOCGMBUF,&mbuf) == -1)
{
perror("Cann't get the buffer information of the video device!");
close(video_dev);
exit(7);
}
frames = (unsigned char *)::mmap(0,mbuf.size,PROT_READ|PROT_WRITE,MAP_SHARED,video_dev,0);
if(!frames || frames == (unsigned char *)(long)(-1))
{
perror("The device cann't be memory mapped!");
close(video_dev);
exit(8);
}
7.capture
if(ioctl(video_dev,VIDIOCMCAPTURE,&mmap) == -1)
{
perror("Capture failed!");
close(video_dev);
exit(9);
}

else
{
//display or save the picture file
}


谢谢，我去找找video4linux来试试看，以前找的不是这个

补充资料：

v4l2_extension调用 v4l2_register_device（）函数注册设备，V4l2_register_device()函数进而调用v4l2_init_done （）函数（v4l2_device结构中的int（*initialize）（）字段已被初始化为该函数）通过写I/O地址空间具体的初始化设备，设置采 集图像的默认参数等。这时候设备已经做好了采集图像的准备工作。

下面通过典型的read一桢图像来分析具体的工作流程：

应用程序首先调用系统调用open（）来打开设备，v4l2将该调用映射为初始化设备时已经设置好的v4l2_device结构中的int （*open）（），在本文中即为v4l2_open（）；打开设备成功read一桢图像数据的命令，此时系统通过v4l2_device结构中已经设置 好的int（*open）（）字段调用相应的函数v4l2_read（），该调用负责分配内核内存缓冲区，并将采集到的数据从内核空间复制到用户空间，这 样应用程序就获得了一桢数据；

当 v4l2_capability结构中的V4L2_CAP_STREAMING标 志被设置时，这表明设备支持流采集。V4L2 的流驱动程序维护两个组织成FIFO的缓冲区队列：发送队列和接收队列。由于应用程序受到网络延迟,进程抢占或随机磁盘存储的影响,维护两个队列就可以把 异步的视频采集或输出操作与应用程序分离开，从而降低丢失数据的可能性。设备采集到图像后可以用DMA 方式直接将数据放入应用程序分配好的缓冲区中，这就大大提升了整个系统的性能。

4.2.3 测试驱动程序[6]

首先编译上述模块，然后通过命令insmod链接进内核。用于测试的简单应用程序主体部分如下所示：

vid = open(device, O_RDONLY);/*打开设备*/

err = ioctl(vid, VIDIOC_QUERYCAP, &cap); /*查询设备支持的功能*/

err = ioctl(vid, VIDIOC_G_FMT, &fmt);/*设置采集图像的格式*/

data = malloc(fmt.fmt.pix.sizeimage);/*分配用户空间缓冲区*/

n = read(vid, data, fmt.fmt.pix.sizeimage);/*获取一桢数据*/

该应用程序运行后经检查得到了预期的结果，并且在基于该驱动程序的CDMA无线视频传输系统中满足了应用的需要，获得了理想的效果。

Video4Linux是Linux下用于获取视频和音频数据的API接口，在这篇文章中，着重阐述如何利用Video4Linux获取摄像头数据，以实现连续影像的播放。

1. 摄像头的安装

在Linux下常用的摄像头驱动是spca5xx， 这是一个通用驱动，读者可以在以下网站下到这个驱动 http://mxhaard.free.fr/download.html。 这个网站还给出了这款驱动支持的摄像头的种类。另外，ov511芯片直接就支持Linux，使用者款芯片的摄像头有网眼V2000。我使用的是网眼 V2000的摄像头，和Z-Star 301p+现代7131R芯片的摄像头。后一种需要spca5xx的驱动。关于spca5xx的安装方法，网上有很多介绍，这里就不说了。

2. 摄像头的调试

安装好摄像头后，为了测试摄像头能否正常工作，可以用一下软件。比较著名的是xawtv，在网上搜以下可以下载到。安装好后，打开xawtv则可以调试摄像头。

3. Video4Linux 编程获取数据

现有的video4linux有两个版本，v4l和v4l2。本文主要是关于v4l的编程。利用v4l API获取视频图像一般有以下几步：

a> 打开设备

b> 设置设备的属性，比如图像的亮度，对比度等等

c> 设定传输格式和传输方式

d> 开始传输数据，一般是一个循环，用以连续的传输数据

e> 关闭设备

下面具体介绍v4l编程的过程。首先指出，在video4linux编程时要包含头文件，其中包含了video4linux的数据结构和函数定义。

1）v4l的数据结构

在video4linux API中定义了如下数据结构，详细的数据结构定义可以参考v4l API的文档，这里就编程中经常使用的数据结构作出说明。

首先我们定义一个描述设备的数据结构，它包含了v4l中定义的所有数据结构：

typedef struct _v4ldevice
{int fd;//设备号
struct video_capability capability;
struct video_channel channel[10];
struct video_picture picture;
struct video_clip clip;
struct video_window window;
struct video_capture capture;
struct video_buffer buffer;
struct video_mmap mmap;
struct video_mbuf mbuf;
struct video_unit unit;
unsigned char *map;//mmap方式获取数据时，数据的首地址
pthread_mutex_t mutex;
int frame;
int framestat[2];
int overlay;
}v4ldevice;

下面解释上面这个数据结构中包含的数据结构，这些结构的定义都在中。

* struct video_capability
name[32] Canonical name for this interface
type Type of interface
channels Number of radio/tv channels if appropriate
audios Number of audio devices if appropriate
maxwidth Maximum capture width in pixels
maxheight Maximum capture height in pixels
minwidth Minimum capture width in pixels
minheight Minimum capture height in pixels

这一个数据结构是包含了摄像头的属性，name是摄像头的名字，maxwidth maxheight是摄像头所能获取的最大图像大小，用像素作单位。

在程序中，通过ioctl函数的VIDIOCGCAP控制命令读写设备通道已获取这个结构，有关ioctl的使用，比较复杂，这里就不说了。下面列出获取这一数据结构的代码：

int v4lgetcapability(v4ldevice *vd)
{
if(ioctl(vd->fd, VIDIOCGCAP, &(vd->capability)) < 0) {
v4lperror("v4lopen:VIDIOCGCAP");
return -1;
}
return 0;
}
* struct video_picture
brightness Picture brightness
hue Picture hue (colour only)
colour Picture colour (colour only)
contrast Picture contrast
whiteness The whiteness (greyscale only)
depth The capture depth (may need to match the frame buffer depth)
palette Reports the palette that should be used for this image

这个数据结构主要定义了图像的属性，诸如亮度，对比度，等等。这一结构的获取通过ioctl发出VIDIOCGPICT控制命令获取。

* struct video_mbuf
size The number of bytes to map
frames The number of frames
offsets The offset of each frame

这个数据结构在用mmap方式获取数据时很重要:

size表示图像的大小，如果是640*480的彩色图像，size=640*480*3

frames表示帧数

offsets表示每一帧在内存中的偏移地址，通过这个值可以得到数据在图像中的地址。

得到这个结构的数据可以用ioctl的VIDIOCGMBUF命令。源码如下：

int v4lgetmbuf(v4ldevice *vd)
{
if(ioctl(vd->fd, VIDIOCGMBUF, &(vd->mbuf))<0) {
v4lperror("v4lgetmbuf:VIDIOCGMBUF");
return -1;
}
return 0;
}

而数据的地址可以有以下方式计算：

unsigned char *v4lgetaddress(v4ldevice *vd)
{
return (vd->map + vd->mbuf.offsets[vd->frame]);
}

2）获取影像mmap方式。

在video4linux下获取影像有两种方式：overlay和mmap。由于我的摄像头不支持overlay方式，所以这里只谈mmap方式。

mmap方式是通过内存映射的方式获取数据，系统调用ioctl的VIDIOCMCAPTURE后，将图像映射到内存中，然后可以通过前面的 v4lgetmbuf(vd)函数和v4lgetaddress(vd)函数获得数据的首地址，这是李可以选择是将它显示出来还是放到别的什么地方。

下面给出获取连续影像的最简单的方法（为了简化，将一些可去掉的属性操作都去掉了）：

char* devicename="/dev/video0";
char* buffer;
v4ldevice device;
int width = 640;
int height = 480;
int frame = 0;
v4lopen("/dev/video0",&device);//打开设备
v4lgrabinit(&device,width,height);//初始化设备，定义获取的影像的大小
v4lmmap(&device);//内存映射
v4lgrabstart(&device,frame);//开始获取影像
while(1){
v4lsync(&device,frame);//等待传完一帧
frame = (frame+1)%2;//下一帧的frame
v4lcapture(&device,frame);//获取下一帧
buffer = (char*)v4lgetaddress(&device);//得到这一帧的地址
//buffer给出了图像的首地址，你可以选择将图像显示或保存......
//图像的大小为 width*height*3
..........................
}

为了更好的理解源码，这里给出里面的函数的实现，这里为了简化，将所有的出错处理都去掉了。

int v4lopen(char *name, v4ldevice *vd)
{
int i;
if((vd->fd = open(name,O_RDWR)) < 0) {
return -1;
}
if(v4lgetcapability(vd))
return -1;
}
int v4lgrabinit(v4ldevice *vd, int width, int height)
{
vd->mmap.width = width;
vd->mmap.height = height;
vd->mmap.format = vd->picture.palette;
vd->frame = 0;
vd->framestat[0] = 0;
vd->framestat[1] = 0;
return 0;
}
int v4lmmap(v4ldevice *vd)
{
if(v4lgetmbuf(vd)<0)
return -1;
if((vd->map = mmap(0, vd->mbuf.size, PROT_READ|PROT_WRITE, MAP_SHARED, vd->fd, 0)) < 0) {
return -1;
}
return 0;
}
int v4lgrabstart(v4ldevice *vd, int frame)
{
vd->mmap.frame = frame;
if(ioctl(vd->fd, VIDIOCMCAPTURE, &(vd->mmap)) < 0) {
return -1;
}
vd->framestat[frame] = 1;
return 0;
}
int v4lsync(v4ldevice *vd, int frame)
{
if(ioctl(vd->fd, VIDIOCSYNC, &frame) < 0) {
return -1;
}
vd->framestat[frame] = 0;
return 0;
}
int c4lcapture(v4ldevice *vd, int frame)
{
vd->mmap.frame = frame;
if(ioctl(vd->fd, VIDIOCMCAPTURE, &(vd->mmap)) < 0) {
return -1;
}
vd->framestat[frame] = 1;

}