基于嵌入式Linux的视频图像采集与传输

 

摘要:视频图像采集及处理技术在远程视频监控和可视电话中有着广泛的应用前景，驱动视频采集设备和获取视频数据并进行相应的处理，是实现这些应用的基础。针对这些应用，构建了一个基于嵌入式 Linux和 PXA270微处理器的视频采集与传输系统，利用 Video4Linux实现 USB摄像头视频数据采集，采集的视频数据经 JPEG压缩后，在 PXA270为核心的系统控制下通过以太网进行传输，并通过重新编译移植 Webcam_server应用程序实现了实时视频采集。实验结果表明，该系统动态刷新良好，具有一定的实用性。

关键词: PXA270；嵌入式 Linux；USB摄像头；图像采集与传输

Abstract:Video image acquisition and processing technology had a broad application prospect in the long distance supervisory control with video and video telephone. Driving video acquisition equipments and gaining video data to process accordingly are the basis of realization the applications. Aiming at the applications, designed a video acquisition and transmission system based on PXA270 with embedded Linux. The system used USB camera combined with Video4Linux to implement video data acquisition, then were encoded in JPEG, and sent by Ethernet under the control of the PXA270. In the end, compiling and transplanting the webcam server application, actualized real-time video image acquisition. The experimental results shows that the system can be refreshed dynamically better, and it is very useful and practical.

Keywords:PXA270; embedded Linux; USB camera; image acquisition and transmission

 1 引言
视频图像可以对客观事物进行形象、生动的描述，它是一种直观而具体的信息表达形式，也是一种重要的信息载体。而随着嵌入式系统的不断发展，它所涉及的领域包括工业控制、网络通信、军事国防、航空航天等，我们所熟悉的电子产品几乎都可以找到嵌入式系统的影子。利用嵌入式微处理器构建的视频图像采集系统 [1]具有体积小、成本低、稳定性高等优点，在智能交通、计算机视觉、通信等领域得到了广泛应用。 2 系统平台上的硬件系统与软件系统
本系统的硬件平台采用 Intel公司的 PXA270[2] [3]微处理器。该处理器是 Intel公司于 2004年 4月发布的面向移动电话和掌上电脑需求，基于 Xscal架构的 PXA27x系列处理器，最高主频可达 624MHz。PXA270最引人注目的是加入了无线多媒体扩展技术（ Wireless MMX），大大提升了多媒体处理能力；同时 PXA270还加入了 Intel SpeedStep动态电源管理技术，实现嵌入式设备的智能电源管理。此外， PXA270具有丰富的扩展接口： SD/SDIO/MMC、 CF/PCMCIA、CMOS/CCD CAMERA、USB2.0、KEYBOARD等。
平台的软件系统采用内核为 Linux-2.6.18的嵌入式 Linux操作系统。嵌入式 Linux操作系统具有相当多的优点，它的内核稳定、功能强大、支持多种硬件平台、源代码完全开放，可裁减和低成本的特性非常适合于嵌入式应用，并且 Linux本身直接提供完整的 TCP/IP协议，可非常方便地进行网络应用。 3 基于 Video4Linux的视频图像采集
在 Linux下，设备驱动程序可以看成 Linux内核与外部设备之间的接口。设备驱动程序向应用程序屏蔽了硬件具体实现细节，使得应用程序可以像操作普通文件一样来操作外部设备。在 Linux下，视频采集设备的正常使用依赖于 Video4Linux标准的支持。
 Video4Linux（简称 V4L）是 Linux中关于视频设备的内核驱动，它为针对视频设备的应用程序编程提供了一系列接口函数，这些视频设备包括 TV卡、视频捕捉卡和 USB摄像头等。视频采集的一般流程为：（1）打开视频设备；（2）读取设备信息；（3）进行视频采集；
（4）对采集的视频数据进行处理和显示；（5）关闭视频设备。
视频采集主要有两种方法：（1）直接从设备读取；（2）内存映射。本系统采用第二种方法进行视频采集，其优点是当采用内存映射时，直接用 mmap()系统调用使得进程之间通过映射同一个普通文件实现共享内存。普通文件被映射到进程地址空间后，进程可以像访问普通内存一样对文件进行访问，不必再调用 read()，write()等操作。而且采用共享内存通信的一个显而易见的好处是效率高，因为进程可以直接读写内存，而不需要任何数据的拷贝。
采用内存映射实现视频采集的部分源代码如下：
（1）调用 VIDIOCGBUF获取映射的 buffer信息 ioctl(vd->fd, VIDIOCGBUF,&(vd->mbuf))
（2）将 mmap与 video_mbuf绑定 int v4l_mmap_init(v4l_device *vd) { if(v4l_get_mbuf(vd)<0) return -1; if((vd->map=mmap(0,vd->mbuf.size,PORT_READ|PORT_WRITE,
MAP_SHARED,vd->fd))<0)   return -1;     return 0;}
（3）进行图像采集前的设置 int v4l_grab_init(v4l_device *vd)
{  vd->mmap.width=640; //设置图像窗口 vd->mmap.height=480; //窗口大小为 640×480    vd->mmap.format=VEDIO_PALETTE_YUV420P; //采样格式为 YUV420P    …}
（4）调用 VIDIOCMCAPTURE开始一帧的截取 ioctl(vd->fd, VIDIOCMCAPTURE,&(vd->mmap));
（5）调用 VIDIOSYNC等待一帧截取结束

if(ioctl(vd->fd, VIDIOSYNC,&frame)<0)    {perror(v4l_sync);return -1;}
该函数成功返回则表示一帧采集已完成，采集到的图像数据放到起始地址为 vd->map+vd->mbuf.offsets[vd->frame]的内存区中，读取该内存区中的数据便可得到图像数据。接着可以做下一次的 VIDIOCMCAPTURE。
使用 V4L进行图像采集时，可采用 “不间断采集”的方法加快采集过程。驱动程序要提供至少两帧图像大小的缓冲空间，在一帧缓冲完成之后，不管此时应用程序有无提出新的 VIDIOCMCAPTURE请求，驱动都将第二帧图像覆盖保存至另一个缓冲内，两个缓冲轮流使用，不丢任何帧。

4 视频图像压缩与传输
通过以上采集程序获得的图像数据为原始数据，可以根据图像采集格式将图像信息存储成文件，通过网络用 webserver传输到服务器端刷新显示。如果不对图像进行压缩，则图像数据较大，不便于在网络上传输，这就要求系统首先对原始视频图像数据进行压缩处理，而通用网络浏览器一般支持 BMP、JPG、GIF三种网络图片格式，因此本系统采用 JPEG压缩方式。
 JPEG是 Joint Photographic Experts Group（联合图像专家组）的缩写，文件后缀名为“.jpg”或“.jpeg”，是最常用的图像文件格式，是由一个软件开发联合会组织制定，是一种有损压缩方式，能够将图像压缩到很小的储存空间。JPEG格式是目前网络上最流行的图像格式，JPEG压缩技术十分先进，它用有损压缩方式去除冗余的图像数据，在获得较高的压缩率的同时能展现十分丰富生动的图像，非常适合于视频网络传输。
 Linux中没有 jpeg函数库，需要下载 jpegsrc.v6b.tar.gz后，在 /usr/src解压安装：  cd jpeg-6b  ./configure   Make  Make install
这样，Linux就支持 jpeg函数库了，在编译器编译连接时带有 -l jpeg选项就能连接上 jpeg函数库了。
利用下面函数将采集到的 YUV420P的原始图像数据直接压缩成 JPEG格式进行传输：
int yuv420p_to_jpeg(char **jpeg_data, unsigned char *image, int width, int height,int quality)，其中， jpeg_data 指向压缩图像数据指针的指针， image为采集图像原始数据，width为长度,height为高度，quality为压缩质量，函数的返回值为产生压缩图像数据的长度。
现在企事业的业务大多通过 Web技术[4]来部署实现。通过 Web方式主要有以下几点优势：（1）可以简化界面的工作，直接使用浏览器界面，而浏览器已是计算机的必备软件了。
（2）很容易实现超出局域网范围的远程控制，并可以实现远程自动系统升级。（3）应用层程序开发快捷，由于 Web标准的统一，使得开发是跨平台的。而嵌入式系统性能的增强也使得 Web服务进入嵌入式领域成为可能。 Web服务的优势也同样适用于嵌入式系统。
webserver又被称为 HTTP Server，它是对 HTTP协议服务器端功能的实现。HTTP协议是架构在 TCP/IP协议上的应用级协议，其目的是方便和加速对分布式协同工作的超媒体信息系统的访问。HTTP协议通过统一资源定位符（Universal Resource Location，URL）来定位分布式的超媒体信息。URL通过“通信协议+网络地址”字符串来唯一标识信息位置。如： http://www.nass.net/storage.htm就是一个 URL。这个 URL明确给出使用的协议是： HTTP协议。
Linux系统是通过提供套接字（ socket）来进行网络编程的。通过 webserver进行网络传输时涉及到的套接口操作函数[5]主要有：socket()函数，主要功能是创建指定类型的套接口并返回套接口描述符；bind()函数，主要功能是使套接口与 IP地址和端口号绑定；connect()函数，主要功能是用来与远端服务器建立连接； listen()函数，主要功能是当 socket与某一端口捆绑以后，就需要监听该端口，以便对到达的服务请求加以处理； accept()函数，主要功能是接受连接队列里的服务请求，并返回一个新的 socket描述符，来供这个新连接使用。需要注意的是，服务器并不是通过监听端口来与客户连接并通信，而是产生一个新的套接口与客户通信。例如 webserver在 80号端口监听，当有客户向 80号端口发出连接请求时，服务器将接受请求且由服务器进程派生出子进程和新的套接口（由 accept()的返回值指向）来与客户连接并通信。
将采集格式为 YUV420P的原始视频图像数据压缩成 JPEG格式，并当客户端有连接时，通过子进程向客户端发送 JPEG图像数据： if((size=(yuv420p_to_jpeg(&imagebmp,imageptr,640,480,20)))<0) {   printf("Error:write jpeg error!");
 }
 if(!fork())
{
  if(revbuf[5]==' ')
   send(nsockfd, imagebmp, size, 0);
}
这样，当系统运行时，通过设置 PC机的 IP地址（与系统 IP地址在同一网段内），在 PC机的 IE浏览器内输入以下 IP地址：http://192.168.0.232:81/，将看到图像格式为 JPEG的图片。通过刷新，可以更新图像。 5 播放视频流
为了播放实时视频，可以通过在目标板的 ARM Linux系统中移植一个视频服务器的应用程序来实现。Webcam[6][7]是一个比较常用的的视频应用程序，通过网络下载 webcam_server的 Linux版本： webcam_server-0.50.tar.gz，它是基于 GNU架构之下的，完全免费，源码开放。解压后执行./configure，生成 Makefile文件。修改当前目录和 src目录下的 Makefile的 CC为/usr/local/arm/3.4.3/bin/arm-linux-gcc，执行 make，产生 webcam_server可执行文件，把此应用程序加载到 270开发板上就可以使用了。
如果远端客户端是 Windows操作系统，下载 Active webcam的客户端，并安装。设置好 PC机的 IP地址（与系统 IP地址在同一网段内）后，启动 Active webcam。选择 Tools—>Create Web Page新建一个网页浏览页，并选中 settings，对视频浏览的相关参数进行设置。具体设置为：Video Device选中 Network IP Camera；Preview Frame Rate：8 frames per sec；Camera Model：Active WebCam HTTP Server；IP Adress or URL：192.168.0.232（即开发板的 IP地址）；Port：8888。整个设置完后，就可以搜索摄像头，找到摄像头后，就能在相应的 PC机上动态显示摄像头采集的图像信息，如图 1所示，画面清晰，图像采样大小为 320×240。点击记录按钮，还能将采集到的动态视频以 .AWLive的文件格式保存到
C:/Program Files/Active WebCam/Gallery目录下，文件类型为： Active WebCam Video Record，双击该文件能进行自动播放。
 
 

如果远端客户端是 Linux操作系统，可以使用 java applet进行视频流播放，需要在 Linux主机上安装 jdk环境，可从 Sun公司的 Java网站上下载 JDK1.6的 Linux版本： jdk-6u11-linux-i586-rpm.bin，先为该文件增加可执行权限： chmod a+x jdk-6u11-linux-i586-rpm.bin，然后对该文件进行自解压： ./ jdk-6u11-linux-i586-rpm.bin，将自动进行安装，在 /usr/java目录下生成了 java环境，设定相关的环境变量： export PATH=/usr/java/jdk1.6.0_11/bin:$PATH，为了让浏览器找到这个 Java Plug-in，必须将环境参数 NPX_PLUGIN_PATH指到文件 javaplugin.so所在的目录： export NPX_PLUGIN_PATH=/usr/java/ jdk1.6.0_11/jre/plugin/i386/ns7。设置完后，可以使用 java applet程序播放视频流，具体命令为：java –classpath applet.jar:/usr/java/ jdk1.6.0_11/lib/tool.jar
WebCam 192.168.0.232 8888。这时，在 Linux主机上可以获取 usb camera采集的视频流，并产生动态链接的画面，如图 2所示，画面清晰，图像采样大小为 320×240，速率能达到 8帧/秒，动态刷新效果良好。 6 结束语
本文讨论了基于 PXA270和嵌入式 Linux操作系统下 Web服务器中视频图片压缩及其传输的实现方法，并通过移植 Webcam_server及其相应软件，客户端可以完成对远程的视频图像的采集和动态显示。由于该系统的核心工作采用高性能嵌入式微处理器完成，因此该系统具有结构简单、性能稳定、成本低廉等优点。该技术具有通用性，应用范围相当广，可以作为简单的安全监控、远程现场监控等应用，同时，在机器人监控系统、视频电话、远程教学等应用中也有一定的应用前景。本文创新点： 1 对原始采集的视频图像信号进行 JPEG压缩后，自主设计 Webserver对其进行网络传输； 2 利用 Webcam_server分别在 Linux和 Windows操作系统下进行网络实时视频采集与传输。

参考文献
[1]王培珍,徐俊生.基于 ARM9的嵌入式 Linux图像采集系统设计[J].中国制造业信息化,2007,10:85-88.
[2]李瑞祥.基于 PXA270的视频监控系统的设计与开发[J].光学仪器 ,2008,3:42-45.
[3]石秀民,魏洪兴 .嵌入式系统原理与应用——基于 Xscale®与 Linux[M].北京:北京航空航天大学出版社.2007.
[4]时雨露,潘淑文 ,寿国础.Linux嵌入式 WEB系统研究及实现 [J].微计算机信息,2007,03Z:3-5.
[5]陈学峰,柴俊霞 .Linux下基于 Socket的网络编程[J].淮北煤炭师范学院学报 ,2004,3:60-63.
[6]周广荣.基于 ARM视频采集系统的设计与实现 .大连海事大学.硕士学位论文.2007:68-71.
[7]金福辉.基于 Intel Xscale270平台与嵌入式 Linux的图像采集系统设计.山东大学.硕士学位论文.2007:53-54.