视频会议及流媒体十大开源项目

在视频会议领 域，有许多可以值得参考的开源项目，这些开源项目有的是协议栈、有的是编码器或者是传输协议，由于视频会议系统是一个综合性的应用系统，里面包含功能较 多，如能把这些开源项目选择性的加入我们的视频会议开发当中，我们的开发效率肯定会事半功倍，下面我们列举一下视频会议相关的十大开源项目，并对其重要性 及优缺点做一个全面的评价与排名。

1、 OpenH323项目        （★★★★★）

上榜理由：最著名的H.323开源协议栈，视频会议开发必备协议栈，强烈推荐

最著名的H.323开源协议栈，包含了全部的H.323协议功能，并有大量视频会议实现的参考例子，如终端、MCU服务器、gk等H.323协议的核心组成部件，Openh323是H.323协议首选协议栈，同时也是我们视频会议开发最值得作为参考的开源项目之一。

下载地址：http://www.h323plus.org/source/

2、 ffmpeg项目               （★★★★★）

上榜理由：最全面的开源编码器，包括了H.264、MPEG4、G.72x等音视频编码，效率也非常高，强烈推荐

   目前最全面的开源编码器，其中包括常用的音视频编码协议 h.264、MPEG4、H.263、G.721、G.726、G.729等，ffmpeg虽然是基于linux的开源项目，但可以通过交叉编译的方式在 windows下运行，其项目加入了很多优化效率的代码，如采用汇编替代C，大大提高了编码的效率，推荐ffmpeg用于视频会议的实时编码。

 下载地址：http://ffmpeg.org/download.html

3、webrtc项目                   (★★★★☆)  

上榜理由：Google收购GIPS后开源的基于浏览器的实时通信开源项目，强烈推荐

Google 收购GIPS后开源的基于浏览器的实时通信开源项目，GIPS是目前世界上最好的音频传输库，但其授权费非常高，webrtc是Google收购GIPS 后，公开的一个通信项目，其核心voiceEngine就是由GIPS建立的，因此视频会议的音频部分可以参考webrtc来实现。

 下载地址：http://www.webrtc.org

4、OpenMeetings项目        (★★★★☆)

上榜理由：基于java的浏览器的视频会议开源项目，java开发视频会议的首选

OpenMeetings主要是基于OpenLaszlo的流媒体格式和Red5服务器的开源视频会议项目，其包含的功能包括音视频、电子白板等，其项目是用java进行开发。项目的缺点是bug较多，效率不高，但可以作为flash视频会议的一个参考。

下载地址：http://code.google.com/p/openmeetings/downloads/list

5、live555项目                    (★★★★☆)

上榜理由：重量级的C++流媒体开源项目，里面一些模块可以作为视频会议开发参考

      live555是最重量级的一个C++流媒体开源项目，其中不仅包括了传输协议（SIP、RTP）、音视频编码器（H.264、MPEG4）等，还包括流媒体服务器的例子，是流媒体项目的首选，里面的传输模块是非常值得视频会议开发作为参考的。

下载地址：http://www.live555.com/

6、OPAL项目                      (★★★★☆)

上榜理由：OpenH323的下一个版本，新包含了SIP协议栈，是实现SIP协议的首选

OPAL是OpenH323的下一个版本，继承了Openh323协议，其新包含了SIP协议栈，是实现SIP协议的首选，缺点是参考例子较少。

下载地址：http://sourceforge.net/projects/opalvoip/files/

7、x264项目                        (★★★★☆)

上榜理由：应用最广的H.264编码器，适合于实时视频的传输

X264是目前应用最广的H.264编码器，其省去了H.264效率较低的部分，并对其进行了优化，效率明显比其他的H.264开源项目高很多，是最适合于实时视频会议传输的H.264编解码库。

下载地址：http://www.x264.nl/

8、Speex项目                      (★★★★☆)

上榜理由： 音频领域最著名的开源项目，窄带和宽带都有很好的语音质量

      Speex是音频领域最著名的开源项目，窄带和宽带都有很好的语音质量，只需8kb就可以传输令人满意的语言，缺点是传输音乐的时候质量会下降。

下载地址：http://www.speex.org/downloads/

9、JRTPLIB项目                     (★★★☆☆)

上榜理由：C++跨平台的 RTP传输开源项目，RTP传输必备库

      JRTPLIB是C++跨平台的 RTP传输开源项目，实现RTP协议可以利用这个库，JRTPLIB是RTP传输必备库

下载地址：http://research.edm.uhasselt.be/~jori/page/index.php?n=CS.Jrtplib

10、XVid 项目                        (★★★☆☆)

上榜理由：最著名的MPEG4编码器开源项目，但效率不及x264

     在 没有H.264编码协议之前，XVid的MPEG4编码一直是视频会议的首选视频编码器，但随着x264、CoreAVC等效率更高的H.264编码器的 出现，其应用效果受到较大的冲击，但其结合directshow的视频采集模块还是值得视频会议开发人员参考的。

下载地址：http://www.xvid.org

视频会议传输模块的开发选择

视频会议主 要是开发音视频、数据的传输的软件，在这些开发过程中，最核心的模块是传输模块，传输模块的性能直接影响到视频会议的最终质量，因此传输模块的选择在视频 会议开发当中尤其重要。传输模块在开发过程中，由于考虑到QOS的影响，一般都会使用数据重发的技术，因此传输模块以及成为视频会议底层开发的一个重点， 我们开发的传输模块，可以选择用TCP、UDP直接进行开发或者利用开源的传输库，因为一些开源传输库以及比较成熟，直接拿来用就可以，如果自己开发传输 模块，估计也是一个巨大工程。现在我们介绍一下传输模块的开发选择。

1.      利用TCP进行开发

使用TCP直接进行传输模块的开发，在传输过程中数据不会丢包，我们可以采用OICP的完成端口来进行通讯，其优点是QOS有保证、支持大容量的数据并非，缺点是开发周期长，数据建立连接比一般UDP要长很多，而且资源占用也比一般UDP传输的要大。

2.      利用UDP进行开发

UPD是一种数据报传输方式，其数据在传输过程中不能保证数据的可靠性，因此用UPD进行传输模块的开发还要加入自己的QOS的丢包处理和自动重发的功能。其优点是数据传输较TCP快，缺点是开发周期长。

3.      利用UDT库进行开发

UDT建于UDP之 上，并引入新的拥塞控制和数据可靠性控制机制。UDT是面向连接的双向的应用层协议。它同时支持可靠的数据流传输和部分可靠的数据报传输。UDT的特点是 不用进行开发，直接利用库的发送函数就可以实现可靠的数据传输，缺点是模型较简单，没有OICP完成端口支持大容量的数据。

4.      利用Ranknet库进行开发

Raknet 也是一个基于UDP网络传输协议的C++网络库，通过库的函数实现高效的网络传输服务。其具体应用在一些游戏领域，Radnet可以实现在两个程序之间每 秒传输25，000条信息；其优点是不用进行开发，直接调用函数即可，缺点是大数据量在公网传输会由于网络堵塞而造成的流量控制失败的情况。

综上所述，视频会议的 传输模块开发，传输效率最高是用UDP开发，但开发周期较长。用Raknet开发的传输模块不能适应大数据的传输，UDT在大数据量的传输有较好的优势， 缺点是支持的并发不是很多。但如果经过修改后，UDT也能进行大容量的并发，因此综合考虑用UDT是视频会议传输模块的最佳选择。

视频会议的图像清晰度由什么决定

 我 们选购视频会议的时候，最重要是考察系统的稳定性与音、视频质量等因素，而视频质量与视频会议的什么参数有关呢？首先我们说的视频质量，是我们平时的主观 对视频图像的一个看法，不能通过一个具体的数字来体系，因此我们考察视频会议的质量只能通过主观对视频会议的图像的清晰度进行判断，而决定视频会议的清晰 度由多种因素来决定，首先最重要的是视频会议的视频分辨率，另外一个是视频会议编码器的视频还原质量，最后一个视频会议的图像后处理技术。
 1、视频分辨率

      视频会议分 辨率就是视频会议的视频采集的图像的分辨率，这个参数在视频会议的清晰度衡量中占用非常重要的作用，视频会议的分辨率可以分QCIF(160*120)、 CIF(320*240)、720P(1280*720)、1280P(1920*1280)等分辨率，其分辨率越高，图像显示就越清楚，市场上所说的高 清视频会议系统，也就是图像采集分辨率达到720P以上的高清分辨率。但是不是分辨率越高，视频会议的视频质量就越高呢？这个答案是否定。视频会议的分辨 率只是图像的采集分辨率，而视频会议系统还需要经过视频的编码、解码、后期视频处理三个环节，因此视频会议分辨率越高不等同于视频会议的视频质量越高，只 能说是本地的视频质量随图像采集分辨率的增加而增加。图一是各种分辨率下面的图像。而对于高清摄像头我们也有很大的误区，有的厂商把自己的摄像头标出非常 高的像素，大家都认为这款肯定是高清分辨率，但测试的时候发现其分辨率只有640*480，这种摄像头其实并不是高清摄像头，高清摄像头的最基本指标是在 720P的分辨率之上。因此高清摄像头决定因素是图像的采集分辨率。

 
图一

2、视频编码的还原质量

        视频编码质量也是决定视频会议清晰度的一个重要指标，如现在最流行的H.264编码，其编码质量较高，图像的还原能力比之前的MPEG4还原能力更强，那 一副图像通过不同的视频编码还原后，图像的还原度是不一样的。我们首先要讲一下视频编码的过程，视频编码首先获得视频采集设备的图像，然后把图像分成若干 个块，然后对块进行数字转换，通过把块的帧内预测、帧外预测达到还原的图像的目的，因此图像的分块越小，图像的还原度会越高，如H.264采用最少4*4 的块进行块的预测，而MPEG4、H.263采用最小8*8和16*16的块进行预测还原，因此H.264编码的图像在同等数据传输率下，比MPEG4、 H.263更清楚。因此视频会议的清晰度还和视频编码的还原质量有关。

3、视频会议图像后处理技术

       视频会议的图像清晰度最后也与图像的后处理技术相关，不同的视频会议系统对图像的后处理技术都不尽相同，有的 视频会议 为图像增加图像滤波处理，使图像还原去除方格效应等。有的视频会议软件为图像采用图像增强技术，使图像看起来，更清晰。

       以上就是决定视频会议清晰度的最主要的三个方面，视频会议分辨率是决定本地的视频质量的最关键因素。而视频编码是决定视频在编解码过程中的还原能的最主要因素，而图像后处理技术是图像还原的后期处理，在视频会议中也占有很重要的作用。

Libav、FFmpeg、mplayer、VLC开源项目、FFDshow

ffmpeg

  

FFmpeg（现改名为Libav）

FFmpeg是一个开源免费跨平台的视频和音频流方案，属于自由软件，采用LGPL或GPL许可证（依据你选择的组件）。它提供了录制、转换以及流化音视 频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多codec 都是从头开发的。

名词含义

        FFmpeg在Linux平台下开发，但它同样也可以在其它操作系统环境中编译运行，包括Windows、Mac OS X等。

  

FFmpeg's Logo

这个项目最早由Fabrice Bellard发起，现在由Michael Niedermayer维护。许多FFmpeg的开发人员都来自MPlayer项目，而且当前FFmpeg也是放在MPlayer项目组的服务器上。项目的名称来自MPEG视频编码标准，前面的"FF“代表"FastForward“，

项目组成

        FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它包括了目前领先的音/视频编码库libavcodec等。

        libavformat ：用于各种音视频封装格式的生成和解析，包括获取解码所需信息以生成解码上下文结构

        和读取音视频帧等功能；

        libavcodec ：用于各种类型声音/图像编解码；

        libavutil ：包含一些公共的工具函数；

        libswscale ：用于视频场景比例缩放、色彩映射转换；

        libpostproc：用于后期效果处理；

        ffmpeg ：该项目提供的一个工具，可用于格式转换、解码或电视卡即时编码等；

        ffsever ：一个 HTTP 多媒体即时广播串流服务器；

        ffplay ：是一个简单的播放器，使用ffmpeg 库解析和解码，通过SDL显示；

多媒体处理功能

        多媒体视频处理工具FFmpeg有非常强大的功能[1]包括视频采集功能、视频格式转换、视频抓图、给视频加水印等。

视频采集功能

        FFmpeg是在Linux下开发出来的，但它可以在包括Windows在内的大多数操作系统中编译。这个项目是由Fabrice Bellard发起的，现在由Michael Niedermayer主持。

        ffmpeg视频采集功能非常强大，不仅可以采集视频采集卡或USB摄像头的图像，还可以进行屏幕录制，同时还支持以RTP方式将视频流传送给支持RTSP的流媒体服务器，支持直播应用。

        ffmpeg在Linux下的视频采集

        在Linux平台上，ffmpeg对V4L2的视频设备提高了很好的支持，如：

        ./ffmpeg -t 10 -f video4linux2 -s 176*144 -r 8 -i /dev/video0-vcodec h263 -f rtp rtp://192.168.1.105:5060 > /tmp/ffmpeg.sdp

        以上命令表示：采集10秒钟视频，对video4linux2视频设备进行采集，采集 QCIF(176*144)的视频，每秒8帧，视频设备为/dev/video0，视频编码为h263，输出格式为RTP，后面定义了IP地址及端口，将 该码流所对应的SDP文件重定向到/tmp/ffmpeg.sdp中，将此SDP文件上传到流媒体服务器就可以实现直播了。

        ffmpeg在windows下的视频采集

        在windows下关于ffmpeg视频采集的资料非常少，但是ffmpeg还是支持windows下视频采集的。ffmpeg支持windows下video for windows(VFW)设备的视频采集，不过VFW设备已经过时，正在被WDM的视频设备所取代，但是ffmpeg还没有支持WDM的计划，不过好像有将WDM转为VFW的工具，因此ffmpeg还是可以在windows下进行视频采集的。

视频格式转换功能

        ffmpeg视频转换功能。视频格式转换，比如可以将多种视频格式转换为flv格式，可不是视频信号转换，，

        ffmpeg可以轻易地实现多种视频格式之间的相互转换(wma,rm,avi,mod等)，例如可以将摄录下的视频avi等转成现在视频网站所采用的flv格式。

视频截图功能

        对于选定的视频，截取指定时间的缩略图。视频抓图，获取静态图和动态图，不提倡抓gif文件;因为抓出的gif文件大而播放不流畅

给视频加水印功能

        使用ffmpeg 视频添加水印(logo)。

支持的格式和协议

支持的编码

        源自FFmpeg项目组的两个视频编码：

        Snow

        FFV1

        FFmpeg实现的其它音频视频编码：

        ITU-T video standards: H.261,[5]H.262 (aka MPEG-2Video), H.263[5], H.263v2 and H.264/MPEG-4 AVC[5]

        ITU-T vocoder standards: G.711µ-law, G.711 A-law, G.722.2 (aka AMR-WB. supports via OpenCORE) andG.726

        ISO/IEC MPEG video standards: MPEG-1Video, MPEG-2 Video (aka H.262),MPEG-4 Visual and H.264/MPEG-4 AVC

        ISO/IEC MPEG audio standards: MP2,MP3, AAC and MPEG-4 ALS

        ISO/IEC/ITU-T JPEG image standards:JPEG and JPEG-LS

        SMPTE video standards: VC-1 (akaWMV3), VC-3 (aka AVID DNxHD) and DPX image

        DVD Forum standards related audio codecs: MLP and AC-3

        3GPP vocoder standards: AMR-NB,AMR-WB (aka G.722.2. supports via OpenCORE)

        Windows Media Player related video codecs: Microsoft RLE, Microsoft Video 1, Cinepak, Indeo 2, 3 and 5[5],Motion JPEG, Microsoft MPEG-4 v1, v2 and v3, WMV1, WMV2 and WMV3

        Windows Media Player related audio codecs: WMA1, WMA2, WMA Pro and WMA Voice

        Real Player related video codecs:Real Video 1, 2, 3 and 4

        Real Player related audio codecs:Real Audio 1, 2, 3, 4, 5, 6, 7, 8 and 9

        QuickTime related video codecs:Cinepak, Motion JPEG and Sorenson 3 Codec

        QuickTime related audio codecs:QDesign Music Codec 2 and ALAC

        Adobe Flash Player related video codecs: Sorenson 3 Codec, VP6 and Flash Screen Video

        Xiph-Org: Theora, Speex (vialibspeex), Vorbis and FLAC

        Sony: ATRAC1 and ATRAC3[5]

        NTT: TwinVQ

        On2: Duck TrueMotion 1, DuckTrueMotion 2, VP3, VP5[5] and VP6[5]

        RAD Game Tools: Smacker video andBink video

        Truespeech

        TXD[6]

支持的格式

        ASF

        AVI

        BFI[7]

        IFF[8]

        RL2[9]

        FLV

        MXF, Material eXchange Format, SMPTE 377M

        Matroska

        Maxis XA[10]

        MSN Webcam stream[11]

        MPEG transport stream

        TXD[6]

        OMA[12]

        GXF, General eXchange Format, SMPTE 360M

        mov,mp4,m4a,3gp,

支持的协议

        HTTP

        RTP

        RTSP

        RealMedia RTSP/RDT

        TCP

        UDP

        Gopher

        RTMP

        RTMPT, RTMPE, RTMPTE, RTMPS (via librtmp)

        SDP

        MMS over TCP

相关版权

        FFmpeg被许多开源项目采用，比如ffmpeg2theora,VLC, MPlayer, HandBrake, Blender, Google Chrome等。还有DirectShow/VFW的ffdshow(externalproject)和QuickTime的Perian (external project)也采用了FFmpeg。

FFmpeg耻辱柱(Hall Of Shame)：

        由于FFmpeg是在LGPL/GPL协议下发布的（如果使用了其中一些使用GPL协议发布的模块则必须使用GPL协议），任何人都可以自由使用，但 必须严格遵守LGPL/GPL协议。目前有很多播放软件都使用了FFmpeg的代码，但它们并没有遵守LGPL/GPL协议，没有公开任何源代码。我们应该对这种侵权行为表示耻辱。

        2009年加入FFmpeg的播放软件：暴风影音、QQ影音、KMP都在其列。

        2009年2月，韩国名软KMPlayer被FFmpeg开源项目发现使用了它们的代码和二进制文件，但是没有按照规定/惯例开放相应说明/源码。因此被人举报，进入了FFmpeg官网上的耻辱黑名单。

        2009年5月，网友cehoyos下载了暴风影音软件，解压之后发现其安装程序内包含了大量的开源和私有解码器：avcodec，avformat，avutil，x264，xvid，bass，wmvdmod等，之后暴风影音被正式加入到FFmpeg耻辱名单。

        2009年11月，网友roo_zhou向FFmpeg举报，指出QQ影音的credit只给出了修改的FFmpeg源码下载，声称是LGPL许可证。但实际是修改过的ffdshow，采用的是GPL许可证，之后QQ影音被正式加入到FFmpeg耻辱名单之列。

 ---------------------------------------------------------------------------------------------------------------------------------------------

VLC多媒体播放器

 

VLC多媒体播放器(最初命名为VideoLAN客户端)是VideoLAN计划的多媒体播放器。它支持众多音频与视频解码器及档案格式，并支持DVD影碟，VCD影碟及各类串流协定。它亦能作为unicast 或multicast的串流服务器在IPv4 或 IPv6的高速网络连线下使用。它融合了FFmpeg计划的解码器与libdvdcss程序库使其有播放多媒体档案及加密DVD影碟的功能。

    

        在Windows，Linux及某些平台，VLC提供了一个Mozilla插件，使得某些网站上捆绑的Quick Time及WindowsMedia files多媒体档案可以在不使用微软或苹果电脑产品下于Mozilla的浏览器中正常显示。

        由版本0.8.2开始，VLC亦提供了一个Active X插件，使得用户可以在InternetExplorer下，正常显示某些网站上捆绑的Quick Time及Windows Media多媒体档案可以在不使用微软或苹果电脑产品。

        VLC还有一个非常好的功能——播放那些没有下载完整的视频文件。

附加组件

        基于VLC，浏览器相关的多媒体插件（mozilla-plugin-vlc）

        VideoLAN流媒体解决方案之文档（video-doc）

详细信息

        总大小：下载13.0MB，安装时为41.2MB

        版本：1.1.9-1ubuntu1 （vlc）

        许可协议：开放源代码

系统支持

        VLC支持以下操作系统，下载的时候请选择你的系统。

        Official Downloads of VLC media player

        Windows

        Mac OS X

        iOS

        GNU/Linux

        Debian GNU/Linux

        Ubuntu

        openSUSE

        Gentoo Linux

        Fedora

        Arch Linux

        Slackware Linux

        Mandriva Linux

        ALT Linux

        Red Hat Enterprise LinuxOther OS

        FreeBSD

        NetBSD

        OpenBSD

        Solaris

        Android

        QNX

        Syllable

        OS/2

--------------------------------------------------------------------------------------------------------------------------------------------

ffdshow项目

ffdshow是一套免费的编解码软件，可支持H.264、FLV、WMV、MPEG-1、MPEG-2以及MPEG-4等格式视频档。ffdshow本身并不包含媒体播放器，但各种媒体播放器都可以使用ffdshow进行解码。

功能

        FFDShow是一款全能的 DirectShow 解码、编码器,可以解压缩常见的视频格式和几乎所有的音频格式, 它还提供了丰富的加工处理选项,可以锐化画面,调节画面的亮度,它还支持诸多字幕格式.它能让音频和视频播放更流畅。

组件

         DirectShow解码、编码器FFDShow 是对一些codec( ffmpeg ， xvid， andother)的封装，封装成了DirectShow和 VFW 的标准组件。        ffdshow 使用 libavcodec library 以及其他各种开放源代码的 软件包 。          

  

在射手影音播放器中弹出的ffdshow应用窗口

FFDShow是一个支持Xvid、MPEG4-V3 MPEG4-V2以及DivX所有版本所制作的视频文件的播放软件，占CPU资源比较少,还有很多画面优化功能,让 音频 和视频播放更流畅!是播放DVD影片必备的工具。

音视频解码

视频和音频分离出来后，就要交给对应的解码器进行解码 [1] 。常见的 视频编码 有MPEG2，Divx，XVID，H264等，常见的 音频编码 有AC3，DTS，DDPlus，DTSHD，LPCM等。不同格式需要不同的解码器进行解码，好比不同的锁需要不同的钥匙一样。

FFDShow支持的音视频格式

         FFDShow支持DivX，XviD， WMV，MPEG -1， MPEG-2， MPEG-4， Flash， VP6， AVC等视频格式。不止是视频,FFDShow同样可以解码音频,AC3、MP3等音频格式都可支持，ffdshow支持的音频格式包括 MP3， AAC， AC3， WMA，Vorbis， DTS， Ogg。另外，音频解码器可选择Cyberlink、ffdshow、AC3filter，或开启MPC/KMP内置的DTS解码器。

解码插件

        ffdshow是DVDRIP等avi格式压制成rmvb最重要的辅助插件。 利用ffdshow提供的某些滤镜设置可以使rmvb获得很好的效果。ffdshow可以当作插件化的avs，ffdshow的很多虑镜设置都可以用过 avs来实现，只是ffdshow目前只完美支持avi格式ffdshow的目前版本基本跟上了xvid的几种特殊情况。可以说ffdshow的发展寓于 avi编码的发展之中。据说新的xvid解码插件里ffdshow的开发者也参与了部分。ffdshow支持的格式和滤镜ffdshow可以配置字幕的显 示，可以启用或禁用各种内建的编码，可以屏幕截图，可以启用快捷键，还有增强电影的清晰度，锐度和其他的后处理的滤镜。它可以配合均衡器，混音器，Winamp dsp插件对音频进行控制。一些后处理功能是由MPlayer工程和AviSynth滤镜借用而来。        

ffdshow采用libavcodec解编码库和一些免费的开放的软件开发包解码大多数常规的格式，例如:MPEG-4 (包括视频解码Xvid, 3ivx, 和全部版本的DivX).Flash Video, H.263。

        

删除方法：由于某些原因，ffdshow会出现在任务栏的上，既不美观也不实用，让人头疼。只需要在我的电脑里搜索ffdshow，找到那个文件并删除，就可以去掉电脑右下角的图标。

        

关闭方法如图所示：点击“ffdshow audio decoder ”,点击“Tray，dialog & paths”项，在右边的“Tray icon”下，去掉"Show try icon"这项前面的对钩，然后点确定就会关闭了。

原文地址： http://blog.csdn.net/chenbang110/article/details/13681419