视音频编解码技术及其实现 杭州海康威视数字技术有限公司 胡扬忠

一、 视音频编码国际标准化组织及其压缩标准介绍
    国际上有两个负责视音频编码的标准化组织，一个是VCEG（Video code Expert Group），是国际电信联合会下的视频编码专家组，一个是MPEG（Motion Picture Expert Group），是国际标准化组织下的运动图象专家组。这两个视音频编码标准化组织都对视音频的编解码做出了非常重要的贡献：一是推动视音频编码技术的发展，一是推动视音频编解码的应用。
    视音频编解码涉及很多项视频和音频处理技术，每一项技术的改进都对视音频编码做出贡献，但作为一套完整、高效的编码方案，需要集中全人类在视音频编解码方面的最新智慧。个人或公司的研究成果，都希望被标准化组织，其经济回报是标准使用许可权费。
    这两个标准化组织制定的相关编码标准都获得了广泛的应用，VCEG制定的标准有H.261（被国际电信联合会选定为电视会议的视频压缩标准）、H.262（该标准同MPEG-2完全一样，是VCEG同MPEG组成的联合编码专家组JVT制定的压缩标准，VCEG发布的是H.262，MPEG发布的是MPEG-2）、H.263（该标准被国际电信联合会选定为可视电话的视频压缩标准，有增强型版本H.263+、H.263++）、H.264（该标准是2002年5月VCEG为新一代交互式视频通讯制定的标准）。MPEG名气要大得多，制定的标准有MPEG-1、MPEG-2、MPEG-4、MPEG-7和MPEG-21 ，MPEG-1压缩标准为VCD所采纳，MPEG-2的压缩标准为DVD采纳，MPEG-4是为交互式多媒体通讯制定的压缩标准，MPEG-7是为互联网视频检索制定的压缩标准。 
    VCEG制定的压缩标准H.26X都是针对单一矩形视频对象，其追求的是更高的压缩效率。MPEG-4在目前之所以很热，是因为MPEG-4是基于多个视音频对象的压缩编码标准，这非常适合于互联网上的多媒体应用。在互联网上传播的多媒体信息，很多是可以划分为多个视频对象的，如电脑制作的动画节目、电视新闻节目等，而在实时视频图象编码中，在一个图象矩形框中很难实时识别多个视频对象，还是把一个视频源当作一个矩形视频对象进行编码。 
    VCEG在97年发布H.263的压缩标准后，制定了短期开发计划H.26N和长期开发计划H.26L，H.26N发展成H.263+和H.263++，H.26L经过5年时间的发展，在2002年5月作为H.264压缩标准进行发布。 
    MPEG在VCEG发布H.263之后，发布了MPEG-4 SP（即MPEG-4第一板），在该版本中引入了两个非常重要的概念：一个是一个视频源多个视音频对象编码，一个是码流传输异常处理（特别是无线传输应用）。从这里可以看出，VCEG致力于高效率的视频编码技术，MPEG更侧重系统和框架。
    在2001年第四季度，VCEG H.26L发展到TML9.0时，MPEG同VCEG再次组成联合联合视频编码专家组JVT，对H.26L的算法进行了改进和完善，在2003年5月VCEG发布了H.264的压缩标准。MPEG在JVT对H.26L压缩算法修改的基础上，将该技术规范纳入到MPEG-4的标准中，作为MPEG-4 PART10发布，即MPEG-4的第三版，MPEG-4 AVC。H.264和MPEG-4 AVC代表了全人类在视音频编解码方面的最新成果。
    针对单一矩形视频对象，MPEG-4 AVC比MPEG-4第二版MPEG-4 ACE的压缩效率提高30%以上。

二、 H.264与MPEG-4 PART10的技术说明
    同以前的视频压缩标准H.263++和MPEG-4 ACE相比，H.264与MPEG-4 PART10采用了一些新的算法，主要表现在以下几个方面： 
    1、运动搜索 
    a、引入多参考帧 
         引入多达5个参考帧。 
    b、多种BLOCK形状
         有16*16、16*8、8*16、8*8、8*4、4*8、4*4七种BLOCK形状。 
    c、运动搜索精度更高 
        1/2象素精度搜索采用了6阶滤波器，搜索精度有很大提高。也引入了1/4象素精度搜索和1/8象素精度搜索。
     2、残余编码 
    a、 采用整型4*4 DCT变换 
    b、 量化技术改进 
    c、 采用DE-BLOCK技术 
    d、 SP帧技术
    这些技术的改变，一方面提高了压缩效率，另一方面运算强度大幅提高，大大地提高了实现的难度。

三、 海康威视开发的视音频数字化产品
    海康威视从2000年5月进入视音频编解码这个行业，就紧跟标准化组织制定的视音频编解码标准的步伐，特别是在MPEG-4、H.26L等标准发展过程中，扮演实现者的角色，首先是在PC平台上实时实现压缩标准所描述的视音频编解码。但PC平台上的应用，属于商业化软件的范畴，我们更适合做电子产品，在DSP上实时实现，降低产品成本、提高产品的可靠性，才有更大的实用价值。
    从一个视音频编解码模型，到一个实用的视音频编解码软件，要做大量的工作，从运算强度而言，要降低100倍以上。
    海康威视在数字化视音频编解码方面做了大量的工作，主要成果在以下几个方面： 
    1、 在PC（P4 1.4GHz）平台上完成了MPEG-4 ACE的编码和解码； 
    2、 在PC(P4 1.4GHz))平台上完成了H.264的编码和解码； 
    3、 在PHILIPS公司的DSP PNX1301（166MHz主频）上完成了MPEG-4 ACE的编码和解码（CIF或QCIF分辨率）； 
    4、 在PHILIPS公司的DSP PNX1301（180MHz）上完成了H.264的编码和解码（CIF或QCIF分辨率）； 
    5、 在PHILIPS公司的DSP PNX1302（200MHz）上完成了H.264的编码和解码（2CIF分辨率）；
     6、 在EQUATOR公司的DSP BSP-15-350(350MHz)上完成了MPEG-4 AVC的编解码（2CIF分辨率）。
     其中，在PHILIPS公司的DSP PNX1301上完成了MPEG-4 ACE的编码和解码技术，应用在DS-400XM压缩板卡上，在国内获得了广泛的应用。
    在推出DS-400XM压缩板卡之后，又推出基于H.264压缩技术的DS-400XH系列（CIF分辨率）和DS-400XH+系列（2CIF分辨率）。

四、结束语
    杭州海康威视数字技术有限公司是一家致力于研究视音频编解码核心技术、开发和生产自主数字视音频压缩产品的专业公司，作为国内在视频处理器（DSP）上开发视频编码软件的先驱，在多款视频视频处理器（DSP）上进行了不懈的尝试，已经取得了非常有意义的进展，目前推出的DS-400XH和DS-400XH+两个系列的产品，代表了监控类数字视音频编码产品迈向更低码率、更高分辨率的发展方向。