视频编码之释——从H.261 到H.264

数字视频技术广泛应用于通信、计算机、广播电视等领域，带来了会议电视、可视电话及数字电视、媒体存储等一系列应用，促使了许多视频编码标准的产生。ITU-T 与ISO/IEC 是制定视频编码标准的两大组织，ITU-T 的标准包 括 H.261、H.262、H.263、H.264，主要应用于实时视频通信领域，如会议电视；MPEG 系列标准是由ISO/IEC制定的，主要应用于视频存储(DVD)、广播电视、因特网或无线网上的流媒体等。两个组织也共同制定了一些标准，H.262 标准等同于MPEG-2 的视频编码标准，而目前最热门的H.264 标准则是MPEG-4 的第10 部分。 视频编码标准的发展 H.261 视频编码标准 H.261 是ITU-T 为在综合业务数字网(ISDN)上开展双向声像业务(可视电话、视频会议)而制定的，速率为64kb/s的整数倍。H.261 只对CIF 和QCIF 两种图像格式进行处理，每帧图像分成图像层、宏块组(GOB)层、宏块(MB)层、块(Block)层来处理。 H.261 是最早的运动图像压缩标准，它详细制定了视频编码的各个部分，包括运动补偿的帧间预测、DCT 变换、量化、熵编码，以及与固定速率的信道相适配的速率控制等部分。 H.262 视频编码标准（又称MPEG-2） 由MPEG-1 扩充而来，支持隔行扫描。使用十分广泛，几乎用于所有的数字电视系统，适合标清和高清电视，适合各种媒体传输，包括卫星、有线、地面等，都能有效地传输。 H.263 视频编码标准 H.263 是最早用于低码率视频编码的ITU-T 标准，是ITU-T 为低于64kb/s 的窄带通信信道制定的视频编码标准。它是在H.261 基础上发展起来的，其标准输入图像格式可以是S-QCIF、QCIF、CIF、4CIF 或者16CIF 的彩色4∶2∶0 亚取样图像。H.263 与H.261 相比采用了半象素的运动补偿，并增加了4 种有效的压缩编码模式。随后出现的第二版(H.263+)及H.263++增加了许多选项，使其具有更广泛的适用性。 H.264 视频编码标准 H.264 是由ISO/IEC 与ITU-T 组成的联合视频组(JVT)制定的新一代视频压缩编码标准。1996 年制定H.263标准后，ITU-T 的视频编码专家组(VCEG)开始了两个方面的研究：一个是短期研究计划，在H.263 基础上增加选项(之后产生了H.263+与H.263++)；另一个是长期研究计划，制定一种新标准以支持低码率的视频通信。长期研究计划产生了 H.26L 标准草案，其目标是研制出新的压缩标准，与以前的任何标准相比，效率要提高一倍，同时具有简单、直观的视频编码技术，网络友好的视频描述，适合交互和非交互式应用（广播、存储、流煤体）。 2001 年，ISO 的MPEG 组织认识到H.26L 潜在的优势，随后ISO 与ITU 开始组建包括来自ISO/IEC MPEG与ITU-T VCEG 的联合视频组(JVT)，JVT 的主要任务就是将H.26L 草案发展为一个国际性标准。于是，在ISO/IEC中该标准命名为AVC(Advanced Video Coding)，作为MPEG-4 标准的第10 个选项；在ITU-T 中正式命名为H.264标准。该标准在2003 年3 月正式获得批准。 H.264 视频编码标准特性 H.264 的主要优点包括: 1. 在相同的重建图像质量下，H.264 比H.263+和MPEG-4(SP)减小50%码率。 2. 对信道时延的适应性较强，既可工作于低时延模式以满足实时业务，如会议电视等；又可工作于无时延限制的场合，如视频存储等。 3. 提高网络适应性，采用“网络友好”的结构和语法，加强对误码和丢包的处理，提高解码器的差错恢复能力。 4. 在编/解码器中采用复杂度可分级设计，在图像质量和编码处理之间可分级，以适应不同复杂度的应用。 相对于先期的视频压缩标准，H.264 引入了很多先进的技术，包括4×4 整数变换、空域内的帧内预测、1/4 象素精度的运动估计、多参考帧与多种大小块的帧间预测技术等。新技术带来了较高的压缩比，同时大大提高了算法的复杂度。 4×4 整数变换 以前的标准，如H.263 或MPEG-4，都是采用8x8 的DCT 变换。H.26L 中建议的整数变换实际上接近于4×4的DCT 变换，整数的引入降低了算法的复杂度，也避免了反变换的失配问题，4×4 的块可以减小块效应。而H.264的4×4 整数变换进一步降低了算法的复杂度，相比H.26L 中建议的整数变换，对于9b 输入残差数据，由以前的32b 降为现在的16b 运算，而且整个变换无乘法，只需加法和一些移位运算。新的变换对编码的性能几乎没有影响，而且实际编码略好一些。 基于空域的帧内预测技术 视频编码是通过去除图像的空间与时间相关性来达到压缩的目的。空间相关性通过有效的变换来去除，如DCT变换、H.264 的整数变换；时间相关性则通过帧间预测来去除。这里所说的变换去除空间相关性，仅仅局限在所变换的块内，如8×8 或者4×4，并没有块与块之间的处理。H.263+与MPEG-4 引入了帧内预测技术，在变换域中根据相临块对当前块的某些系数做预测。H.264 则是在空域中，利用当前块的相临象素直接对每个系数做预测，更有效地去除相临块之间的相关性，极大地提高了帧内编码的效率。 H.264 基本部分的帧内预测包括9 种4×4 亮度块的预测、4 种16×16 亮度块的预测和4 种色度块的预测。 运动估计 H.264 的运动估计具有3 个新的特点：1/4 象素精度的运动估计；7 种大小不同的块进行匹配；前向与后向多参考帧。 H.264 在帧间编码中，一个宏块(16×16)可以被分为16×8、8×16、8×8 的块，而8×8 的块被称为子宏块，又可以分为8×4、4×8、4×4 的块。总体而言，共有7 种大小不同的块做运动估计，以找出最匹配的类型。与以往标准的P 帧、B 帧不同，H.264 采用了前向与后向多个参考帧的预测。半象素精度的运动估计比整象素运动估计有效地提高了压缩比，而1/4 象素精度的运动估计可带来更好的压缩效果。 编码器中运用多种大小不同的块进行运动估计，可节省15%以上的比特率(相对于16×16 的块)。运用1/4 象素精度的运动估计，可以节省20%的码率(相对于整象素预测)。多参考帧预测方面，假设为5 个参考帧预测，相对于一个参考帧，可降低5%～10%的码率。以上百分比都是统计数据，不同视频因其细节特征与运动情况而有所差异。 去块效应滤波器 H.264 标准引入了去块效应滤波器，对块的边界进行滤波，滤波强度与块的编码模式、运动矢量及块的系数有关。去块效应滤波器在提高压缩效率的同时，改善了图像的主观效果。 其他视频编码标准 除上述ITU-T 的视频压缩标准外，还有一些标准也比较流行，如MPEG-4、WM9。 目前国内所说的MPEG-4 一般是指SP(简级)或ASP(先进的简级)，主要针对低码率应用，如因特网上的流媒体、无线网的视频传输及视频存储等，其核心类似于H.263，编码效率也与H.263 相当。 MPEG-4 SP 和H.263 有很多相似的地方。然而，这两个标准之间也有显著的不同，主要表现在：码流结构和头信息、熵编码的部分码表、编码技术的一些细节。MPEG-4 ASP 较SP 增加了一些技术，主要有：1/4 象素精度的运动估计、B 帧、全局运动矢量(GMV)，因而压缩效率得以提高。 Window Meida 9(WM9)是微软公司开发的新一代数字媒体技术。一些测试表明，WM9 的视频压缩效率比MPEG-2、MPEG-4 SP 及H.263 高很多，而与H.264 的压缩效率相当。 综述 H.261 与H.263 在视频通信中应用较广，成熟的产品有很多。H.263 与H.261 相比，增加了若干选项，提供了更灵活的编码方式，压缩效率大大提高，更适应网络传输。 H.264 标准的推出，是视频编码标准的一次里程碑式的重要进步，它与现有的MPEG-2、MPEG-4 SP 及H.263相比，具有明显的优越性，特别是在编码效率上的提高，使之能用于许多新的领域。尽管H.264 的算法复杂度是现有编码压缩标准的4 倍以上，随着集成电路技术的快速发展，以及受到业界几乎所有主流视频相关设备/产品厂商的支持，H.264 的商业应用已经在全世界迅速推广。