视频编码基本框架

H.261　　H.261标准是为ISDN设计，主要针对实时编码和解码设计，压缩和解压缩的信号延时不超过150ms，码率px64kbps(p=1~30)。　　H.261标准主要采用运动补偿的帧间预测、DCT变换、自适应量化、熵编码等压缩技术。 只有I帧和P帧，没有B帧，运动估计精度只精确到像素级。支持两种图像扫描格式：QCIF和CIF。　　

H.263　　H.263标准是甚低码率的图像编码国际标准，它一方面以H.261为基础，以混合编码为核心，其基本原理框图和H.261十分相似，原始数据和码流组织也相似；另一方面，H.263也吸收了MPEG等其它一些国际标准中有效、合理的部分，如：半像素精度的运动估计、PB帧预测等，使它性能优于H.261。　　H.263使用的位率可小于64Kb/s,且传输比特率可不固定（变码率）。H.263支持多种分辨率： SQCIF(128x96)、 QCIF、CIF、4CIF、16CIF。　　与H.261和H.263相关的国际标准　　与H.261有关的国际标准　　H.320：窄带可视电话系统和终端设备；　　H.221：视听电信业务中64~1 920Kb/s信道的帧结构；　　H.230：视听系统的帧同步控制和指示信号；　　H.242：使用直到2Mb/s数字信道的视听终端的系统。　　与H.263有关的国际标准　　H.324：甚低码率多媒体通信终端设备；　　H.223：甚低码率多媒体通信复合协议；　　H.245：多媒体通信控制协议；　　G.723.1.1：传输速率为5.3Kb/s和6.3Kb/s的语音编码器。　　

JPEG　　国际标准化组织于1986年成立了JPEG(Joint Photographic Expert Group)联合图片专家小组，主要致力于制定连续色调、多级灰度、静态图像的数字图像压缩编码标准。常用的基于离散余弦变换(DCT)的编码方法，是JPEG算法的核心内容。　　

MPEG-1/2　　MPEG-1标准用于数字存储体上活动图像及其伴音的编码，其数码率为1.5Mb/s。 MPEG-1的视频原理框图和H.261的相似。 　　

MPEG-1视频压缩技术的特点：1. 随机存取；2. 快速正向/逆向搜索；3 .逆向重播；4. 视听同步；5. 容错性；6. 编/解码延迟。MPEG-1视频压缩策略：为了提高压缩比，帧内/帧间图像数据压缩技术必须同时使用。帧内压缩算法与JPEG压缩算法大致相同，采用基于DCT的变换编码技术，用以减少空域冗余信息。帧间压缩算法，采用预测法和插补法。预测误差可在通过DCT变换编码处理，进一步压缩。帧间编码技术可减少时间轴方向的冗余信息。　　MPEG-2被称为“21世纪的电视标准”，它在MPEG-1的基础上作了许多重要的扩展和改进，但基本算法和MPEG-1相同。　　

MPEG-4　　MPEG-4标准并非是MPEG-2的替代品，它着眼于不同的应用领域。MPEG-4的制定初衷主要针对视频会议、可视电话超低比特率压缩（小于64Kb/s）的需求。在制定过程中，MPEG组织深深感受到人们对媒体信息，特别是对视频信息的需求由播放型转向基于内容的访问、检索和操作。　　MPEG-4与前面提到的JPEG、MPEG-1/2有很大的不同，它为多媒体数据压缩编码提供了更为广阔的平台，它定义的是一种格式、一种框架，而不是具体算法，它希望建立一种更自由的通信与开发环境。于是MPEG-4新的目标就是定义为：支持多种多媒体的应用，特别是多媒体信息基于内容的检索和访问，可根据不同的应用需求，现场配置解码器。编码系统也是开放的，可随时加入新的有效的算法模块。应用范围包括实时视听通信、多媒体通信、远地监测/监视、VOD、家庭购物/娱乐等。MPEG－4具有很多优点。它的压缩率可以超过100倍，而仍保有极佳的音质和画质；它可利用最少的数据，获取最佳的图像质量，满足低码率　　应用的需求；它更适合于交互式AV服务及远程监控。为了满足各种应用的需求，MPEG－4标准的使用范围相当庞大，具有广泛的适应性和可扩展性。　　1、形状编码　　形状信息的获得首先要对图形进行分析和分割，把各个代表不同内容的目标分割后再用形状表示。形状信息通常用二值　　Alpha平面来表示。二值Alpha平面可用临近信息进行算术编码（CAE）；灰度Alpha平面可用运动补偿加DCT变换方式类似纹理编码一样进行编码。　　其中用于图像压缩的变换有离散Forier变换（DFT）、离散小波变换（DWT）、奇异值分解（SVD）、K－L变换、Walsh变换、Hadamard变换、Harr变换、Slant变换、离散余弦变换（DCT）。其中K－L变换的去相关性最好，而DCT是接近K－L变换效果的最便于实现的变换。和MPEG－1/2一样，MPEG－4也选择了DCT。通常，用于数据压缩的熵编码方法有霍夫曼（Huffman）编码、矢量量化、算术编码、游程编码、LZW编码等。对于纹理编码，MPEG－4选择了把游程编码、矢量量化和Huffman编码进行混合编程编码（VLC）。纹理编码要经过DCT变换、量化、DC/AC预测、扫描、基于Hufman的VLC编码。　　2、运动估计和补偿　　MPEG－4中提供了基于块的运动估计和补偿技术来有效地利用各个VOP中视频内容上的时间冗余。一般，运动估计和补偿可以看作针对任意形状图像序列的块匹配技术的延伸。块匹配过程对于标准宏块使用；预测误差和用于预测的宏块运动向量一起被编码；高级运动补偿模式支持重叠块运动补偿，可对8×8块运动向量进行编码。为了使运动估计得到高编码效率，预测图像和被预测图像越相似越好，所以在运动估计之前要先进行补偿。在目标边界上的MB先用水平填补而后用垂直填补，其余完全在VOP之外的MB用扩张填补。　　3、纹理编码　　纹理指的是I－VOP图像和P/B－VOP经运动补偿后残留的图像信息。纹理一般在变换域进行压缩编码和熵编码。准正式编辑已经出版：静态图像压缩编码标准（JPEG）；数字声像储存压缩编码标准（MPEG－1）；通用视频图像压缩编码标准（MPEG－2）。　　随后，MPEG专家组于1999年2月正式公布了MPEG－4（ISO/IEC14496）V1.0版本。同年底MPEG－4V2.0版本亦告完成，且于2000年年初正式成为国际标准。MPEG－4标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供标准的算法及工具，从而建立起一种能被多媒体传输、存储、检索等应用普遍采用的统一数据格式，并根据不同的应用需求，现场配置解码器，开放的编码系统也可随时加入新的有效的算法模块。为支持对视频内容的访问，MPEG－4提出了“视频对象”的概念。　　4、伸屈性　　目前，MPEG专家组又推出了专门支持多媒体信息且基于内容检索的编码方案MPEG－7及多媒体框架标准MPEG－21。另外，由ITU－T和MPEG联合开发的新标准H.264是最新的视频编码算法。为了降低码率，获得尽可能更好图像质量，H.264标准吸取了MPEG－4的长处，具有更高的压缩比、更好的信道适应性，必将在数字视频的通信和存储领域得到广泛的应用，其发展潜力不可限量。　　视频的伸屈性，包括空间伸屈性和时间伸屈性。空间伸屈性可以得到不同的空间分辨率，时间伸屈性可得到不同的时间分辨率。每种伸屈都有多层，在只有高低2层的情况下，底层指的是基本层，而高层指的是增强层。　　5、差错回避　　VLC码中的一个比特错误会引起同步丢失，而运动补偿则会引起错误传递。MPEG－4的差错回避有三个方面：重同步、数据恢复和错误隐藏。重同步，是指差错被检测后，解码器和码流之间重新同步的技术。一般来说，这种方法会将错误之前的同步点到重建的同步点之间的数据丢弃。不过这些丢弃的数据可以用其他的技术进行恢复和实施错误隐藏。数据恢复工具在解码器和码流重新建立起同步后用来恢复丢弃的数据。这些工具不是简单的用容错码恢复，而是用一种差错回避手段，即　　用可逆VLC码字进行VLC编码。错误隐藏，在重同步有效地将错误定位后可以很容易处理。为了进一步提高错误隐匿的能力，有必要增加错误定位能力，特别是数据分割可以用来提高错误定位能力。　　

JVT：新一代的视频压缩标准　　JVT是由ISO/IEC MPEG和ITU-T VCEG成立的联合视频工作组（Joint Video Team），致力于新一代数字视频压缩标准的制定。　　JVT标准在ISO/IEC中的正式名称为：MPEG-4 AVC(part10)标准；在ITU-T中的名称:H.264（早期被称为H.26L）　　

H264/AVC　　H264集中了以往标准的优点，并吸收了以往标准制定中积累的经验, 采用简洁设计,使它比MPEG4更容易推广。H.264创造性了多参考帧、多块类型、整数变换、帧内预测等新的压缩技术，使用了更精细的分象素运动矢量（1/4、1/8)和新一代的环路滤波器，使得压缩性能大大提高，系统更加完善。　　H.264主要有以下几大优点：　　－ 高效压缩：与H.263+和MPEG4 SP相比，减小50%比特率　　－ 延时约束方面有很好的柔韧性　　－ 容错能力　　－ 编/解码的复杂性可伸缩性　　－ 解码全部细节：没有不匹配　　－ 高质量应用　　－ 网络友善　　监控中的视频编码技术　　目前监控中主要采用MJPEG、MPEG1/2、MPEG4(SP/ASP)、H.264/AVC等几种视频编码技术。对于最终用户来言他最为关心的主要有：清晰度、存储量（带宽）、稳定性还有价格。采用不同的压缩技术，将很大程度影响以上几大要素。 　　

MJPEG　　MJPEG（Motion JPEG）压缩技术，主要是基于静态视频压缩发展起来的技术，它的主要特点是基本不考虑视频流中不同帧之间的变化，只单独对某一帧进行压缩。　　MJPEG压缩技术可以获取清晰度很高的视频图像，可以动态调整帧率、分辨率。但由于没有考虑到帧间变化，造成大量冗余信息被重复存储，因此单帧视频的占用空间较大，目前流行的MJPEG技术最好的也只能做到3K字节/帧，通常要8~20K！　　

MPEG-1/2　　MPEG-1标准主要针对SIF标准分辨率(NTSC制为352X240；PAL制为352X288)的图像进行压缩. 压缩位率主要目标为1.5Mb/s.较MJPEG技术，MPEG1在实时压缩、每帧数据量、处理速度上有显著的提高。但MPEG1也有较多不利地方:存储容量还是过大、清晰度不够高和网络传输困难。　　MPEG-2 在MPEG-1基础上进行了扩充和提升，和MPEG-1向下兼容，主要针对存储媒体、数字电视、高清晰等应用领域，分辨率为：低(352x288)，中(720x480)，次高(1440x1080)，高(1920x1080)。MPEG-2视频相对MPEG-1提升了分辨率，满足了用户高清晰的要求，但由于压缩性能没有多少提高，使得存储容量还是太大，也不适和网络传输。　　

MPEG-4　　MPEG-4视频压缩算法相对于MPEG-1/2在低比特率压缩上有着显著提高，在CIF（352*288）或者更高清晰度（768*576）情况下的视频压缩，无论从清晰度还是从存储量上都比MPEG1具有更大的优势，也更适合网络传输。另外MPEG-4可以方便地动态调整帧率、比特率，以降低存储量。　　MPEG-4由于系统设计过于复杂，使得MPEG-4难以完全实现并且兼容，很难在视频会议、可视电话等领域实现，这一点有点偏离原来地初衷。另外对于中国企业来说还要面临高昂的专利费问题，目前规定：　　－ 每台解码设备需要交给MPEG-LA 0.25美元　　－ 编码/解码设备还需要按时间交费（4美分/天=1.2美元/月 =14.4美元/年）　　

H.264/AVC　　H.264集中了以往标准的优点，在许多领域都得到突破性进展，使得它获得比以往标准好得多整体性能：　　－ 和H.263+和MPEG-4 SP相比最多可节省50％的码率，使存储容量大大降低；　　－ H.264在不同分辨率、不同码率下都能提供较高的视频质量；　　－ 采用“网络友善”的结构和语法，使其更有利于网络传输。　　H.264采用简洁设计,使它比MPEG4更容易推广，更容易在视频会议、视频电话中实现，更容易实现互连互通，可以简便地和G.729等低比特率语音压缩组成一个完整的系统。　　MPEG LA吸收MPEG-4的高昂专利费而使它难以推广的教训，MPEG LA制定了以下低廉的H.264收费标准：H.264广播时基本不收费；产品中嵌入H.264编/解码器时，年产量10万台以下不收取费，超过10万台每台收取0.2美元，超过500万台每台收取0.1美元。低廉的专利费使得中国H.264监控产品更容易走向世界。