视频扫盲2
1. MPEG-2视频流层结构
为了便利于误码处理、随机搜索及编辑，MPEG-2用句法定义了1个层次性结构，用于表示视频编码数据。MPEG-2具体的视频流层结构如图10所示：将MPEG-2视频流分为图像序列层(VSL-Video Sequence Layer)、图像组层 (GOPL-Group of Pictures Layer)、图像层(PL-Picture Layer)、宏块条层(SL-Slice Layer)、宏块层(ML-Macroblock Layer)、块层(BL-Block Layer)共6个部分，每层都有确定的功能与其对应。
1) 图像序列层（VSL）
VSL是由数据头及一系列图像组（GOP）组成的视频数据包，具体是指一整个要处理的连续图像。用于定义整个视频序列结构，可采用逐行或隔行两种扫描方式。其中，数据头给出了有关图像水平大小、垂直大小、宽高比、帧速率、码率、视频缓存校验器的大小、量化矩阵、层号（Layer-id）、分级法（Scalable mode）等，为解码提供了重要依据。
2) 图像组层(GOPL)
GOPL是图像序列层中若干图像组的1组图像，由数据头和若干幅图像组成，用于支持解码过程中的随机存取功能。图像分组是从有利于随机存取及编辑出发的，不是MPEG-2结构组成的必要条件，可在分组与否之间灵活选择。其中，数据头给出了图像编码类型、码表选择、图像组头部开始码、视频磁带记录时间及控制码、涉及B帧处理的closed GOP、broken link。为了给编辑数据流提供接入点，第1个总是I帧。
3)图像层(PL)
PL由数据头和1帧图像数据组成，是图像组层若干幅图像中的1幅，包含了1幅图像的全部编码信息。MPEG-2图像扫描可有逐行或隔行两种方式：当为逐行时，图像为逐帧压缩；当为隔行时，图像为逐场或逐帧压缩，即在运动多的场景采用逐场压缩，在运动少的场景采用逐帧压缩。
因为，从整个帧中去除的空间冗余度比从个别场中去除得多。其中，数据头提供的基本部分有头起始码、图像编号的时间基准、图像（I，B，P）帧类型、视频缓存检验器延迟时间等，扩展部分有图像编码扩展、图像显示扩展、图像空间分级扩展、图像时间分级扩展等。其中，基本部分由MPEG-1及MPEG-2共用，扩展部分由MPEG-2专用。
一幅视频图像是由亮度取样值和色度取样值组成的，而亮度与色度样值比例的大小是由取样频率之比决定的。在MPEG-2中，亮度与色度之间的比例格式有4:2:0（或4:0:2）、4:2:2、4:4:4三种。
4) 宏块条层(SL)
SL由附加数据和一系列宏块组成，其最小长度 = 1个宏块，当长度 = 图像宽度时，就成了MPEG-2层面中最大宏块条长度。为了隐匿误差，提高图像质量，将图像数据分成由若干个宏块或宏块条组成的一条条位串。一旦某宏块条发生误差，解码器可跳过此宏块条至下一宏块条的位置，使下一宏块条不受有误差而无法纠正的宏块条的影响，一个位串中的宏块条越多，隐匿误差性能就越好。为此，附加数据部分定义了宏块条在整个图像中的位置、默认的全局量化参数、变量优先切换点（PBP-Priority Break Point）。其中，PBP用于指明数据流在何处分开，解码器要在两个数据流的恰当点处切换，以保证读取完整、正确的解码信息，确保解码完整无误。注意，在离散余弦反变换（IDCT-Inverse Discrete Cosine Transform）时，SL可提供重新同步功能。
5) 宏块层（ML）
ML是宏块条层中一系列宏块中的1块，由附加数据、亮度块和色度块共同组成。其中，亮度为16×16像素块，称为宏块。宏块是码率压缩中运动补偿的基本单元，由4个8×8像素块构成，用于消除P图像与B图像之间的时间冗余度。色度块由多少个8×8像素块构成，取决于亮度与色度之间取样频率的比例格式。如MPEG-2有4:2:0、4:2:2、4:4:4三种宏块结构，取样结构如图11所示。图中4:2:0是由4个8×8亮度（Y）像素块、2个8×8红色（Cr）像素块及0个8×8兰色（Cb）像素块构成的，或4:0::2是由4个8×8亮度（Y）像素块、0个8×8红色（Cr）像素块及2个8×8兰色（Cb）像素块构成的,4:2:0与4:0:2是交替进行的，使垂直分解力降低（类似4:1:1使水平分解力降低），只含有1/4的色度信息。4:2:2是由4个8×8亮度（Y）像素块、2个8×8红色（Cr）像素块及2个8×8兰色（Cb）像素块构成的，只含有1/2的色度信息。4:4:4是由4个8×8亮度（Y）像素块、4个8×8红色（Cr）像素块及4个8×8兰色（Cb）像素块构成的，是全频宽YCrCb视频。宏块层ML包含P帧及B帧的运动矢量(MV-Motion Vectors)。附加数据包含的信息有:表明宏块在宏块条层中位置的宏块地址、说明宏块编码方法及内容的宏块类型、宏块量化参数、区别运动矢量类型及大小、表明以场离散余弦变换（DCT- Discrete Cosine Transform）还是以帧DCT进行编码的DCT类型。
6) 块层(BL)
BL是只包含1种类型像素的8×8像素块，即是单一的8×8亮度（Y）像素块，或是单一的8×8红色（Cr）像素块，或是单一的8×8兰色（Cb）像素块。它是提供DCT系数的最小单元，即其功能是传送直流分量系数和交流分量系数。若需要对宏块进行DCT，也要先将宏块分成像素块后再进行。
2. MPEG-2帧间编码结构
为了在高效压缩编码的条件下、获得可随机存取的高压缩比、高质量图像，MPEG定义了I、P、B三种图像格式，分别简称为帧内图（Intra Picture）、预测图(Predicted Picture)及双向图(Bidirec tional Picture),即I图、P图及B图，用于表示1/30s时间间隔的帧序列画面。因为，要满足随机存取的要求，仅利用I图本身信息进行帧内编码就可以了；要满足高压缩比和高质量图像的要求，单靠I图帧内编码还不行，还要加上由P图和B图参与的帧间编码，以及块匹配运动补偿预测，即用前一帧图像预测当前图像的因果预测和用后一帧图像预测当前图像的内插预测。这就要求帧内编码与帧间编码平衡，因果预测与内插预测间的平衡。平衡的结果是随机存取的高压缩比、高质量图像的统一。图12是MPEG-2帧间编码结构图，其中：
1) 帧内编码图（ICP）
I图为不要基准图像编码作为基准所产生的图像，称为帧内编码图（ICP-Intra Coded Pictures）。特点是：数据量最大；帧内中等程度压缩；无运动预测，可采用自相关性，即帧内相邻像素、相邻行的亮度、色度信号都具有渐变的空间相关性，可作静止图像处理，无条件传送；图像可随机进入压缩图像数据序列，进行编码。
2) 预测编码图（PCP）
P图是以最近的上一个I图或P图为基准进行运动补偿预测所产生的图像，称为预测编码图（PCP-Predictive Coded Pictures）。P图的特点是：本身是前I图或P图的前向预测（FP-Forward Prediction）结果，也是产生下一个P图的基准图像；高编码效率，与I图相较，可提供更大的压缩比；前一个P图是下一个P图补偿预测的基准，如果前者存在误码，则后者会将编码误差积累起来、传播下去。
3) 双向预测编码图（BPCP）
目前对B图有两种趋同的理解：其一，B图是同时以前面的I图或P图和后面的P图或I图为基准进行运动补偿预测所产生的图像，称为双向预测编码图（BPCP-Bidirectional Predictive Coded Picture）。前面的I图或P图代表“过去信息”，后面的P图或I图代表“未来信息”，由于同时使用了“过去”和“未来”两种信息，所以称为双向预测。其二，由于帧序列相邻帧画面间的运动部分具有连续到时间相关性，可将当前画面看成是前一画面某一时刻图像的位移，当然位移方向及幅值在帧内各处未必相同，只要用前面最近时刻的I图或P图及代表运动的位移信息，便可预测出当前图像，称为前向预测（FP）。根据某时刻的图像及反映位移信息的运动矢量，预测出某时刻以前的图像，以便预测出前一帧中没有显露而现在出现的信息，称为后向预测（BP-Backword Prediction）。B图是将前向预测（FP）与后向预测（BP）同时使用并取其平均值后所产生的图像，称为双向预测图或平均值预测图。
由图12可见，一个GOP由I为起始的一串IBP帧组成，GOP的长度是前一个I帧到下一个I帧之前的B帧之间的间隔，如I1B2B3P4B5B6P7B8B9I10中从I1到B9就是GOP的长度。GOP越长，MPEG-2编码越有效，而数据流的编辑及组接越困难。一般，最多由12帧组成。基准帧重复频率的不同，可提供不同的输出码率。GOP的结构随码率变化而不同，如码率大于40Mbps时，帧重复方式为只有I帧，GOP最短，具有高效率的优点；码率为15-40Mbps时，帧重复方式为IB，GOP较短；码率小于15 Mbps时，帧重复方式为IBP或IBBP，GOP较长，有延迟，影响存取速度。总之，图像质量随着码率10-50 Mbps的升高而提高，随着帧重复方式I-IB-IBBP使GOP变长而增长。尽管帧重复方式可以是IP,IB,IBP,IBBP,甚至是只有I帧，但针对不同的应用及码率，有不同的GOP结构：新闻编采，码率18Mbps，采用IB帧的GOP结构；节目分配，码率20Mbps，采用IBBP帧的GOP结构；存档，码率30Mbps，采用IB帧的GOP结构：后期制作，码率50Mbps，采用I帧GOP结构。图13表示了GOP与图像质量的关系及应用,图中编码规则是：I帧4:2:2 @ ML MPEG速率为40-50Mbps；IBIBIB序列速率为25-30Mbps；长GOPIBP序列速率为12-18 Mbps。
系统对B帧像素不编码、不传送、不作为预测基准。仅在解码时，用双向预测的插值法建立，如I1与P4之间的B2、B3帧由I1和P4加权内插而建立。B帧像素块数据中，仅携带着为每个像素块设置的“运动矢量”。
3.MPEG-2视频压缩基础
码率压缩要从视觉对象、视觉生理、视觉心理3个方面入手，研究符合于人类视觉规律的视觉模型。由于视觉心理是1个很复杂的问题，难以得到其规律。因此，码率压缩只能在利用图像信号的统计特性和人类眼睛的视觉特性的基础上来进行。
1) 利用图像信号的统计特性进行压缩
同一帧电视图像中相邻像素之间的幅度值相近，即同一行上的相邻像素之间幅值相近，相邻行之间同样位置上的像素幅值相近，体现了电视图像的空间冗余度；相邻两帧电视图像同一位置上像素幅度值相近，体现了电视图像的时间（动态）冗余度，如图14所示。另外，每个像素所用bits数的多少表示了比特结构，多用的比特数为冗余量，体现了静态（比特结构）冗余度。
因此，为了清楚地了解空间冗余度、时间冗余度和静态冗余度三者之间的关系，可以通过图15所示的电视图像信息的三维表示来说明。需要指出的是采用运动补偿（MC）去除时间冗余度要进行160亿次的算术运算；采用离散余弦变换（DCT）和纬坛ざ缺嗦耄≧LC）去除空间冗余度要进行20亿次的算术运算；采用可变长度编码（VLC）去除静态（比特结构）冗余度要象“Morse Code”那样进行比特匹配。MPEG压缩算法如图16所示。为了减少计算量，最佳算法的探讨及其标准化是很重要的。
2) 利用人眼的视觉特性进行压缩
人眼对构成图像的不同频率成分、物体的不同运动程度等具有不同的敏感度，这是由人眼的视觉特性所决定的，如人的眼睛含有对亮度敏感的柱状细胞1.8亿个，含有对色彩敏感的椎状细胞0.08亿个，由于柱状细胞的数量远大于椎状细胞，所以眼睛对亮度的敏感程度要大于对色彩的敏感程度。据此，可控制图像适合于人眼的视觉特性，从而达到压缩图像数据量的目的。例如，人眼对低频信号的敏感程度大于对高频信号的敏感程度，可用较少的bit数来表示高频信号；人眼对静态物体的敏感程度大于对动态物体的敏感程度，可减少表示动态物体的bit数；人眼对亮度信号的敏感程度大于对色度信号的敏感程度，可在行、帧方向缩减表示色度信号的bit数；人眼对图像中心信息的敏感程度大于对图像边缘信息的敏感程度，可对边缘信息少分配bit数；人眼对图像水平向及垂直向信息敏感于倾斜向信息，可减少表示倾斜向信息高频成分的bit数等。在实际工作中，由于眼睛对亮度、色度敏感程度不一样，故可将其分开处理。
为此，将单元分量RGB改变为YUV(或YCrCb)全分量。在编码时强调亮度信息，可去掉一些色度信息，如4:4:4变为4:2:2，码率由270Mbps降低到180Mbps。
由上述可见，电视系统存在着冗余信息，在传输图像信息之前，只要将这些冗余信息去除，就可以实现适度的压缩。由于去除这些冗余信息对图像质量无影响，故称其为“无损压缩”。如，从视频信号中去除同步信息。无损压缩的压缩比不高，压缩能力有限。为了提高压缩比，MPEG标准采用了对图像质量有损伤的“有损压缩”技术。
4. MPEG-2视频编码方式
为了提高压缩比及图像质量，MPEG-2视频编码采用运动补偿预测（时间预测+内插）消除时间冗余和不随时间变化的图像细节；采用二维DCT（图像像素+量化传输系数）分解相邻像素，消除观众不可见、不重要的图像细节；采用熵值编码（已量化参数+编码参数的熵），使bit数减少到理论上的最小值。对以上3种压缩技术，作如下说明：
1）运动补偿预测
式（1）表明要匹配的宏块已经匹配，并得到水平及垂直位移为（k , l）的运动矢量的运动数据。通过匹配不仅将传输的差值减到最小，而且补偿了匹配对象在图像中的位移，这就是运动补偿。为了改善预测效果，可以采用场预测。由于在电视图像连续帧之间有较大程度的共同性，即时间冗余度，多数图像之间差值极小，尤其是在大多数时间传输小范围内的值时，采用运动补偿预测可使码率明显降低。在接收端的解码器中以同样的运动补偿预测重现预测值，重现预测值加上差值就得到像素的原幅值。图 19是基本MPEG视频编码器框图，图中虚线左边为运动补偿预测编码所需要的基本功能器件。其中固定存储器存储n-1帧的复原数据，将其与n帧数据一同送入运动补偿参数估值器，估值后就可以得到运动矢量的数据。用运动矢量数据和n-1帧的复原数据去控制用于块匹配的可变存储器，将n帧的当前像素值预测出来。这里，预测是按帧差仅有1帧进行的，实际上MPEG-1和MPEG-2可以当前帧之前若干帧的某一帧为基准进行预测。值就得到像素的原幅值。图 19是基本MPEG视频编码器框图，图中虚线左边为运动补偿预测编码所需要的基本功能器件。其中固定存储器存储n-1帧的复原数据，将其与n帧数据一同送入运动补偿参数估值器，估值后就可以得到运动矢量的数据。用运动矢量数据和n-1帧的复原数据去控制用于块匹配的可变存储器，将n帧的当前像素值预测出来。这里，预测是按帧差仅有1帧进行的，实际上MPEG-1和MPEG-2可以当前帧之前若干帧的某一帧为基准进行预测。
需要说明的是：MPEG定义了基于帧、基于场及双场的图像预测，也定义了16×8的运动补偿。
MPEG-2：有逐行扫描方式，可以采用基于帧的图像预测；有隔行扫描方式，也可以采用基于场的图像预测。因此，MPEG-2编码器要对每个图像先判断是帧模式压缩还是场模式压缩。在隔行扫描方式下：运动少的场景时，采用基于帧的图像预测，因为基于帧的图像两相邻行间几乎没有位移，帧内相邻行间相关性强于场内相关性，从整个帧中去除的空间冗余度比从个别场中去除得多；剧烈运动的场景时，采用基于场的图像预测，因为基于帧的相邻两行间存在1场延迟时间，相邻行像素间位移较大，帧内相邻行间相关性会有较大下降，基于场的图像两相邻行间相关性强于帧内相邻行间相关性，在1帧内，场间运动有很多高频分量，从场间去除的高频分量比从整个帧中去除的多。由上述可见，选择基于帧的图像预测还是基于场的图像预测的关键是行间相关性。所以，在进行DCT之前，要作帧DCT编码或场DCT编码的选择，对16×16 的原图像或亮度进行运动补偿后所获得的差值作帧内相邻行间和场内相邻行间相关系数的计算。若帧内相邻行间相关系数大于场内相邻行间相关系数，就选择帧DCT编码，反之选场DCT编码。帧DCT编码与场DCT编码如图20所示。（未完待续）