【H.264/AVC视频编解码技术详解】十二、解析H.264码流的宏块结构（上）

《H.264/AVC视频编解码技术详解》视频教程已经在“CSDN学院”上线，视频中详述了H.264的背景、标准协议和实现，并通过一个实战工程的形式对H.264的标准进行解析和实现，欢迎观看！

“纸上得来终觉浅，绝知此事要躬行”，只有自己按照标准文档以代码的形式操作一遍，才能对视频压缩编码标准的思想和方法有足够深刻的理解和体会！

链接地址：H.264/AVC视频编解码技术详解

GitHub代码地址：点击这里

H.264中Slice Body——宏块结构(Macroblock)的解析

1.Slice Data结构的定义

在已经实现了一个slice的header部分之后，下面的工作将是研究如何解析一个slice的主体，即Slice Body部分。一个Slice的body部分主要是一个个的宏块结构Macroblock组成，此外还存在一些辅助的信息。标准文档中规定的slice_data()结构如下图：

从文档中我们可以看出，Slice_data结构中独立的语法元素并不多，主要只有以下几个：

1. cabac_alignment_one_bit：表示如果码流启用了CABAC算法，那么码流在这里必须使用若干个比特1实现字节对齐。
2. mb_skip_run和mb_skip_flag：这两个语法元素都用于表示宏块结构是否可以被跳过。“跳过”的宏块指的是，在帧间预测的slice中，当图像区域平坦时，码流中跳过这个宏块的所有数据，不进行传输，只通过这两个语法元素进行标记。在解码端，跳过的宏块通过周围已经重建的宏块来进行恢复。mb_skip_run用于熵编码使用CAVLC时，用一个语法元素表示连续跳过的宏块的个数；mb_skip_flag用于熵编码使用CABAC时，表示每一个宏块是否被跳过。
3. mb_field_decoding_flag：标识位，用于在帧场自适应的码流中标识某个宏块是帧模式还是场模式。
4. end_of_slice_flag：在CABAC模式下的一个标识位，表示是否到了slice的末尾。

上述的几个语法元素毫无疑问仅仅占用了全部数据很少的一部分，其他大部分的数据都包含在宏块结构中，即上表中的**macroblock_layer()**结构。

2. 宏块(Macroblock)结构

从上表中我们可以看出，一个Slice结构中宏块实际上占据了绝大部分。在标准中一个宏块的结构定义为下表：

(1). mb_type:

在一个宏块中，最开始的语法元素为宏块的类型：mb_type。从表中我们可以看出，根据mb_type的值是否等于I_PCM，整个解析方法分为两大类：PCM类型和非PCM类型，判断依据是当mb_type为25时为I_PCM模式，否则为非I_PCM模式。

当这个宏块为I_PCM模式时，宏块中以差分编码的形式保存宏块原始的像素值。此时存在如下几个语法元素：

• pcm_alignment_zero_bit：填充位，用比特0来填充直到按字节对齐；
• pcm_sample_luma：256个亮度分量的差分像素值；
• pcm_sample_chroma：若干个色度分量的差分像素值，实际数量由码流的颜色格式指定。例如对于最常用的4:2:0格式的视频，共有128个色度像素值。

除了mb_type等于25时可以确定为I_PCM格式之外，其他的mb_type值可能根据帧类型（或slice类型）的不同而不同。比如对于I slice，mb_type的非PCM模式可以选择0~24这些值之一；对于P slice，mb_type只能取0~4这5个值；对于B slice，mb_type可以取0~22这些值之一。目前我们所处理的码流全部由I帧构成，因此我们暂时只考虑I slice的情况。下图是标准文档中规定的I slice的mb_type列表的一部分，完整列表在协议文档的表7-11中：

从上表中我们可以看出，mb_type不仅仅表示了宏块的分割方式，还包含了一些其他的附加信息，如帧内预测模式、亮度和色度分量的coded_block_pattern。当帧内预测使用16×16模式时，宏块整个宏块的预测信息相同，因此不需要为各个子宏块分别指定预测模式，这样可以有效减少消耗的码流。

(2). transform_size_8x8_flag

该语法元素为一个标识位，用于表示在环路滤波之前，预测残差的变换系数解码时依照的尺寸。当该标识位为1时，预测残差按照8×8像素块进行解码；当该标志位不存在或者为0时，预测残差按照4×4像素块进行解码。

(3). coded_block_pattern

coded_block_pattern语法元素常简称做cbp，用于表示当前宏块内的4个8×8子块编码对其中的哪个的残差系数进行编码。值得注意的是该语法元素仅仅在宏块为非I_16x16模式时才存在，因为在I_16x16模式时cbp的有关信息已经在mb_type中体现。

(4). mb_qp_delta

mb_qp_delta表示宏块层的量化参数偏移值，取值范围为[-26, 25]。我们在前面已经在PPS中获取了整个序列的量化参数初始值（由pic_init_qp_minus26计算），在slice header中获取slice层的量化参数偏移slice_qp_delta，因此每一个slice第一个宏块的量化参数可通过下面的公式计算：
$$Q{P}_0=pic\_init\_qp+26+slice\_qp\_delta+mb\_qp\_delta$$
从第二个宏块开始，每个宏块实际量化参数的计算方法为：
$$Q{P}_n=(Q{P}_m+mb\_qp\_delta+52)\%52$$