【H.264/AVC 句法和语义详解】(十一)：Slice_Header的句法和语义
前面我们根据SPS和PPS的句法和语义，已经能够解析出h264码流文件中的前两个NALU。现在我们就开始解析第三个NALU，它同码流中的后面几个NALU一样，它们的nal_unit_type不是等于5，就是等于1。
因此它们不是IDR的slice，就是非IDR的slice，总之后面的几个NALU，都代表了片层的数据。而它们的句法元素，都包含在slice_layer_without_partitioning_rbsp()中，由表7-1可以查到。
1、slice_layer()
在h264协议文档7.3.2.8节，我们可以看到slice_layer()的结构如下：
/*
7.3.2.8 Slice layer without partitioning RBSP syntax
*/
slice_layer_without_partitioning_rbsp( ) {
slice_header( )
slice_data( ) /* all categories of slice_data( ) syntax */
rbsp_slice_trailing_bits( )
}
它主要包含了slice_header()和slice_data()两部分，slice_header()保存了这个slice解码所需的一些全局性信息，slice_data()则真正保存了这个slice的宏块数据。
在解析完slice_header()之后，我们很多解码准备性的工作就可以开展了。比如激活这个slice所指向的PPS和SPS，确定编码的帧场模式，计算视频宽高，计算POC等。
因此我们接下来几篇的重点，就围绕这几个话题来开展。一旦这些准备性工作完成，我们就可以从slice_data()中解析宏块数据，然后就可以嗨皮的去解码了。
2、slice_header()句法结构
slice_header()的结构定义在7.3.3 Slice header syntax一节中，其中的句法元素所表达的功能，主要分为以下几点：
slice_header() {
// 1. 指定当前slice类型
// 2. 当前slice所引用的pps_id
// 3. 帧场编码模式
// 4. 用于计算POC的几个句法元素
// 5. B Slice和P Slice所需的参考图像列表和加权预测表
// 6. 量化初始值
// 7. SP和SI 条带相关的句法元素
// 8. 去块效应滤波器相关句法元素
// 9. FMO相关
}
联系上篇最简单的H264编解码器，可知其中5、7、9都是暂时不会涉及到的，剩下的几点功能中，1、2、3、4是马上就能用到的，而6、8要再后面一点才会涉及到。
因此在下面的语义解析中，我们要把精力先主要放在前四点中。为此我们先来浏览一下，这八点功能对应的句法元素的划分：
slice_header( ) {
first_mb_in_slice
// 1. 指定当前slice类型
slice_type
// 2. 当前slice所引用的pps_id
pic_parameter_set_id
if( separate_colour_plane_flag = = 1 )
colour_plane_id
/* —————————— 4. 用于计算POC的几个句法元素 Start —————————— */
frame_num
/* —————————— 3. 帧场编码模式 Start —————————— */
if( !frame_mbs_only_flag ) {
field_pic_flag
if( field_pic_flag )
bottom_field_flag
}
/* —————————— 3. 帧场编码模式 End —————————— */
if( IdrPicFlag )
idr_pic_id
if( pic_order_cnt_type = = 0 ) {
pic_order_cnt_lsb
if( bottom_field_pic_order_in_frame_present_flag && !field_pic_flag )
delta_pic_order_cnt_bottom
}
if( pic_order_cnt_type = = 1 && !delta_pic_order_always_zero_flag ) {
delta_pic_order_cnt[ 0 ]
if( bottom_field_pic_order_in_frame_present_flag && !field_pic_flag )
delta_pic_order_cnt[ 1 ]
}
/* —————————— 4. 用于计算POC的几个句法元素 End —————————— */
if( redundant_pic_cnt_present_flag )
redundant_pic_cnt
if( slice_type = = B )
direct_spatial_mv_pred_flag
/* ———— 5. B Slice和P Slice所需的参考图像列表和加权预测表 Start ————— */
if(slice_type == P || slice_type == SP || slice_type == B){
num_ref_idx_active_override_flag
if( num_ref_idx_active_override_flag ) {
num_ref_idx_l0_active_minus1
if( slice_type = = B )
num_ref_idx_l1_active_minus1
}
}
if( nal_unit_type = = 20 | | nal_unit_type = = 21 )
ref_pic_list_mvc_modification( ) /* specified in Annex H */
else
ref_pic_list_modification( )
if( ( weighted_pred_flag && ( slice_type = = P | | slice_type = = SP ) ) | |
( weighted_bipred_idc = = 1 && slice_type = = B ) )
pred_weight_table( )
if( nal_ref_idc != 0 )
dec_ref_pic_marking( )
/* ———— 5. B Slice和P Slice所需的参考图像列表和加权预测表 End ————— */
if( entropy_coding_mode_flag && slice_type != I && slice_type != SI )
cabac_init_idc
// 6. 量化初始值
slice_qp_delta
// 7. SP和SI 条带相关的句法元素
if(slice_type == SP || slice_type == SI){
if( slice_type = = SP )
sp_for_switch_flag
slice_qs_delta
}
// 8. 去块效应滤波器相关句法元素
if( deblocking_filter_control_present_flag ) {
disable_deblocking_filter_idc
if( disable_deblocking_filter_idc != 1 ) {
slice_alpha_c0_offset_div2
slice_beta_offset_div2
}
}
// 9. FMO相关
if( num_slice_groups_minus1 > 0 &&
slice_group_map_type >= 3 && slice_group_map_type <= 5)
slice_group_change_cycle
}
其中第5点，B片、P片的参考图像列表和加权预测表，使用了额外的三个语法结构。
3、slice_header()语义
slice_header()的语义在h264协议文档的7.4.3节介绍，这里详细解释如下：
slice_header( ) {
/*
表示在Slice中第一个宏块的地址，在目前我们不使用FMO时，一幅图像只有一个Slice，因此这个值通常为0。
要注意的是，first_mb_in_slice并不是直接表示为第一个宏块的
地址的，具体如下：
当MbaffFrameFlag为0时，first_mb_in_slice就是该Slice中
第一个宏块的地址，并且first_mb_in_slice的取值范围为[0, PicSizeInMbs-1]
否则（MbaffFrameFlag为1时），first_mb_in_slice表示的是
Slice中的第几个宏块对，因此第一个宏块的地址为first_mb_in_slice * 2，
并且此时first_mb_in_slice的取值范围为[0, PicSizeInMbs/2-1]
其中判断的依据MbaffFrameFlag，表示是否为宏块级的帧场自适应，它的值需要经另外两个句法元素推算得来。
*/
first_mb_in_slice
// 1. 指定当前slice类型
/*
表示当前Slice的编码类型，它的取值范围为[0, 9]，可参见表7-6
我们已经知道Slice的类型总共只有五种，因此slice_type值为0~4
时，依次表示当前Slice为P、B、I、SP、SI, 而slice_type值为
5~9时，依然顺序表示这五种slice类型。因此在解码器中，如果
slice_type大于4，则做减5处理。
*/
slice_type
// 2. 当前slice所引用的pps_id
/*
表示当前Slice引用的PPS的pps_id，同PPS语义一篇一样，它的取值范围为[0, 255]
*/
pic_parameter_set_id
if( separate_colour_plane_flag = = 1 )
/*
这一句法元素需要结合SPS中的separate_colour_plane_flag的语义来理解，
separate_colour_plane_flag等于1表示三个颜色分量Y、Cb、Cr分别进行编码，
而colour_plane_id就表示当前Slice是对哪一个颜色分量进
行编码的。
因此colour_plane_id的取值范围为[0, 2]，0、1、2分别表示Y、Cb、Cr。
*/
colour_plane_id
/* —————————— 4. 用于计算POC的几个句法元素 Start —————————— */
/*
表示一个图像的标识符，在后面我们会单开几篇，用于讲解POC的计
算，
那时会对这个句法元素有非常深刻的理解。此时我们只需知道，
它的最大值是由SPS中的log2_max_frame_num_minus4决定，
并且frame_num的解析方式为u(v)，其中的v即是指(log2_max_frame_num_minus4 + 4)
*/
frame_num
/* —————————— 3. 帧场编码模式 Start —————————— */
/*
以下两个句法元素field_pic_flag和bottom_field_flag，
和SPS中的frame_mbs_only_flag、
mb_adaptive_frame_field_flag一起，决定了当前Slice的编码模式。
而所谓编码模式，即指当前Slice用的是帧编码、还是场编码，如果是场编码，
那么当前Slice位于顶场，还是底场。关于这点，我们会单开一小篇来介绍。
在编码模式确定后，视频的宽高、当前图像（当前图像可能是帧、可能是场）的宽高，就可以计算出来了。
*/
if( !frame_mbs_only_flag ) {
field_pic_flag
if( field_pic_flag )
bottom_field_flag
}
/* —————————— 3. 帧场编码模式 End —————————— */
if( IdrPicFlag )
/*
IDR图像的标识，意思是只有作为IDR图像的I帧才有这个句法元素，
并且不同的IDR图像有不同的idr_pic_id值，如果编码模式为场模式，那么IDR帧的两个场的idr_pic_id值相同。
idr_pic_id的取值范围为[0, 65535]，如果它的值超出65535，它会以循环的方式重新开始计数。
*/
idr_pic_id
if( pic_order_cnt_type = = 0 ) {
/*
在poc_type为0时，用于计算poc。它的值为编码帧的顶场，或
一个编码场的poc值对MaxPicOrderCntLsb取模得出，因此它直接传递了POC的值。
pic_order_cnt_lsb的解析方式为u(v)，其中的v即为SPS中的（log2_max_pic_order_cnt_lsb_minus4 + 4）
而pic_order_cnt_lsb的取值范围为：[0, MaxPicOrderCntLsb-1]
*/
pic_order_cnt_lsb
if( bottom_field_pic_order_in_frame_present_flag && !field_pic_flag )
/*
表示一个编码帧的底场和顶场之间的poc的差值，它的取值范围为：
如果当前图像包含一个等于5的memory_management_control_operation，
那么它的取值范围为：[1 – MaxPicOrderCntLsb, 2^31 – 1]
否则它的取值范围为：[-2^31, 2^31 - 1]
当此句法元素不存在时，默认为0
*/
delta_pic_order_cnt_bottom
}
if( pic_order_cnt_type = = 1 && !delta_pic_order_always_zero_flag ) {
/*
表示POC值与经计算得出的，编码帧的顶场或编码场的，预期POC值之间的差值，
它的取值范围为[-2^31, 2^31 - 1]，当此句法元素不存在时，默认为0
*/
delta_pic_order_cnt[ 0 ]
if( bottom_field_pic_order_in_frame_present_flag && !field_pic_flag )
/*
与delta_pic_order_cnt[ 0 ]类似，只不过delta_pic_order_cnt[ 1 ]表示的是POC值与
经计算得出的，编码帧的底场的，预期POC值之间的差值，它的取值范围同样为[-2^31, 2^31 - 1]，
当此句法元素不存在时，默认为0
*/
delta_pic_order_cnt[ 1 ]
}
/* —————————— 4. 用于计算POC的几个句法元素 End —————————— */
if( redundant_pic_cnt_present_flag )
// 冗余片的id号，取值范围为[0, 127]
redundant_pic_cnt
if( slice_type = = B )
// 表示在B片下，决定为得到帧间预测的运动矢量和参考序号而使用的方法，当然暂时也用不到
direct_spatial_mv_pred_flag
/* ———— 5. B Slice和P Slice所需的参考图像列表和加权预测表 Start ————— */
if(slice_type == P || slice_type == SP || slice_type == B){
/*
此句法元素用于控制，num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1是否要覆盖在PPS中的默认值：
num_ref_idx_l0_default_active_minus1和num_ref_idx_l1_default_active_minus1。
因此如果num_ref_idx_active_override_flag为1，则覆盖，
否则则使用num_ref_idx_l0_default_active_minus1和num_ref_idx_l1_default_active_minus1
在以下两种情况下，num_ref_idx_active_override_flag的值为1
当当前Slice为P、SP或B Slice，且field_pic_flag等于0，
且num_ref_idx_l0_default_active_minus1的值大于15时，num_ref_idx_active_override_flag的值将为1
当当前Slice为B Slice，且field_pic_flag等于0，且
num_ref_idx_l1_default_active_minus1的值大于15时，num_ref_idx_active_override_flag的值将为1
*/
num_ref_idx_active_override_flag
if( num_ref_idx_active_override_flag ) {
/*
表示用于解码该Slice的参考图像列表 0 的最大参考序号。
它的取值范围为：如果field_pic_flag等于0，取值范围为：[0, 15]，否则为[0, 31]
*/
num_ref_idx_l0_active_minus1
if( slice_type = = B )
// 与num_ref_idx_l0_active_minus1语义一致，只不过表示的是参考图像列表1
num_ref_idx_l1_active_minus1
}
}
if( nal_unit_type = = 20 | | nal_unit_type = = 21 )
// 一般用不到
ref_pic_list_mvc_modification( ) /* specified in Annex H */
else
/*
用于在编解码端维护参考图像列表时，
指定是否要对参考图像列表进行重排序操作，
这需要我们使用到B Slice或P Slice时，
用到帧间预测时才会出现，因此暂时可以忽略
*/
ref_pic_list_modification( )
if( ( weighted_pred_flag && ( slice_type = = P | | slice_type = = SP ) ) | |
( weighted_bipred_idc = = 1 && slice_type = = B ) )
/*
加权预测表，当使用到加权预测，并且用到P、SP、B 条带时才会用到，暂时可以忽略
*/
pred_weight_table( )
if( nal_ref_idc != 0 )
/*
解码参考图像标记，同重排序操作一样，它同样用于维护参考图
像列表，主要功能为将参考图像移入或移出参考图像列表
*/
dec_ref_pic_marking( )
/* ———— 5. B Slice和P Slice所需的参考图像列表和加权预测表 End ————— */
if( entropy_coding_mode_flag && slice_type != I && slice_type != SI )
/*
CABAC中用于决定关联变量的初始化过程中使用的初始化表格的序号，取值范围[0, 2]。
当然暂时也用不到，由上篇【最简单的h264编解码器】可知，只有在main级别时才可能用到
*/
cabac_init_idc
// 6. 量化初始值
/*
这个值在不久的将来会用到，结合PPS中的
pic_init_qp_minus26，表示该Slice内所有宏块的初始量化值：
SliceQP(Y) = 26 + pic_init_qp_minus26 + slice_qp_delta
要注意的是，在宏块层会进一步有句法元素mb_qp_delta，对这个初始值进行修改
*/
slice_qp_delta
// 7. SP和SI 条带相关的句法元素
if(slice_type == SP || slice_type == SI){
if( slice_type = = SP )
// 用于解码SP Slice中P宏块的解码过程，当然暂时用不到
sp_for_switch_flag
/*
与slice_qp_delta类似，只不过用于SP和SI Slice，因此QS(Y)量化参数为：
QS(Y) = 26 + pic_init_qs_minus26 + slice_qs_delta
QS(Y)取值范围为[0, 51]
*/
slice_qs_delta
}
// 8. 去块效应滤波器相关句法元素
// 去块滤波器相关，暂时也不会用到
if( deblocking_filter_control_present_flag ) {
disable_deblocking_filter_idc
if( disable_deblocking_filter_idc != 1 ) {
slice_alpha_c0_offset_div2
slice_beta_offset_div2
}
}
// 9. FMO相关
if( num_slice_groups_minus1 > 0 &&
slice_group_map_type >= 3 && slice_group_map_type <= 5)
/*
slice_group_map_type为3、4、5时才会用到，因此暂时可
以忽略，不过它的解析方式有点特别，这点我们接下来会在【解
析器】中解析Slice_Header()句法元素时看到
*/
slice_group_change_cycle
}