【H264/AVC 句法和语义详解】(八)：序列参数集SPS句法和语义

在本系列第一篇我们就知道，在h264码流的句法元素中，序列参数集SPS（seq_parameter_set）可由多个图像参数集PPS（pic_parameter_set）引用，然后PPS再由多个片引用。在形式上，SPS统领了一段视频序列的编码信息，如果SPS在传输中丢失或损坏，可以说这段视频序列，也就无法进行接下来的解码操作。

因此类型为SPS的NALU，在h264码流的众多NALU中，一般位于第一个。也即我们打开h264码流文件，读取到的第一个NALU的nal_unit_type 值为7。而根据h264协议文档7.4.1节可知，SPS的RBSP数据的元素构成，可参考seq_parameter_set_rbsp()部分，也即7.3.2.1节。

nal_unit_type = 7的NALU

1、SPS的句法结构

在7.3.2.1节规定的SPS的RBSP句法，我们可以按照RBSP的结构，简单直接的分为两大类：

其中的seq_parameter_set_ data()也即包含在RBSP中的SODB部分，rbsp_trailing_bits( ) 即RBSP尾部。这里我们的重点，当然是seq_parameter_set_ data()，rbsp_trailing_bits()在之前介绍过就不再赘述。

1.1 seq_parameter_set_ data()结构

所以接下来我们就来到7.3.2.1.1节，这里记录了seq_parameter_set_ data()的元素构成，第一次看一定都不清楚它们都是干什么用的，因此我们先将所有的句法元素做一个粗归类，以表明seq_parameter_set_ data()里面的句法元素都具备哪些功能。总结如下：

seq_parameter_set_ data() {
   // 1. 遵从的h264编码profile（即baseline、Main、Extended或其他罕见级别）
   // 2. sps_id（唯一标识这个sps）
   // 3. 几个罕见级别对应的句法元素
   // 4. 几个用来计算POC的句法元素
   // 5. 图像宽高
   // 6. 用于解码后图像剪裁的几个句法元素
   // 7. vui_parameters( ) (vui的参数)
}

由上可见，sps里面所含的句法元素，能干的事情是简单而清晰的。毕竟sps是属于统领视频序列的参数集，里面的句法元素的作用范围也比较宽泛。因此像标记这段视频序列的编码级别、计算图像宽高、解码后的图像剪裁、计算POC这些功能，针对点都在图像和视频序列级别上，这是理解sps的关键。

当然上述有些功能，单靠sps中的几个句法元素并不能完成，还需要结合pps以及片层的句法元素，才能实现，比如计算POC和计算图像的高度，这点我们讲到pps和slice时会详细分析。

下面我们将sps中的句法元素与上述功能对号入座：

seq_parameter_set_data( ) { 
    profile_idc   // 遵从的h264编码profile

/*  —————————— 编码级别的制约条件 Start  —————————— */
    constraint_set0_flag  
    constraint_set1_flag  
    constraint_set2_flag  
    constraint_set3_flag 
    constraint_set4_flag 
    constraint_set5_flag 
/*  —————————— 编码级别的制约条件 End  —————————— */

    reserved_zero_2bits 
    level_idc // 编码级别

   // 唯一标识这个sps，供pps引用使用
    seq_parameter_set_id 

/*  —————————— 几个罕见级别对应的句法元素 Start  —————————— */
    if( profile_idc = = 100 | | profile_idc = = 110 | | 
        profile_idc = = 122 | | profile_idc = = 244 | | profile_idc = = 44 | |
        profile_idc = = 83 | | profile_idc = = 86 | | profile_idc = = 118 | |
        profile_idc = = 128 | | profile_idc = = 138 | | profile_idc = = 139 | |
        profile_idc = = 134 ) {
        chroma_format_idc  
        if( chroma_format_idc = = 3 )
            separate_colour_plane_flag 
        bit_depth_luma_minus8 
        bit_depth_chroma_minus8 
        qpprime_y_zero_transform_bypass_flag 
        seq_scaling_matrix_present_flag 
        if( seq_scaling_matrix_present_flag )
            for( i = 0; i < ( ( chroma_format_idc != 3 ) ? 8 : 12 ); i++ ) {
                seq_scaling_list_present_flag[ i ]
                if( seq_scaling_list_present_flag[ i ] )
                if( i < 6 )
                    scaling_list( ScalingList4x4[ i ], 16,
                    UseDefaultScalingMatrix4x4Flag[ i ]) 
                else
                    scaling_list( ScalingList8x8[ i − 6 ], 64,
                    UseDefaultScalingMatrix8x8Flag[ i − 6 ] ) 
            }
    }
/*  —————————— 几个罕见级别对应的句法元素 End  —————————— */

/*  —————————— 用来计算POC的句法元素 Start  —————————— */
    log2_max_frame_num_minus4 
    pic_order_cnt_type 
    if( pic_order_cnt_type = = 0 )
        log2_max_pic_order_cnt_lsb_minus4 
    else if( pic_order_cnt_type = = 1 ) {
        delta_pic_order_always_zero_flag 
        offset_for_non_ref_pic 
        offset_for_top_to_bottom_field 
        num_ref_frames_in_pic_order_cnt_cycle 
        for( i = 0; i < num_ref_frames_in_pic_order_cnt_cycle; i++ )
            offset_for_ref_frame[ i ] 
    }
/*  —————————— 用来计算POC的句法元素 End  —————————— */

    max_num_ref_frames
    gaps_in_frame_num_value_allowed_flag 

/*  —————————— 图像宽高相关 Start  —————————— */
    pic_width_in_mbs_minus1 
    pic_height_in_map_units_minus1 
    frame_mbs_only_flag 
    if( !frame_mbs_only_flag )
        mb_adaptive_frame_field_flag 
/*  —————————— 图像宽高相关 End  —————————— */

    direct_8x8_inference_flag 

/*  —————————— 解码后图像剪裁的几个句法元素 Start  —————————— */
    frame_cropping_flag 
    if( frame_cropping_flag ) {
        frame_crop_left_offset
        frame_crop_right_offset 
        frame_crop_top_offset 
        frame_crop_bottom_offset 
    }
/* —————————— 解码后图像剪裁的几个句法元素 End  —————————— */

   // vui参数
    vui_parameters_present_flag
    if( vui_parameters_present_flag )
        vui_parameters( ) 
}

这样我们就对sps能干的事情，心里大概有了个底。有个别句法元素不属于上述大的功能，我们在下面统一详细介绍。

2、SPS语义

SPS的语义在h264协议文档的7.4.2.1节也有介绍，遇到任何不确定性问题请先参考文档，另外毕厚杰的sps语义一节有多处错误，不确定的还是请看文档。

详细如下：

seq_parameter_set_data( ) { 
   /*
   这段视频序列编码时遵从的编码级别，它的值在Annex A中给出。比 
   如baseline、Main、Extended三个profile对应的profile_idc 
   分别为：66、77、88
   */
    profile_idc

/*  —————————— 编码级别的制约条件 Start  —————————— */
   /*
   这个值用来约束h264比特流，是否必须遵从baseline级别的所有制 
   约条件。1表示必须遵从，0表示不必遵从所有条件。关于baseline 
   级别规定的制约条件，在h264文档的A.2.1节
   */
    constraint_set0_flag
   /*
   这个值用来约束h264比特流，是否必须遵从Main级别的所有制约条 
   件。1表示必须遵从，0表示不必遵从所有条件。关于Main级别规定的 
   制约条件，在h264文档的A.2.2节
   */
    constraint_set1_flag
   /*
   这个值用来约束h264比特流，是否必须遵从Extended级别的所有制 
   约条件。1表示必须遵从，0表示不必遵从所有条件。关于Extended级 
   别规定的制约条件，在h264文档的A.2.3节
   */
    constraint_set2_flag
   /* 
   需要注意的是，当constraint_set0_flag、 
   constraint_set1_flag、constraint_set2_flag中的一个或 
   多于一个等于1时，该比特流必须遵从A.2节下面的所有规定。而且当 
   profile_idc等于44、100、110、122或244时， 
   constraint_set0_flag、constraint_set1_flag 和 
   constraint_set2_flag都必须等于0 
   */

    constraint_set3_flag  // 一般用不到，详细可以参考h264文档
    constraint_set4_flag  // 一般用不到，详细可以参考h264文档
    constraint_set5_flag  // 一般用不到，详细可以参考h264文档
/* —————————— 编码级别的制约条件 End  —————————— */

    reserved_zero_2bits // 两个0比特的保留位，解码器会忽略reserved_zero_2bits的值

   /*
   综合profile_idc和level_idc，两个元素一起决定了编解码器的 
   级别。什么意思呢？简单来说，上面的profile_idc指定的是编码所 
   采用的方法，例如采用I、P条带还是I、P、B，是采用CAVLC还是采 
   用CABAC，是否采用加权预测，以及是否采用数据分割。而 
   level_idc，则是对编码的参数进行了限定。比如level_idc值越 
   大，最大宏块处理速率、最大帧长、最大解码图像缓存、最大视频比 
   特率、最大CPB大小，这些编码参数的取值范围也越大。
   */
    level_idc // 

   // 唯一标识这个sps，供pps引用使用
    seq_parameter_set_id 

/*  —————————— 几个罕见级别对应的句法元素 Start  —————————— */
    if( profile_idc = = 100 | | profile_idc = = 110 | | 
        profile_idc = = 122 | | profile_idc = = 244 | | profile_idc = = 44 | |
        profile_idc = = 83 | | profile_idc = = 86 | | profile_idc = = 118 | |
        profile_idc = = 128 | | profile_idc = = 138 | | profile_idc = = 139 | |
        profile_idc = = 134 ) {

       /*
       表示色度取样格式，取值范围0~3，0代表不对色度进行采样，也 
       即只采样亮度。1代表采样格式为：4：2：0，2代表：4：2： 
       2，3代表：4：4：4。当chroma_format_idc不存在时，默认 
       为1。详细见6.2节
       */
        chroma_format_idc
        if( chroma_format_idc = = 3 )
           /*
           当采样格式为4：4：4时，指定颜色分量Y、Cr、Cb的编码模 
           式。如果separate_colour_plane_flag为1，表示对三个分 
           量分别进行编码，也即将一幅彩色图像分成三个单色图像，单独 
           进行编码。如果separate_colour_plane_flag为0则不会分 
           别编码。如果separate_colour_plane_flag不存在，默认 
           为0。
           */
            separate_colour_plane_flag

       /*
       指亮度采样点的比特深度和亮度量化参数范围的取值偏移 
       QpBdOffsetY 。
       计算时, BitDepth(Y) = bit_depth_luma_minus8 + 8
       QpBdOffsetY = bit_depth_luma_minus8 * 6
       当bit_depth_luma_minus8不存在时，默认为0，它的取值范 
       围为0~4，即亮度的比特深度取值范围为：8~12
       */
        bit_depth_luma_minus8 

       /*
       指色度采样点的比特深度和色度量化参数范围的取值偏移 QpBdOffsetC 。
       计算时, BitDepth(C) = bit_depth_chroma_minus8 + 8
       QpBdOffsetC = bit_depth_chroma_minus8 * 6
       当bit_depth_chroma_minus8不存在时，默认为0，它的取值范围为 
       0~4，即亮度的比特深度取值范围为：8~12

       由BitDepth(Y)和BitDepth(C)可以进一步算出，16x16的宏块所需的比特数：
       RawMbBits = 256 * BitDepthY + 2 * MbWidthC * MbHeightC 
       * BitDepthC 
       */
        bit_depth_chroma_minus8 

        qpprime_y_zero_transform_bypass_flag  // 默认为0，暂时用不到，详细可以参考h264文档
        seq_scaling_matrix_present_flag // 等于1表示存在i=0..7或0..11的seq_scaling_list_present_flag[I]

        if( seq_scaling_matrix_present_flag )
            for( i = 0; i < ( ( chroma_format_idc != 3 ) ? 8 : 12 ); i++ ) {
                seq_scaling_list_present_flag[ i ] // 描述子为u(1)，顺序读取存入
                if( seq_scaling_list_present_flag[ i ] ) // 等于1表示sps中存在缩放比例列表I的语法结构
                if( i < 6 )
                    scaling_list( ScalingList4x4[ i ], 16,
                    UseDefaultScalingMatrix4x4Flag[ i ])  // 如果I小于6，则去解析scaling_list()这个语法元素结构，这里注意ScalingList4x4是个二维数组
                else
                    scaling_list( ScalingList8x8[ i − 6 ], 64,
                    UseDefaultScalingMatrix8x8Flag[ i − 6 ] ) // 如果I不小于6，则传入的是二维数组：ScalingList8x8
            }
    }
/*  —————————— 几个罕见级别对应的句法元素 End  —————————— */

/*  —————————— 用来计算POC的句法元素 Start  —————————— */

   /*
   1. 这个句法元素是为了读取另一个句法元素frame_num服务的，可 
   以说，frame_num是最重要的句法元素之一，我们在后面还会经常碰到 
   它，因为它标识了所属图像的解码顺序。所以它的第一个作用，就是 
   用来解析frame_num，frame_num是slice_header中的元素，我 
   们后面将会看到。frame_num的解析函数u(v)，里面的变量v就由这 
   个句法元素指定：v = log2_max_frame_num_minus4 + 4
   2. 同时这个句法元素本身，指定了frame_num的最大值： 
   MaxFrameNum = 2^(log2_max_frame_num_minus4+4)
   */
    log2_max_frame_num_minus4 

   /*
   H264定义了3中poc的编码方法，pic_order_cnt_type就是告诉解 
   码器该用哪种方法来计算poc，它的取值范围为：0~2
   由于计算poc，还需要结合slice_header中的句法元素，所以我们 
   在介绍到slice_header时，再详细介绍poc，包括它的算法
   */
    pic_order_cnt_type 
    if( pic_order_cnt_type = = 0 )
       /*
       指明mac_pic_order_cnt_lsb的值，即 
       mac_pic_order_cnt_lsb = 
       2^(log2_max_pic_order_cnt_lsb_minus4+4)
       */
        log2_max_pic_order_cnt_lsb_minus4
    else if( pic_order_cnt_type = = 1 ) {
       /*
       这个句法元素将结合slice_header中的其他句法元素，来决定 
       delta_pic_order_cnt[0]和delta_pic_order_cnt[1] 
       是否应该在slice_header中出现
       */
        delta_pic_order_always_zero_flag
        offset_for_non_ref_pic // 用于计算非参考图像的poc，它的取值范围为[-2^31, 2^31-1]
        offset_for_top_to_bottom_field // 用来计算图像帧中的底场的poc，它的取值范围为[-2^31, 2^31-1]
        num_ref_frames_in_pic_order_cnt_cycle // 用于poc的解码，它的取值范围为[0，255]
        for( i = 0; i < num_ref_frames_in_pic_order_cnt_cycle; i++ )
            offset_for_ref_frame[ i ]  // 当poc为1时，用于解码poc，它指定了参考帧I的偏移量，取值范围为：[-2^31, 2^31-1]
    }

/*  —————————— 用来计算POC的句法元素 End  —————————— */

   /*
   指明参考帧队列可能达到的最大长度
    gaps_in_frame_num_value_allowed_flag // 值为1时，表示 
   允许句法元素frame_num可以不连续，解码器如果检测到frame_num 
   不连续，这时解码器必须启动错误掩藏的机制来恢复这些图像，因为 
   这些图像有可能被后续图像作为参考帧。值为0时，表示不允许 
   frame_num不连续，即编码器任何情况下，都不能丢弃图像。
   */
    max_num_ref_frames

/*  —————————— 图像宽高相关 Start  —————————— */
    pic_width_in_mbs_minus1  // 指定以宏块为单位的图像宽度，即PicWidthInMbs = pic_width_in_mbs_minus1 + 1
   /*
   指定以映射单位为单位的图像高度，即PicHeightInMapUnits = 
   pic_height_in_map_units_minus1 + 1。注意这里得到的并不是图 
   像的高度，而是映射高度，因为我们不知道图像的编码模式是帧、场、还是 
   帧场自适应，所以无法计算。而图像的编码模式，需要结合slice_header 
   中的句法元素，才可以得知。所以我们会在后面介绍slice_header时，再 
   来计算图像高度，并且那时会再详细讨论帧、场和帧场自适应的区别。
   */
    pic_height_in_map_units_minus1
    frame_mbs_only_flag // 是否只含帧宏块，如果为1，说明这个视频序列只含帧宏块，也即所有图像的编码模式都为帧编码，如果为0，则编码模式不确定，需要结合slice_header中的句法元素来确定。
    if( !frame_mbs_only_flag )
        mb_adaptive_frame_field_flag // 指定是否本序列为宏块级的帧场自适应，同样是为了指定本序列图像的编码模式，到slice_header时再详细介绍
/*  —————————— 图像宽高相关 End  —————————— */

   /*
   用于指定B片的B_Skip、B_Direct_16x16 和 B_Direct_8x8模 
   式下，亮度运动矢量的计算过程。当frame_mbs_only_flag为0 
   时，direct_8x8_inference_flag应为1
   */
    direct_8x8_inference_flag

/*  —————————— 解码后图像剪裁的几个句法元素 Start  —————————— */
    frame_cropping_flag // 是否要将图像剪裁后输出，如果为1，则下面if判断中的四个句法元素，分别指定了左、右、上、下剪裁的宽度
    if( frame_cropping_flag ) {
        frame_crop_left_offset
        frame_crop_right_offset 
        frame_crop_top_offset 
        frame_crop_bottom_offset 
    }
/*  —————————— 解码后图像剪裁的几个句法元素 End  —————————— */

   // vui参数
    vui_parameters_present_flag // 是否显示vui_parameters()语法结构
    if( vui_parameters_present_flag )
        vui_parameters( ) // 去解析vui的语法结构，它定义在Annex E中，vui表征了额外的一些视频的可用性信息。
}