两种码流格式Annex-B, AVCC(H.264)与HVCC(H.265)详解

264标准与265标准都有两种码流格式，264标准为Annex-B和AVCC两种码流格式，265标准为Annex-B和HVCC标准

一  Annex-B码流格式
视频编码成的包叫做Network Abstraction Layer Units, 也简称为NALU、NAL，每个NALU包都可以被单独的解析和处理，每个NALU包的第一个字节包含了NALU类型，bit3-bit7包含的内容尤其重要(bit 0一定是off的，bit1-2指定了这个NALU是否被其他NALU引用)。NALU格式分为2类，VCL和non-VCL，总共有19种不同的NALU格式。一个单独的NALU包、或者甚至一个VCL NALU包都不意味着是一个独立的帧，一帧数据可以被分割成几个NALU，一个或多个NALU组成了一个Access Units(AU)，AU包含了一个完整的帧。把帧分割成几个独立的NALU需要耗费许多CPU资源，所以分割帧数据并不经常使用。
   1.1 NALU包起始码
一个NALU包中的数据并不包含它的大小(长度)信息,因此不能简单的连接NALU包来建立一个流，因为你不知道一个包从哪里结束，另一个包从哪里开始。Annex B格式用开始码来解决这个问题，即给每个NALU加上前缀码：2个或者3个0x00,后面再加一个0x01, 如：0x000001或者0x00000001。4字节类型的开始码在在连续的数据传输中非常有用，因为用字节来对齐、分割流数据，比如：用连续的31个bit0后接一个bit1来分割流数据，是很容易的。如果接下来的bit是0(因为每个NALU都以bit0开始)，那么这就是一个NALU包数据的起始位置了。4字节类型的开始码通常只用于标识流中的随机访问点，如SPS PPS AUD和IDR，然后其他地方都用3字节类型的开始码以减少数据量。
    1.2防竞争字节
开始码能起作用是因为3字节的序列0x000000,0x000001,0x000002和0x000003(应该是所有的0x0000**)在non-VCL(原文是non-RBSP,译者修改)NALU包中是非法的，所以在构建ANLU包时，必须确保排除这些数值序列，这是由向每个这种类型的序列插入防竞争字节0x03实现的，那么插入防竞争字节后，0x000001变成了0x00000301。当解码的时候，查找和去除防竞争字节非常重要。因为防竞争字节可能出现在NALU包的任意位置，在文档中通常更方便的做法是假定它们已经被去除了，Raw Byte Sequence Payload原始字节序列负载 (RBSP)表示没有防竞争字节的数据序列(包)。
   1.3  例子

 
0x0000 | 00 00 00 01 67 64 00 0A AC 72 84 44 26 84 00 00
0x0010 | 03 00 04 00 00 03 00 CA 3C 48 96 11 80 00 00 00
0x0020 | 01 68 E8 43 8F 13 21 30 00 00 01 65 88 81 00 05
0x0030 | 4E 7F 87 DF 61 A5 8B 95 EE A4 E9 38 B7 6A 30 6A
0x0040 | 71 B9 55 60 0B 76 2E B5 0E E4 80 59 27 B8 67 A9
0x0050 | 63 37 5E 82 20 55 FB E4 6A E9 37 35 72 E2 22 91
0x0060 | 9E 4D FF 60 86 CE 7E 42 B7 95 CE 2A E1 26 BE 87
0x0070 | 73 84 26 BA 16 36 F4 E6 9F 17 DA D8 64 75 54 B1
0x0080 | F3 45 0C 0B 3C 74 B3 9D BC EB 53 73 87 C3 0E 62
0x0090 | 47 48 62 CA 59 EB 86 3F 3A FA 86 B5 BF A8 6D 06
0x00A0 | 16 50 82 C4 CE 62 9E 4E E6 4C C7 30 3E DE A1 0B
0x00B0 | D8 83 0B B6 B8 28 BC A9 EB 77 43 FC 7A 17 94 85
0x00C0 | 21 CA 37 6B 30 95 B5 46 77 30 60 B7 12 D6 8C C5
0x00D0 | 54 85 29 D8 69 A9 6F 12 4E 71 DF E3 E2 B1 6B 6B
0x00E0 | BF 9F FB 2E 57 30 A9 69 76 C4 46 A2 DF FA 91 D9
0x00F0 | 50 74 55 1D 49 04 5A 1C D6 86 68 7C B6 61 48 6C
0x0100 | 96 E6 12 4C 27 AD BA C7 51 99 8E D0 F0 ED 8E F6
0x0110 | 65 79 79 A6 12 A1 95 DB C8 AE E3 B6 35 E6 8D BC
0x0120 | 48 A3 7F AF 4A 28 8A 53 E2 7E 68 08 9F 67 77 98
0x0130 | 52 DB 50 84 D6 5E 25 E1 4A 99 58 34 C7 11 D6 43
0x0140 | FF C4 FD 9A 44 16 D1 B2 FB 02 DB A1 89 69 34 C2
0x0150 | 32 55 98 F9 9B B2 31 3F 49 59 0C 06 8C DB A5 B2
0x0160 | 9D 7E 12 2F D0 87 94 44 E4 0A 76 EF 99 2D 91 18
0x0170 | 39 50 3B 29 3B F5 2C 97 73 48 91 83 B0 A6 F3 4B
0x0180 | 70 2F 1C 8F 3B 78 23 C6 AA 86 46 43 1D D7 2A 23
0x0190 | 5E 2C D9 48 0A F5 F5 2C D1 FB 3F F0 4B 78 37 E9
0x01A0 | 45 DD 72 CF 80 35 C3 95 07 F3 D9 06 E5 4A 58 76
0x01B0 | 03 6C 81 20 62 45 65 44 73 BC FE C1 9F 31 E5 DB
0x01C0 | 89 5C 6B 79 D8 68 90 D7 26 A8 A1 88 86 81 DC 9A
0x01D0 | 4F 40 A5 23 C7 DE BE 6F 76 AB 79 16 51 21 67 83
0x01E0 | 2E F3 D6 27 1A 42 C2 94 D1 5D 6C DB 4A 7A E2 CB
0x01F0 | 0B B0 68 0B BE 19 59 00 50 FC C0 BD 9D F5 F5 F8
0x0200 | A8 17 19 D6 B3 E9 74 BA 50 E5 2C 45 7B F9 93 EA
0x0210 | 5A F9 A9 30 B1 6F 5B 36 24 1E 8D 55 57 F4 CC 67
0x0220 | B2 65 6A A9 36 26 D0 06 B8 E2 E3 73 8B D1 C0 1C
0x0230 | 52 15 CA B5 AC 60 3E 36 42 F1 2C BD 99 77 AB A8
0x0240 | A9 A4 8E 9C 8B 84 DE 73 F0 91 29 97 AE DB AF D6
0x0250 | F8 5E 9B 86 B3 B3 03 B3 AC 75 6F A6 11 69 2F 3D
0x0260 | 3A CE FA 53 86 60 95 6C BB C5 4E F3
 
  
这是一个完整的访问单元（AU），包括3个NALU包，如你所见，数据序列以开始码开始，后面接了一个SPS（SPS 以0x67开始），在SPS中，你可以看到有2个防竞争字节。没有这些字节那么非法的数据序列就会出现在这些位置。然后可以看到一个开始码后面接着一个PPS（PPS 以0x68开始），然后是一个最后的开始码，后面跟着一个IDR包。这是一个完整的H.264流，如果你把这些数据以16进制的方式保存到一个以.264为后缀名的文件中，可以得到一幅图片。
 
  
00 00 00 01 67 42 00 28 E9 00 
 A0 0B 77 FE 00 02 00 03 C4 80 
 00 00 03 00 80 00 00 1A 4D 88 
 10 94 00 00 00 01 
 00 00 00 01为NALu头，‍其余码流由十六进制转为二进制 
 67 0110 0111 
 42 0100 0010 
 00 0000 0000 
 28 0010 1000 
 E9 1110 1001 
 00 0000 0000 
 A0 1010 0000 
 0B 0000 1011 
 77 0111 01/11 
 …… 
 94 1001 01//00 
 说明： 
 “/”后的码流要对照标准中AnnexE的句法表，是VUI（VideoUsabilityInformation?）的内容， 
 不懂，不写了，只写SPS部分先。 
 “//”后面两个0是补齐用的。 
 NAL层句法：码，值 
 forbidden_zero_bit(f(1))：0,0 
 nal_ref_idc(u(2))：11, 3 
 nal_unit_type(u(5))： 0 0111, 7, SPS 
 SPS序列参数集的句法：码，值 
 profile_idc(u(8)) = 0100 0010，66 ， baseline profile基础档次 
 constraint_set0_flag(u(1)):0，0 
 constraint_set1_flag(u(1)):0，0 
 constraint_set2_flag(u(1)):0，0 
 constraint_set3_flag(u(1)):0，0 
 reserved_zero_4bits(u(4)):0000，0 
 level_idc(u(8)) ：00101000，40 ，级别 
 seq_parameter_set_id(ue(v)): 1， 0 
 log2_max_frame_num_minus4(ue(v): 1， 0 
 MaxFrameNum = 2^(0+4) = 16 
 pic_order_cnt_type(ue(v)):1， 0 
 log2_max_pic_order_cnt_lsb_minus4(ue(v)):010 ，1 
 MaxPicOrderCntLsb = 2^(1+4) = 32 
 num_ref_frames(ue(v)):010， 1 
 gaps_in_frame_num_value_allowed_flag(u(1)):0，0 
 pic_width_in_mbs_minus1(ue(v)): 0000001010000， 2^6-1+16 = 79 
 PicWidthInMbs = pic_width_in_mbs_minus1 + 1 = 80 
 pic_height_in_map_units_minus1(ue(v)): 00000101101 ，2^5-1+13 = 44 
 PicHeightInMapUnits = pic_height_in_map_units_minus1 + 1 =45 
 frame_mbs_only_flag(u(1)):1，1 
 direct_8x8_inference_flag(u(1)): 1，1 
 frame_cropping_flag(u(1)):0，0 
 vui_parameters_present_flag(u(1)):1 ，1 
 这个参数为1，说明下面的句法存在 
 vui_parameters( ) 
 aspect_ratio_info_present_flag(u(1)):1
 
  
其中： 
 pic_width_in_mbs_minus1 : 79 
 pic_height_in_map_units_minus1 : 44 
 (79+1)x16=1280 
 (44+1)x16=720
 
  
   1.4  应用场合
       Annex B格式通常用于实时的流格式，比如说传输流，通过无线传输的广播、DVD等。在这些格式中通常会周期性的重复SPS和PPS包，经常是在每一个关键帧之前，因此据此建立解码器可以一个随机访问的点，这样就可以加入一个正在进行的流，及播放一个已经在传输的流。ts视频格式采用这种码流格式
 
  
 
 
  
二  AVCC码流格式
       另一个存储H.264流的方式是AVCC格式，在这种格式中，每一个NALU包都加上了一个指定其长度(NALU包大小)的前缀(in big endian format大端格式)，这种格式的包非常容易解析，但是这种格式去掉了Annex B格式中的字节对齐特性，而且前缀可以是1、2或4字节，这让AVCC格式变得更复杂了，指定前缀字节数(1、2或4字节)的值保存在一个头部对象中(流开始的部分)，这个头通常称为'extradata'或者'sequence header'。
    2.1  它的基本格式如下：
 
  
bits    
8   version ( always 0x01 )
8   avc profile ( sps[0][1] )
8   avc compatibility ( sps[0][2] )
8   avc level ( sps[0][3] )
6   reserved ( all bits on )
2   NALULengthSizeMinusOne// 表示NAL Size。是NAL Size-1。如果NAL Size为4字节，则该2位为11.
3   reserved ( all bits on )
5   number of SPS NALUs (usually 1)   repeated once per SPS:
16  SPS size    
N   variable   SPS NALU data
8   number of PPS NALUs (usually 1)   repeated once per PPS
16  PPS size   
N   variable PPS NALU data
 
  
第5字节的最后2位，表示的就是NAL size的字节数。在AVCC格式中，每个NAL前面都会有NAL size字段。NAL size可能是1字节、2字节或4字节（4字节较常见），解析extradata重要目的就是确认这个值。（而Annex-B格式，要split NAL，只要去探测0x000001就可以了） 。。extradata示例：
 
  
 
  
 
  
你会发现SPS和PPS被存储在了非NALU包中（out of band带外），即独立于基本流数据。这些数据的存储和传输是文件容器的任务，超出了本文的范畴。
 注意：虽然AVCC格式不使用起始码，防竞争字节还是有的。
 
  
    2.2  应用场景
      AVCC格式的一个优点是在开始配置解码器的时候可以跳到流的中间播放，这种格式通常用于可以被随机访问的多媒体数据，如存储在硬盘的文件。也因为这个特性，MP4、FLV、MKV通常用AVCC格式来存储。
 
  
三  HVCC码流
       HVCC码流格式与AVCC类似。
       extradata格式：
       
 
  
      extradata示例：
        
 
  
 

 --------------------- 
 作者：Chucky_Hu 
 来源：CSDN 
 原文：https://blog.csdn.net/romantic_energy/article/details/50508332 
 版权声明：本文为博主原创文章，转载请附上博文链接！