H.264中的NAL单元类型 nal_unit_type

nal_unit_type	NAL 单元和 RBSP 语法结构的内容
0	未指定
1	一个非IDR图像的编码条带 slice_layer_without_partitioning_rbsp( )
2	编码条带数据分割块A slice_data_partition_a_layer_rbsp( )
3	编码条带数据分割块B slice_data_partition_b_layer_rbsp( )
4	编码条带数据分割块C slice_data_partition_c_layer_rbsp( )
5	IDR图像的编码条带 slice_layer_without_partitioning_rbsp( )
6	辅助增强信息 (SEI) sei_rbsp( )
7	序列参数集 seq_parameter_set_rbsp( )
8	图像参数集 pic_parameter_set_rbsp( )
9	访问单元分隔符 access_unit_delimiter_rbsp( )
10	序列结尾 end_of_seq_rbsp( )
11	流结尾 end_of_stream_rbsp( )
12	填充数据 filler_data_rbsp( )
13	序列参数集扩展 seq_parameter_set_extension_rbsp( )
14...18	保留
19	未分割的辅助编码图像的编码条带 slice_layer_without_partitioning_rbsp( )
20...23	保留
24...31	未指定

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

________________________________________________________________________________________

下表是H.264標準中定義所有NAL的類型
#define NALU_TYPE_SLICE 1
#define NALU_TYPE_DPA 2
#define NALU_TYPE_DPB 3
#define NALU_TYPE_DPC 4
#define NALU_TYPE_IDR 5
#define NALU_TYPE_SEI 6
#define NALU_TYPE_SPS 7
#define NALU_TYPE_PPS 8
#define NALU_TYPE_AUD 9
#define NALU_TYPE_EOSEQ 10
#define NALU_TYPE_EOSTREAM 11
#define NALU_TYPE_FILL 12

因此當nal_unit_type值為7時，則這個NAL unit即為SPS。而值為8時，這個NAL unit為PPS。

________________________________________________________________________________________

nal_unit:
{
  forbidden_zero_bit      (1 bit)
  nal_ref_idc                   (2 bits)
  nal_unit_type               (5 bits)
  RBSP（Raw Byte Sequence Payloads）
}

舉例來說，若擷取某一段H.264 bitstream為00 00 00 01 67 42 e0 14 da 05 82 51。
因為67 = 0 11 00111，nal_unit_tye = 00111 = 7，所以這一段為SPS。
又另一例00 00 00 01 68 ce 30 c4 80 00 00 00 00 00 00 00
68 = 01000，nal_unit_tye = 01000 = 8，所以這一段為PPS。

forbidden_zero_bit==0
nal_ref_idc  :不等于0 时，规定NAL 单元的内容包含一个序列参数集，或一个图像参数集，或一个参考图像条带，或一个参考图像的条带数据分割。
nal_unit_type :是指包含在NAL 单元中的RBSP 数据结构的类型，VCL NAL 单元是指那些 nal_unit_type值等于1到5（包括1和5）的NAL单元。所有其他的NAL单元都称作非VCL NAL单元

当一个编码图像条带NAL 单元的nal_unit_type 值等于5 时，编码的同一图像其他所有的VCL NAL 单元的
nal_unit_type值都应该为5。这样的图像称作IDR图像。
注 :— 条带数据分割不可以用于IDR图像

如果一个包含一个条带或条带数据分割的NAL 单元的nal_ref_idc 等于0 时，该条带或条带数据分割是一个非参考图像的一部分。

对于序列参数集或序列参数集扩展或图像参数集的NAL单元，nal_ref_idc不应等于0。当一个特定的图像的一个条带或条带数据分割NAL单元的nal_ref_idc等于0，该图像的所有条带或条带数据划分NAL单元都应该等于0。

IDR NAL单元的nal_ref_idc不应等于0，即nal_unit_type等于5的NAL单元。
所有nal_unit_type等于6、9、10、11或12的NAL单元其nal_ref_idc都应等于0。

 ________________________________________________________________________________________

H.264的参数集又分为序列参数集（Sequence parameter set）和图像参数集（Picture parameter set）。

序列参数集包括一个图像序列的所有信息，即两个IDR图像间的所有图像信息。

图像参数集包括一个图像的所有分片的所有相关信息，包括图像类型、序列号等，解码时某些序列号的丢失可用来检验信息包的丢失与否。（图像参数集，作用于视频序列中的一个或多个个别的图像序列和图像参数集机制，减少了重复参数的传送，每个VCL NAL单元包含一个标识，指向有关的图像参数集，每个图像参数集包含一个标识，指向有关的序列参数集的内容因此，只用少数的指针信息，引用大量的参数，大大减少每个VCL NAL单元重复传送的信息。）

多个不同的序列和图像参数集存储在解码器中，编码器依据每个编码分片的头部的存储位置来选择适当的参数集，图像参数集本身也包括使用的序列参数集参考信息。  

参数集具体实现的方法也是多样化的：（1）通过带外传输，这种方式要求参数集通过可靠的协议，在首个片编码到达之前传输到解码器；（2）通过带内传输，这需要为参数集提供更高级别的保护，例如发送复制包来保证至少有一个到达目标；（3）在编码器和解码器采用硬件处理参数集。

序列参数集以及图像参数集要在解码前传输，在解码的过程中被激活。一旦被激活，则上一个序列参数集或者图象参数集就失效了。图象参数集是被使用它的slice data或者使用它的A分割的Nalu激活的。而序列参数集是被使用它的图象参数集或者包括缓冲期消息的SEI nalu所激活。同一个IDR图象的序列参数集有相同的seq_parameter_set_id，直到一个图象的最后一个access unit或者包括缓冲期消息的SEI Nalu，这时需要出现下一个图象的序列参数集。下一个图象的序列参数集被SEI nalu激活。如果序列参数集和图象参数集是通过其他传输管道发送的，则要保证以上的传输顺序。

存储单元：

一组指定格式的NAL单元称为存储单元，每个存储单元对应一个图像。每个存储单元包含一组VCL NAL单元，组成一个主编码图像，VCL NAL单元由表示视频图像采样的像条所组成。存储单元前面可以加一个前缀，分界存储单元，附加增强信息（SEI）（如图像定时信息）也可以放在主编码图像的前面。主编码图像后附加的VCL NAL单元，包含同一图像的冗余表示，称为冗余编码图像，当主编码图像数据丢失或损坏时，可用冗余编码图像解码。

编码视频序列

一个编码视频序列由一串连续的存储单元组成，使用同一序列参数集。每个视频序列可独立解码。编码序列的开始是即时刷新存储单元（IDR）。IDR是一个I帧图像，表示后面的图像不用参考以前的图像。一个NAL单元流可包含一个或更多的编码视频序列。