【H264/AVC 句法和语义详解】(三)：NALU详解二（EBSP、RBSP与SODB）

本篇隶属于文集：《H264/AVC 句法和语义详解》，查看文集全部文章，请点击文字链接。
想看最新文章，可以直接关注微信公众号：金架构

上一篇解析到，我们从h264裸流中，提取出一个个的NALU，并且解析出NALU的第一个字节：NALU Header。下面我们就从NALU Header的下一个字节开始，分析NALU剩余的数据部分，也即NALU的主体部分。

NALU的主体涉及到三个重要的名词，分别为EBSP、RBSP和SODB。其中EBSP完全等价于NALU主体，而且它们三个的结构关系为：

EBSP包含RBSP，RBSP包含SODB。

其中SODB就是最原始的编码数据。

1. EBSP和RBSP

上篇我们说，NALU的组成部分为：

NALU = NALU Header + RBSP

其实严格来说，这个等式是不成立的，因为RBSP并不等于NALU刨去NALU Header。严格来说，NALU的组成部分应为：

NALU = NALU Header + EBSP

其中的EBSP为扩展字节序列载荷（Encapsulated Byte Sequence Payload），而RBSP为原始字节序列载荷（Raw Byte Sequence Payload）。那为什么我们上篇中，没有使用2式而使用了1式呢？那是因为，在h264的文档中，并没有EBSP这一名词出现，但是在h264的官方参考软件JM里，却使用了EBSP。

而且在我们下面的分析中，我们会看到，使用EBSP是很易于理解的。

1.1 防止竞争

EBSP相较于RBSP，多了防止竞争的一个字节：0x03。

我们知道，NALU的起始码为0x000001或0x00000001，同时H264规定，当检测到0x000000时，也可以表示当前NALU的结束。那这样就会产生一个问题，就是如果在NALU的内部，出现了0x000001或0x000000时该怎么办？

所以H264就提出了“防止竞争”这样一种机制，当编码器编码完一个NAL时，应该检测NALU内部，是否出现如下左侧的四个序列。当检测到它们存在时，编码器就在最后一个字节前，插入一个新的字节：0x03。

【H264/AVC 句法和语义详解】(三)：NALU详解二（EBSP、RBSP与SODB）_第1张图片

防止竞争插入0x03

图中0x000000和0x000001前面介绍了，0x000002是作为保留使用，而0x000003，则是为了防止NALU内部，原本就有序列为0x000003这样的数据。

这样一来，当我们拿到EBSP时，就需要检测EBSP内是否有序列：0x000003，如果有，则去掉其中的0x03。这样一来，我们就能得到原始字节序列载荷：RBSP。

2. RBSP和SODB

得到RBSP之后，我们迫切想做的，就是从RBSP中，提取出原始编码数据SODB（String Of Data Bits）。这就涉及到RBSP与SODB的关系：

RBSP = SODB + RBSP尾部

而且RBSP的尾部，在规定中有两种，我们分别介绍。

2.1 RBSP尾部

其中大多数类型的NALU，使用这种尾部。

【H264/AVC 句法和语义详解】(三)：NALU详解二（EBSP、RBSP与SODB）_第2张图片

RBSP尾部语法（文档7.3.2.11）

其中：

rbsp_stop_one_bit 占1个比特位，值为1

rbsp_alignment_zero_bit 值为0，目的是为了进行字节对齐，占据若干比特位

所以RBSP就等于，SODB在它的最后一个字节的最后一个比特后，紧跟值为1的1个比特，然后增加若干比特的0，以补齐这个字节。

2.2 条带RBSP尾部

另一种尾部，就是当NALU类型为条带时，也即nal_unit_type等于1~5时，这时RBSP使用下面这种尾部：

【H264/AVC 句法和语义详解】(三)：NALU详解二（EBSP、RBSP与SODB）_第3张图片

条带RBSP尾部语法（7.3.2.10）

可以看到，rbsp_slice_trailing_bits()默认情况下，就是2.1介绍的第一种尾部。只是当entropy_coding_mode_flag值为1，也即当前采用的熵编码为CABAC，而且more_rbsp_trailing_data()返回为true，也即RBSP中有更多数据时，添加一个或多个0x0000。

所以我们拿到RBSP，只需要按照上述语法，去掉RBSP的尾部，就可以得到SODB。然后就可以对照对应类型的NALU的句法，解析出语法元素的值。

总结上篇和这篇，H264的码流结构如下：

【H264/AVC 句法和语义详解】(三)：NALU详解二（EBSP、RBSP与SODB）_第4张图片

H264码流结构

3. H264句法元素解析流程

而当我们拿到RBSP或SODB之后，就可以对照各类型的NALU，去解析它们的语法元素，进而再根据语法元素，重建图像。其中解析语法元素的框图如下：

【H264/AVC 句法和语义详解】(三)：NALU详解二（EBSP、RBSP与SODB）_第5张图片

解析NALU框图

由图可见，解析NALU的各个句法元素并不难，只要根据h264文档对应章节的句法，并配合相应的编解码算法解析即可。而相应的编解码算法如指数哥伦布编码、CAVLC、CABAC、算术编码，我们会一步步涉猎。