RTP封装h264

网络抽象层单元类型 (NALU):

NALU头由一个字节组成,它的语法如下:

Paste_Image.png

F: 1个比特. forbidden_zero_bit. 在 H.264 规范中规定了这一位必须为 0.
NRI: 2个比特. nal_ref_idc. 取00~11,似乎指示这个NALU的重要性,如00的NALU解码器可以丢弃它而不影响图像的回放.
Type: 5个比特. nal_unit_type. 这个NALU单元的类型.简述如下:

Paste_Image.png

h264仅用1-23,24以后的用在RTP H264负载类型头中

---

不同类型的NALU的重要性指示如下表所示：

Paste_Image.png

RTP 头的结构:

Paste_Image.png

V: RTP协议的版本号，占2bits，当前协议版本号为2
P: 填充标志，占1bit，如果P=1，则在该报文的尾部填充一个或多个额外的八位组，它们不是有效载荷的一部分。
X: 扩展标志，占1bit，如果X=1，则在RTP报头后跟有一个扩展报头
CC: CSRC计数器，占4位，指示CSRC 标识符的个数
M: 1bit，标记解释由设置定义，目的在于允许重要事件在包流中标记出来。如不同的有效载荷有不同的含义，对于视频，标记一帧的结束；对于音频，标记会话的开始。
负载类型 Payload type(PT): 7bits
注：rfc里面对一些早期的格式定义了这个payload type。但是后来的，如h264并没有分配，那就用96来代替。因此现在96以上都不表示特定的格式，具体表示什么要用sdp或者其他协议来协商。
序列号 Sequence number(SN): 16bits，用于标识发送者所发送的RTP报文的序列号，每发送一个报文，序列号增1，序列号的初始值是随机产生的。可以用于检查丢包以及进行数据包排序。
时间戳 Timestamp: 32bits，必须使用90kHz时钟频率。
同步信源(SSRC)标识符: 32bits，用于标识同步信源。该标识符是随机随机产生的，参加同一视频会议的两个同步信源不能有相同的SSRC。
特约信源(CSRC)标识符: 每个CSRC标识符占32bits，可以有0～15个。每个CSRC标识了包含在该RTP报文有效载荷中的所有特约信源。

上面介绍了NALU和RTP header的基本结构，下面介绍的全部都是RTP PayLoad的部分
Rtp负载第一个字节的结构如下,它和H.264的NALU头结构一致，可以把它认为是RTP h264负载类型字节，完全是多增加的一个字节，不影响后面的NALU结构

Paste_Image.png

封包介绍：

单一NAL单元模式

对于 NALU 的长度小于 MTU 大小的包, 一般采用单一 NAL 单元模式. 对于一个原始的 H.264 NALU 单元常由 [Start Code] [NALU Header] [NALU Payload] 三部分组成, 其中 Start Code 用于标示这是一个
NALU 单元的开始, 必须是 "00 00 00 01" 或 "00 00 01", NALU 头仅一个字节, 其后都是 NALU 单元内容. 打包时去除 "00 00 01" 或 "00 00 00 01" 的开始码, 把其他数据封包的 RTP 包即可.

Paste_Image.png

例： 如有一个 H.264 的 NALU 是这样的:
[00 00 00 01 67 42 A0 1E 23 56 0E 2F ... ]
这是一个序列参数集 NAL 单元. [00 00 00 01] 是四个字节的开始码, 67 是 NALU 头, 42 开始的数据是 NALU 内容.
封装成 RTP 包将如下:
[ RTP Header ] [ 67 42 A0 1E 23 56 0E 2F ]
即只要去掉 4 个字节的开始码就可以了.

组合封包模式

其次, 当 NALU 的长度特别小时, 可以把几个 NALU 单元封在一个 RTP 包中.

Paste_Image.png

这里只介绍STAP-A模式，如果是STAP-B的话会多加入一个DON域，另外还有MTAP16、MTAP24，具体不介绍，可以看rfc文档，文章尾贴一个链接可以去看。
转载的话注明一下作者：jwybobo2007 出处： http://blog.csdn.net/jwybobo2007/article/details/7054140
例：

---

如有一个 H.264 的 NALU 是这样的:
[00 00 00 01 67 42 A0 1E 23 56 0E 2F ... ]
[00 00 00 01 68 42 B0 12 58 6A D4 FF ... ]
封装成 RTP 包将如下:
[ RTP Header ] [78 (STAP-A头，占用1个字节)] [第一个NALU长度 (占用两个字节)] [ 67 42 A0 1E 23 56 0E 2F ] [第二个NALU长度 (占用两个字节)] [68 42 B0 12 58 6A D4 FF ... ]

FU-A

当NALU的长度超过MTU时,就必须对NALU单元进行分片封包.也称为Fragmentation Units(FUs)。
本荷载类型允许分片一个NAL单元到几个RTP包中。下图 表示FU-A的RTP荷载格式。FU-A由1字节的分片单元指示，1字节的分片单元头，和分片单元荷载组成。

FU指示字节有以下格式：

FU指示字节的类型域的28，29表示FU-A和FU-B。F的使用在5。3描述。NRI域的值必须根据分片NAL单元的NRI域的值设置。

注意：这是第一个字节FU indicator，NRI为 帧重要程度 00 可以丢 ，11不能丢。F一般设置0。这一个字节用来表示当前包为分片FU-A包。

FU头的格式如下：

S: 1 bit
当设置成1,开始位指示分片NAL单元的开始。当跟随的FU荷载不是分片NAL单元荷载的开始，开始位设为0。
E: 1 bit
当设置成1, 结束位指示分片NAL单元的结束，即, 荷载的最后字节也是分片NAL单元的最后一个字节。当跟随的
FU荷载不是分片NAL单元的最后分片,结束位设置为0。
R: 1 bit
保留位必须设置为0，接收者必须忽略该位。
Type: 5 bits
NAL单元荷载类型定义在[1]的表7-1.

注意：这是第二个字节，用来表示开始结束和NAL帧的类型。

示例代码：

if (iLen > iSize) { //超过MTU
        const unsigned char s_e_r_Start = 0x80;
        const unsigned char s_e_r_Mid = 0x00;
        const unsigned char s_e_r_End = 0x40;
        //获取帧头数据，1byte
        unsigned char naluType = *((unsigned char *) pcData) & 0x1f; //获取NALU的5bit 帧类型

        unsigned char nal_ref_idc = *((unsigned char *) pcData) & 0x60; //获取NALU的2bit 帧重要程度 00 可以丢 11不能丢
        //nal_ref_idc = 0x60;
        //组装FU-A帧头数据 2byte
        unsigned char f_nri_type = nal_ref_idc + 28;//F为0 1bit,nri上面获取到2bit,28为FU-A分片类型5bit
        unsigned char s_e_r_type = naluType;
        bool bFirst = true;
        bool mark = false;
        int nOffset = 1;
        while (!mark) {
            if (iLen < nOffset + iSize) {           //是否拆分结束
                iSize = iLen - nOffset;
                mark = true;
                s_e_r_type = s_e_r_End + naluType;
            } else {
                if (bFirst == true) {
                    s_e_r_type = s_e_r_Start + naluType;
                    bFirst = false;
                } else {
                    s_e_r_type = s_e_r_Mid + naluType;
                }
            }
            memcpy(aucSectionBuf, &f_nri_type, 1);
            memcpy(aucSectionBuf + 1, &s_e_r_type, 1);
            memcpy(aucSectionBuf + 2, (unsigned char *) pcData + nOffset, iSize);
            nOffset += iSize;
            makeH264Rtp(aucSectionBuf, iSize + 2, mark, uiStamp);
        }
    } else {
        makeH264Rtp(pcData, iLen, true, uiStamp);
    }