自行实现ONVIF协议网络摄像机(IPC)开发(7):RTP协议解析(H264码流)

一、RTP(实时传输协议)

   RTP全名是Real-time Transport Protocol(实时传输协议),它是IETF提出的一个标准,对应的RFC文档为RFC3550RFC1889为其过期版本),RFC3550不仅定义了RTP,而且定义了配套的相关协议RTSPRTP用来为IP网上的语音、图像、传真等多种需要实时传输的多媒体数据提供端到端的实时传输服务,RTPInternet上端到端的实时传输提供时间信息和流同步,但并不保证服务质量,服务质量由RTSP来提供,每一个RTP数据报都由头部(Header)和负载(Payload)两个部分组成,其中头部前12个字节的含义是固定的,而负载则可以是音频或者视频数据。

二、RTP Header解析

                       自行实现ONVIF协议网络摄像机(IPC)开发(7):RTP协议解析(H264码流)_第1张图片

1)        V:RTP协议的版本号,占2位,当前协议版本号为2

2)        P:填充标志,占1位,如果P=1,则在该报文的尾部填充一个或多个额外的八位组,它们不是有效载荷的一部分。

3)        X:扩展标志,占1位,如果X=1,则在RTP报头后跟有一个扩展报头

4)        CC:CSRC计数器,占4位,指示CSRC 标识符的个数

5)        M: 标记,占1位,不同的有效载荷有不同的含义,对于视频,标记一帧的结束;对于音频,标记会话的开始。

6)        PT: 有效荷载类型,占7位,用于说明RTP报文中有效载荷的类型,如GSM音频、JPEM图像等,在流媒体中大部分是用来区分音频流和视频流的,这样便于客户端进行解析,H264默认为96(0x60)

7)        序列号:占16位,用于标识发送者所发送的RTP报文的序列号,每发送一个报文,序列号增1。这个字段当下层的承载协议用UDP的时候,网络状况不好的时候可以用来检查丢包。同时出现网络抖动的情况可以用来对数据进行重新排序,序列号的初始值是随机的,同时音频包和视频包的sequence是分别记数的。

8)        时戳(Timestamp):占32位,必须使用90 kHz 时钟频率。时戳反映了该RTP报文的第一个八位组的采样时刻。接收者使用时戳来计算延迟和延迟抖动,并进行同步控制。

9)        同步信源(SSRC)标识符:占32位,用于标识同步信源。该标识符是随机选择的,参加同一视频会议的两个同步信源不能有相同的SSRC。

10)    特约信源(CSRC)标识符:每个CSRC标识符占32位,可以有0~15个。每个CSRC标识了包含在该RTP报文有效载荷中的所有特约信源。

注:基本的RTP说明并不定义任何头扩展本身,如果遇到X=1,需要特殊处理。

取一段RTSP数据:

                        自行实现ONVIF协议网络摄像机(IPC)开发(7):RTP协议解析(H264码流)_第2张图片

其中,

24  00         是包头标准

05 9a          是数据包长度

80               是V_P_X_CC

e0               是M_PT

df 6d           是SequenceNum

fc d5 78 ac  是Timestamp

68 53 df 62  是SSRC

把前两字节 80 e0 换成二进制如下

1000 0000 1110 0000

按顺序解释如下:

10               是V;

0                 是P;

0                 是X;

0000           是CC;

1                 是M;(结束帧)

110 0000    是PT;(0x60 H264)

三、RTP荷载H264码流

                            自行实现ONVIF协议网络摄像机(IPC)开发(7):RTP协议解析(H264码流)_第3张图片

荷载格式定义三个不同的基本荷载结构,接收者可以通过RTP荷载的第一个字节后5位Type识别荷载结构。

1)   单个NAL单元包:荷载中只包含一个NAL单元。NAL头类型域等于原始 NAL单元类型,即在范围1到23之间

2)   聚合包:本类型用于聚合多个NAL单元到单个RTP荷载中。本包有四种版本,单时间聚合包类型A (STAP-A),单时间聚合包类型B (STAP-B),多时间聚合包类型(MTAP)16位位移(MTAP16), 多时间聚合包类型(MTAP)24位位移(MTAP24)。赋予STAP-A, STAP-B, MTAP16, MTAP24的NAL单元类型号分别是 24,25, 26, 27

3)   分片单元:用于分片单个NAL单元到多个RTP包。现存两个版本FU-A,FU-B,用NAL单元类型 28,29标识

常用的打包时的分包规则是:如果小于MTU采用单个NAL单元包,如果大于MTU就采用FUs分片方式。

因为常用的打包方式就是单个NAL包和FU-A方式,所以我们只解析这两种。

3.1、单个NAL单元包

                          自行实现ONVIF协议网络摄像机(IPC)开发(7):RTP协议解析(H264码流)_第4张图片

    定义在此的NAL单元包必须只包含一个,这意味聚合包和分片单元不可以用在单个NAL 单元包中。并且RTP序号必须符合NAL单元的解码顺序。NAL单元的第一字节和RTP荷载头第一个字节重合,打包H264码流时,只需在帧前面加上16字节(包头4字节和12字节的RTP头)即可。

取一段RTSP的单个NAL单元包数据:

                            

前16字节是(包头4字节+RTP Header 12字节);

67    是NAL单元的第一字节

换成二进制位:1100111

1                           是F

10                         是NRI

0111                     是 Type,这里是7,即SPS

这里的type = 1 为  BP帧,5 为 I帧, 6 为 SEI ,7为SPS ,8为PPS;

3.2、分片单元(FU-A)

                         自行实现ONVIF协议网络摄像机(IPC)开发(7):RTP协议解析(H264码流)_第5张图片

    分片只定义于单个NAL单元不用于任何聚合包,NAL单元的一个分片由整数个连续NAL单元字节组成,每个NAL单元字节必须正好是该NAL单元一个分片的一部分,相同NAL单元的分片必须使用递增的RTP序号连续顺序发送(第一和最后分片之间没有其他的RTP包),相似,NAL单元必须按照RTP顺序号的顺序装配。

   当一个NAL单元被分片运送在分片单元(FUs)中时,被引用为分片NAL单元,STAPs,MTAPs不可以被分片,FUs不可以嵌套, 即一个FU 不可以包含另一个FU,运送FU的RTP时戳被设置成分片NAL单元的NALU时刻。

上图表示FU-A的RTP荷载格式,FU-A由1字节的分片单元指示(如下图1)、1字节的分片单元头(如下图2)和分片单元荷载组成。

       自行实现ONVIF协议网络摄像机(IPC)开发(7):RTP协议解析(H264码流)_第6张图片

S: 1 bit  当设置成1:开始位指示分片NAL单元的开始。当跟随的FU荷载不是分片NAL单元荷载的开始,开始位设为0。

E: 1 bit 当设置成1, 结束位指示分片NAL单元的结束,即, 荷载的最后字节也是分片NAL单元的最后一个字节。当跟随的 FU荷载不是分片NAL单元的最后分片,结束位设置为0。

R: 1 bit 保留位必须设置为0,接收者必须忽略该位

打包时,原始的NAL头的前三位为FU indicator的前三位,原始的NAL头的后五位为FU header的后五位

取一段RTSP的分片单元数据:

                         自行实现ONVIF协议网络摄像机(IPC)开发(7):RTP协议解析(H264码流)_第7张图片

前16字节是(包头4字节+RTP Header 12字节);

7c            是 FU indicator

85            是FU Header

FU indicator(0x7C)和FU Header(0x85)换成二进制如下

0111 1100              1000 0101

按顺序解析如下:

0                            是F

11                          是NRI

11100                    是FU Type,这里是28,即FU-A

1                            是S,Start,说明是分片的第一包

0                            是E,End,如果是分片的最后一包,设置为1,这里不是

0                            是R,Remain,保留位,总是0

00101                    是NAl Type,这里是5,说明是关键I帧, 1 为  BP帧,5 为 I帧, 6 为 SEI ,7为SPS ,8为PPS

打包时,FUindicator的F、NRI是NAL Header中的F、NRI,Type是28;FU Header的S、E、R分别按照分片起始位置设置,Type是NAL Header中的Type。

解包时,取FU indicator的前三位和FU Header的后五位,即0110 0101(0x65)为NAL类型

 

 

你可能感兴趣的:(IPC开发)