音视频学习笔记

音视频学习笔记 - RTP与RTCP

实时传输协议(RTP)详细说明了在互联网上传递音频和视频的标准数据包格式. 它一开始被设计为一个多播协议, 但后来被用在很多单播应用中. RTP协议常用于流媒体系统, 视频会议, 它是IP电话产业的技术基础. RTP协议和RTP控制协议RTCP一起使用, 而且它是创建在UDP协议上的.

RTP

报文结构

Screen Shot 2020-03-07 at 6.54.16 PM.png

一般情况下, 在实时互动直播系统传输音视频数据流时, 并不直接将音视频数据流交给UDP传输, 而是先给音视频数据加个RTP头, 然后再交给UDP进行传输.

字段含义

sequence number: 序号, 用于记录包的顺序.
timestamp: 时间戳, 同一个帧的不同分片的时间戳是相同的, 不同帧的时间戳肯定是不一样的.
PT: Payload Type, 数据负载类型. 音频流的PT值与视频流的PT值是不同的, 通过它就可以知道这个包存放的是什么类型的数据.
SSRC: 共享媒体流的源. 它是全局唯一的, 不同的SSRC表示不同的共享源.
CC: CSRC的个数.
CSRC: 共享源. 一般用在混音或混屏上. 如, 在一路音频流中混合了几个人的声音, 那么每个人的声音就是一个CSRC.
X: RTP扩展标记. 如果该位置是1, 说明此RTP包还有扩展头. 如果有扩展头, 它就被放在CSRC之后.
M: Mark位. 一般用于界定视频帧边界.
P: 填充位. 包的末尾包含了一个或多个填充字节.

示例:

...

{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:13,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:14,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:14,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:15,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:15,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:16,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:16,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:17,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:17,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:18,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:18,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:19,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:19,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:20,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=1,PT:98,seq:20,ts:1122334455,ssrc=2345},
...

PT=98表示视频数据, PT=111表示音频数据

RTCP

实时传输控制协议, 它为RTP媒体流提供信道外控制. RTCP本身并不传输数据, 但和RTP一起协作将多媒体数据打包和发送. RTCP定期在流多媒体会话参加者间传输控制数据. RTCP的主要功能是为RTP所提供的服务质量提供反馈.

RTCP收集相关媒体连接的统计信息, 如传输字节数, 传输分组数, 丢失分组数, 单向和双向网络延迟等等, 网络应用程序即可利用RTCP的统计信息来控制传输的品质, 如当网络带宽高负载时限制信息流量或改用压缩比较小的编解码器.

报文结构

Screen Shot 2020-03-07 at 7.39.15 PM.png

字段含义

V=2: 报文的版本, 默认是2.
P: 填充标识位, 如果该位置是1, 则在RTCP报文的最后会有填充字节.
RC: Report Count, 指RTCP报文中接收报告的报文块个数.
PT: Payload Type.
Length: 该长度包括RTCP头, 报文内容以及填充字节.
NTP timestamp: 每个发送报文的NTP时间戳.
RTP timestamp: RTP时间戳.
sender's packet count: 发送报文总数.
sender's octet count: 发送的总字节数.
SSRC_n: 数据源n.
fraction lost: 8 位, SSRC_n从上一次报告到本次报告的丢包比例.
cumulative number of packet lost: SSRC_1的总丢包数.
extended highest sequence number received: 低16位表示收到的最大seq, 高16位表示seq循环次数.
interarrival jitter: RTP包到达时间间隔的统计方差.
LSR: 最后一个SR的时间戳, 它是NTP时间戳中间的32位, 如果没有收到SR, 此字段位0.
DLSR: 32位, 延迟以1/65536秒为单位, 记录源SSRC_n接收SR的时间与发送SR的时间差.

RTCP PT类型

cd6ccdd0d30541d9b59fd5ff5d216178

f4aeb8f448798523960756678c35fbee

Header部分用于标识该报文的类型, 如是SR还是RR.
Sender info部分用于指明作为发送方, 到底发了多少包.
Report block部分指明发送方作为接收方时, 它从各个SSRC接收包的情况.

SR报文并不仅指发送方发了多少数据, 它还报告了作为接收方, 它接收到的数据情况. 当发送方收到对端的接收报告时, 它就可以根据接收报告来评估它与对端间的网络质量, 再根据网络质量做传输策略的调整.

音视频学习笔记 - RTP与RTCP