h264和h265视频流SDP描述详解
文章目录
-
1 SDP概述
-
2.SDP媒体描述极其扩展属性
-
2.1 m属性介绍
-
2.2 a=control附加属性介绍
-
2.3 a=rtpmap附加属性介绍
-
2.4 a=fmtp附加属性介绍
-
SDP（Session Description Protocol）会话描述协议，是一种用来描述信息格式的标准，它不是一种用于传输的协议而是由 ITEF 组织下的 MMusic 工作组设计的一种会话描述格式，其他的传输协议通过sdp来交换必要的信息,常用在实时音视频中用来交换信息;比如GB28181视频交互（SIP-INVITE)、RTSP（DESCRIBE)、WEBRTC等音视频交换协议中，用作描述音视频信息。
1 SDP概述
首先看一个海康摄像头，通过RTSP协议交换获得SDP信息，客户端发送DESCRIBE时的响应，如下：
RTSP/1.0 200 OK
CSeq: 3
Content-Type: application/sdp
Content-Base: rtsp://10.45.12.141/h264/ch1/main/av_stream/
Content-Length: 593
v=0
o=- 1658575881396804 1658575881396804 IN IP4 10.45.12.141
s=Media Presentation
e=NONE
b=AS:5050
t=0 0
a=control:rtsp://10.45.12.141/h264/ch1/main/av_stream/
m=video 0 RTP/AVP 96
c=IN IP4 0.0.0.0
b=AS:5000
a=recvonly
a=x-dimensions:1920,1080
a=control:rtsp://10.45.12.141/h264/ch1/main/av_stream/trackID=1
a=rtpmap:96 H264/90000
a=fmtp:96 profile-level-id=420029; packetization-mode=1; sprop-parameter-sets=Z00AKpY1QPAET8s3AQEBQAABwgAAV+QB,aO48gA==
a=Media_header:MEDIAINFO=494D4B48010300000400000100000000000000000000000000000000000000000000000000000000;
a=appversion:1.0
Content-Type: application/sdp标识RTSP响应携带的消息类型是SDP，下面对SDP消息体进行详细介绍
SDP协议包含会话层和媒层，具体字段释义如下表：
本文福利， 免费领取C++音视频学习资料包、技术视频，内容包括（音视频开发，面试题，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓
在视频流中，SDP的媒体描述层标识流媒体服务器流的属性，对于客户端拉流和解码有着重要的意义，媒体描述层属性如果出现错误，可能导致客户端无法解析，下面对SDP中m属性极其附加属性进行详细介绍。
2.SDP媒体描述极其扩展属性
SDP媒体描述极其扩展属性，在不同的协议中有定义有所不同，需要参照不同协议的协议规范来看，这里介绍的是比较通用的定义，以RTSP协议中SDP的媒体描述定义。媒体描述扩展属性中有关c、b等属性不在做介绍，主要介绍m极其扩展属性a=control\a=rtpmap\a=fmtp进行详细介绍。
2.1 m属性介绍
m属性的格式如下：
m=
实例如下：
m=video 0 RTP/AVP 96
每个字段代表的含义如下：
media：媒体类型，目前应用到的有video/audio/application等表示视频/音频/元数据等类型，根据不通协议规范，可扩展其他类型
port：流媒体服务器发送数据的传输端口号，表示服务器从本端口发送流，0表示随机端口发送，如果是RTSP协议，一般为0，后继协议SETUP时确定传输端口
proto：传输的协议类型， RTP/AVP表示支持UDP传输，RTP/AVP/TCP支持TCP传输，主流交互协议中，也用RTP/AVP表示既支持UDP又支持TCP
2.2 a=control附加属性介绍
在m属性之前，一般会有如下格式的扩展属性，例如
a=control:rtsp://10.45.12.141/h264/ch1/main/av_stream/
如果在m之前出现，则标识后面的多媒体流控制地址是由此rtsp://10.45.12.141/h264/ch1/main/av_stream/前缀的，如果前缀为*，则标识无前缀，这在SDP解析的时候可以作为查找依据。
SDP描述中可以包含多个流媒体描述，每个流媒体都是以m开头，到遇到下个m为止，媒体流选择是通过媒体描述的附加属性a=control:来区分，比如如下SDP信息
v=0
o=- 1387444157003239 1 IN IP4 10.45.149.105
s=LIVE555 Streaming Media v2013.07.03
i=000100
t=0 0
a=tool:LIVE555 Streaming Media v2013.07.03
a=type:broadcast
a=control:*
a=range:npt=0-
a=x-qt-text-nam:LIVE555 Streaming Media v2013.07.03
a=x-qt-text-inf:000100
m=video 0 RTP/AVP 96
c=IN IP4 0.0.0.0
b=AS:8000
a=rtpmap:96 H264/90000
a=control:track1
m=audio 0 RTP/AVP 0
c=IN IP4 0.0.0.0
b=AS:512
a=control:track2
a=rtpmap:0 PCMU/8000
a=recvonly
m=audio 0 RTP/AVP 0
c=IN IP4 0.0.0.0
b=AS:512
a=control:track3
a=rtpmap:0 PCMU/8000
a=sendonly
其中包含了三个流的描述，分别为视频、下行语音、上行语音组成，通过a=control:附加属性的值来区分，track1标识视频，track2表示下行预研、track3表示上行语音，在客户端建立连接阶段（RTSP-SETUP)根据自己的需求去建立连接并播放
2.3 a=rtpmap附加属性介绍
附加属性的格式如下：
a=rtpmap:
实例如下：
a=rtpmap:96 H264/90000
详解如下：
payloadtype:负载类型在多路复用技术中表示一个流通道，这里与媒体信息中的fmt对应
扩展描述媒体打包信息
encodingname：编码方式，表示流的编码方式，比如H264、H265等
clock rate：采样的时钟频率，这里视频流一般为90000，如果为RTP流，时钟频率将作为RTP帧间隔的衡量，例如帧间隔为40ms，则RTP包的时间戳间隔为（40/1000）*90000=3600
2.4 a=fmtp附加属性介绍
附件属性的格式，H264和H265有一定的区别，这里分开来说明，首先看下H264格式：
a=fmtp: profile-level-id=; packetization-mode=1;sprop-parameter-sets=xxx,xxx 实例如下：
a=fmtp:96 profile-level-id=420029; packetization-mode=1; sprop-parameter-sets=Z00AKpY1QPAET8s3AQEBQAABwgAAV+QB,aO48gA==
详解如下：
payload type：负载类型在多路复用技术中表示一个流通道，这里与媒体信息中的fmt对应
profile-level-id：为三个十六进制表示的字节，第一个字节表示profile_idc（编码规格），第二个字节表示profile-iop，第三个字节表示level_idc编码等级，profile_idc一般有三个取值0x42(66)-baseline profile,0x4D(77)-main profile,0x58(88)-extened profile;profile-iop, 0x64(100)-high profile;profile-iop每个字段对应一个含义，主要是区分是否严格按照编码规范，这里一般取00；第三个字节level_idc编码水平，其等于编码等级*10，上例中的编码等级为4.1
packetization-mode：表示封装方式，0或不存在时, 必须使用单一NALU 单元模式；1-必须使用非交错(non-interleaved)封包模式；2-必须使用交错(interleaved)封包模式，一般采用非交错模式
sprop-parameter-sets：sps,pps;SPS和PPS的数据的base64编码，序列参数集和图像参数NAL单元，采用 Base64 进行编码. 不同的参数集间用","号隔开
H265的fmtp格式不通通信协议中有很多方式，也有与h264统一的格式，即sprop-parameter-sets=VPS,SPS,PPS,这里介绍一种较为常用的格式，如下：
a=fmtp:96 sprop-vps=xxx;sprop-sps=xxx; sprop-pps=xxx
实例如下：
a=fmtp:96 sprop-vps=QAEMAf//AIAAAAMAAAMAAAMAAAMAALUCQA==;sprop-sps=QgEBAWAAAAMAsAAAAwAAAwB7oAPAgBDlja5JMvTcBAQEAg==; sprop-pps=RAHA8vA8kAA=
sprop-vps：VPS的base64编码
sprop-sps：SPS的base64编码
sprop-pps: PPS的base64编码
有关fmtp还可以自定义其他属性，类似方式a= fmtp:96 xxx=xxx;，具体扩展含义，可以自定义，只要客户端和服务器规定一致即可。
本文福利， 免费领取C++音视频学习资料包、技术视频，内容包括（音视频开发，面试题，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓