H265码流RTP封装方式详解

文章目录

  • 1 H265编码方式介绍

  • 2 H265码流RTP封装方式

    • 2.1 单一帧封装模式

    • 2.2 组合帧封装方式

    • 2.3 分片封装模式

    • 2.4 代码片段解析

H265码流RTP封装方式详解

近年来,H265作为新的视频编码标准,应用越来越广发,相较于H264,其在高压缩率、高鲁棒性和错误恢复能力、低延时等方面有很更好的表现,因此H265(HEVC)也在越来越多的场景下逐步替代H264。

1 H265编码方式介绍

有关H265编码知识不做详细描述,这里主要介绍和RTP相关的知识,主要指NALU头部解析及类型介绍。

H265NALU头部格式如下:

H265码流RTP封装方式详解_第1张图片

​与h264的nal层相比,h265的nal unit header有两个字节构成,从图中可以看出hHEVC的nal包结构与h264有明显的不同,hevc加入了nal所在的时间层的ID,去除了nal_ref_idc,字段解释如下:

F:禁止位,1bit(最高位:15位),必须是0,为1标识无效帧

Type: 帧类型,6bits(9~14位),0-31是vcl nal单元;32-63,是非vcl nal单元,VCL是指携带编码数据的数据流,而non-VCL则是控制数据流。

本文福利, 免费领取C++音视频学习资料包、技术视频,内容包括(音视频开发,面试题,FFmpeg webRTC rtmp hls rtsp ffplay srs↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓

其类型枚举如下:

H265码流RTP封装方式详解_第2张图片

H265码流RTP封装方式详解_第3张图片

LayerID:6 bits,表示NAL所在的Access unit所属的层,该字段是为了HEVC的继续扩展设置,一般为0

TID:3bits,一般为1,此字段指定nal单元加1的时间标识符。时间id的值等于tid-1,tid的值为0是非法的,以确保nal单元报头中至少只有一个比特等于1,以便能够在nal单元头和nal单元有效负载数据中独立考虑启动代码仿真。

通常情况下F为0,layerid为0,TID为1。

H265帧类型与H264不一样,其位置在第一个字节的1~6位(buf[0]&0x7E>>1),起始标识位00000001;常见的NALU类型:

40 01,type=32,VPS(视频参数集)

42 01,type=33,SPS(序列参数集)

44 01,type=34,PPS(图像参数及)

4E 01, type=39,SEI(补充增强信息)

26 01,type=19,可能有RADL图像的IDR图像的SS编码数据 IDR

02 01, type=01,被参考的后置图像,且非TSA、非STSA的SS编码数据

H265码流二进制片段如下:

H265码流RTP封装方式详解_第4张图片

以下帧类型在性能不足时可以丢弃:HEVC_NAL_TRAIL_N、HEVC_NAL_TSA_N、HEVC_NAL_STSA_N、HEVC_NAL_RADL_N、HEVC_NAL_RASL_N。

VPS、SPS、PPS:三者的结构和关系如下图所示:

H265码流RTP封装方式详解_第5张图片

2 H265码流RTP封装方式

其中RTP对H265裸流封装,与H264类似,分为单一NALU封装模式/组合帧封装模式/分片封装模式,以下分别进行介绍

2.1 单一帧封装模式

针对帧大小小于MTU的可采用单独一帧封装到一个RTP包中,封装格式如下:

H265码流RTP封装方式详解_第6张图片

其中PayloadHeader一般与NALU Header定义完全一致,DONL:Decoding Order Number。当使用多slice编码模式时使用,用于判断一帧的每个slice是否收齐,一般使用单slice,无此字段,所以通常境况下,单一帧模式封装方式与H264一致,H265帧去掉起始位直接作为负载,这里不做过多接收。
一些是截取的H265单一帧封装的RTP二进制数据:
 

H265码流RTP封装方式详解_第7张图片

从type中可以此帧为VPS采用rtp单一封装模式

2.2 组合帧封装方式

当帧较小,且多个帧合并后小于MTU的情况,可以多帧组合封装到一个RTP包中,比如(VPS/SPS/PPS)合并封装,注意多帧合并后大小必须小于MTU,不然会被IP分片,其格式如下:

H265码流RTP封装方式详解_第8张图片

PayloadHeader 负载头,与H264 NALUheader类似,有F,TYPE,LayerID,TID组成,一般F=0,LayerID=0,TID=1,这里Type必须为48,标识组合包头

H265码流RTP封装方式详解_第9张图片 

不带DONL的组合包封装模式与H264类似,这里不做多说,一般情况下很少用到组合帧封装方式,小于MTU的帧一般是单一帧封装,减少解封装复杂性。

本文福利, 免费领取C++音视频学习资料包、技术视频,内容包括(音视频开发,面试题,FFmpeg webRTC rtmp hls rtsp ffplay srs↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓

2.3 分片封装模式

当视频帧大于MTU,需要对帧进行分包发送,从而避免IP层分片,这里采用FU分片模式,格式如下:

H265码流RTP封装方式详解_第10张图片

这里PayloadHeader中F=0,LayerID=0,TID=1,Type必须为49表示FU分片
FU header定义与FU-A定义基本一致,由于NALU Type在H265中为6bits表示,所以这里去掉了R,只保留S/E/TYPE格式如下:

H265码流RTP封装方式详解_第11张图片 

  • S:1bit,1-表示是首个分片报文,0-非首个分片报文
  • E:1bit,1-表示最后一个分片报文,0-非最后一个分片报文
  • FuType:6 bits,对应的NALU type

分片封包后的实例如下:

H265码流RTP封装方式详解_第12张图片

payloadheader:0x6201,按照格式解析后,TID=01,LayID=0,type=49,F=0,表示FU分片

FU header:0x93,按照格式解析后,S=1,E=0,Futype=19,表示IDR_W_RADL

2.4 代码片段解析

有关H265采用单一NALU及FU-A分片进行RTP封装发送的相关代码详解,这里引用FFMPEG源码进行解析,这里引用部分打包的代码,解码和这个过程相反

在libavformat/rtpenc_h264_hevc.c中,如下函数对H264及H265(HEVC)打包并发送

static void nal_send(AVFormatContext *s1, const uint8_t *buf, int size, int last)
{
   ...
    if (size <= s->max_payload_size) {//单一帧封装模式
        int buffered_size = s->buf_ptr - s->buf;
        int header_size;
        int skip_aggregate = 0;

        if (codec == AV_CODEC_ID_H264) {
           ...
        } else {
            header_size = 2;//payloadheader的占用字节数,H265为两个字节,与NALU header一样
        }

       ...
            flush_buffered(s1, 0);
            ff_rtp_send_data(s1, buf, size, last);//这里调用此函数直接发送,ff_rtp_send_data中会对数据直接打RTP头后直接发送,与H264类似
        }
    } else {
       ...
        if (codec == AV_CODEC_ID_H264) {
          ...
        } else {
            uint8_t nal_type = (buf[0] >> 1) & 0x3F;//获取NALU type
            /*
             * create the HEVC payload header and transmit the buffer as fragmentation units (FU)
             *
             *    0                   1
             *    0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5
             *   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
             *   |F|   Type    |  LayerId  | TID |
             *   +-------------+-----------------+
             *
             *      F       = 0
             *      Type    = 49 (fragmentation unit (FU))
             *      LayerId = 0
             *      TID     = 1
             */
             //以下两个自己是payloadheader,type=49
            s->buf[0] = 49 << 1;
            s->buf[1] = 1;

            /*
             *     create the FU header
             *
             *     0 1 2 3 4 5 6 7
             *    +-+-+-+-+-+-+-+-+
             *    |S|E|  FuType   |
             *    +---------------+
             *
             *       S       = variable
             *       E       = variable
             *       FuType  = NAL unit type
             */
            s->buf[2]  = nal_type;//fu header的type就是nalu type
            /* set the S bit: mark as start fragment */
            s->buf[2] |= 1 << 7;//第一片,S=1

            /* pass the original NAL header */
            buf  += 2;//去掉nalu header的2个字节
            size -= 2;//去掉nalu header的2个字节,帧长度-2

            flag_byte   = 2;//单帧分片过程中只有fu-header中的s和e会变化,这里是其数组下标
            header_size = 3;//payloadheader+fuheader长度
        }

        while (size + header_size > s->max_payload_size) {
            memcpy(&s->buf[header_size], buf, s->max_payload_size - header_size);//发送缓冲buf中已经有了FU的3个头字节
            ff_rtp_send_data(s1, s->buf, s->max_payload_size, 0);//加上rtp头发送
            buf  += s->max_payload_size - header_size;
            size -= s->max_payload_size - header_size;
            s->buf[flag_byte] &= ~(1 << 7);//更改fu-header 中间分片,s=0 e=0
        }
        s->buf[flag_byte] |= 1 << 6;//最后一个分片,s=0,e=1
        memcpy(&s->buf[header_size], buf, size);
        ff_rtp_send_data(s1, s->buf, size + header_size, last);//发送最后一个分片
    }
}

本文福利, 免费领取C++音视频学习资料包、技术视频,内容包括(音视频开发,面试题,FFmpeg webRTC rtmp hls rtsp ffplay srs↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓

你可能感兴趣的:(音视频开发进阶,c++,webrtc,音视频,视频编解码,实时音视频)