WebRTC QOS概念简述

webrtc用于提升QOS的方法有:
NACK、FEC、SVC、JitterBuffer、IDR Request、PACER、Sender Side BWE、VFR(动态帧率调整策略)。

带宽预测 or REMB Sender Side BWE

1. RTCP: transport cc
  • Delay Based Control 基于延时的策略
  • Loss Based Control 基于丢包的策略
    ----带宽预测为Over use 后,sender自己更新码率.
  • 优点:sender 在于无需依赖于两个端点
  • 缺点在于浪费了一定的带宽,同时Firefox目前还不支持
2. REMB
  • 增加abs-send-time 在扩展头
  • REMB的优点在于码率的控制权在服务端(接收端),没有额外的带宽浪费。
  • 在采用TCC方案后,接收端也可以利用REMB来通知发送端码率发送上限。
  • GCC

NACK 丢包重传

  • RTP Retransmission(NACK) 报文丢失重传RTPFB (205)
    How to build NACK feedback, dependent on Video Jitter Buffer Status.
  • PLI/SLI/RPSI 指定净荷重传 PSFB(视频帧丢失重传、slice丢失重转、参考帧丢失重传)

FEC 前向纠错

FEC是发送端在发送报文的时候,将之前的旧包也打包到新包里面,若接收端有丢包,就用新包里面冗余的旧包恢复数据。

webrtc实现该冗余功能,有三种方式:链接

  • RED就是RFC2198冗余。将前面的报文直接打入到新包里面,在接收端解析主包和冗余包。

  • ULPFEC,目前webrtc仅将SVC编码的Level 0视频帧打包成FEC。其余层有丢包,就逐步将帧率,保证视频相对流畅。用到的协议是:RFC5109。

  • FLEXFEC根据接收端反馈回来的丢包信息,总结一些规律,把预判丢失概率比较大的包,冗余打包出去。

[SVC] Scalable Video Coding

VP9/openH264 支持SVC,通过改变一个GOP内帧的线性参考关系。防止网络丢包对视频传输造成的影响

  • 时域可分级(Temporal scalability):可以从码流中提出具有不同帧频的码流。
  • 空间可分级(Spatial scalability):可以从码流中提出具有不同图像尺寸的码流。
  • 质量可分级(Quality scalability):可以从码流中提出具有不同图像质量的码流。
    参考文章:
    SVC实现
    SVC和视频通信
    SVC Extension of the H.264/AVC Standard
    https://tools.ietf.org/html/rfc6190 RTP Payload Format for Scalable Video Coding
    H.264 SVC

JitterBuffer 防抖动buffer

JitterBuffer实现原理是,在收到网络上的RTP报文后,不直接进行解码,需要缓存一定个数的RTP报文,按照时间戳或者seq的顺序进行重排,消除报文的乱序和抖动问题。JitterBuffer分动态JitterBuffer和静态JitterBuffer两种模式。静态JitterBuffer缓存报文个数固定。动态JitterBuffer是根据网络环路延时的情况,动态调整缓存报文个数。

IDR Request 关键帧请求

关键帧也叫做即时刷新帧,简称IDR帧。对视频来说,IDR帧的解码无需参考之前的帧,因此在丢包严重时可以通过发送关键帧请求进行画面的恢复,当会议中有新的订阅的时候也需要publisher重新发送关键帧。关键帧的请求方式分为三种:RTCP FIR反馈(Full intra frame request)、RTCP PLI 反馈(Picture Loss Indictor)或SIP Info消息,具体使用哪种可通过协商确定

PACER

pacer 是wenrtc的一种平滑发包策略,防止一帧数据把网络压垮,pacer会根据获取的拥塞情况进行改变发包间隔,pacer肯定会引起延迟,但延迟不严重,pacer有几个关键技术:pace queue、padding、budget,详情请看: https://yq.aliyun.com/articles/606053, webrtc中的PacerSender :https://www.jianshu.com/p/3fde9b8d77f6

VFR(动态帧率调整策略)

WebRTC帧率调整策略

Reference

https://www.jianshu.com/u/102fafe8c6b9 weizhenwei的简书
** http://ec.ctiforum.com/jishu/qiye/wenzhai/535765.html WebRTC的拥塞控制和带宽策略 袁荣喜

你可能感兴趣的:(音视频相关)