WebRTC带宽估计--源码分析

代码实现

上面已经零星介绍过一些主要函数的实现方法,下面重点从整体代码结构的角度将GCC整体的代码流程加以介绍. 代码分支M67

整体代码架构
  

 

RTCPReceiver:rtcp包分发者,不同类型rtcp包分发给不同观察者(RtcpPacketTypeCounterObserver、RtcpBandwidthObserver、RtcpIntraFrameObserver、TransportFeedbackObserver,VideoBitrateAllocationObserver) 

1) SendSideCongestionController:

发送端的带宽估计模块,主要是基于transport cc的feedback进行基于延迟的带宽估计.

  • BitrateControllerImpl和SendSideBandwidthEstimation:发送端的实际带宽控制模块,会结合rr、remb、transport cc feedback综合考虑,估算出理想的带宽值。
  • rr:更新丢包率和rtt---->SendSideBandwidthEstimation::UpdateReceiverBlock.
  • remb:更新接收端估算的带宽--->SendSideBandwidthEstimation::UpdateReceiverEstimate.
  • transport-cc:将接收端计算出来的rtt延时上报给发送端,然后发送端采用接收端几乎一样的算法估算带宽(滤波器发生了变更,kalman->trendline)
    --->SendSideBandwidthEstimation::UpdateDelayBasedEstimate
  • 发送端发送包时的逻辑开始发送的时候,在生成transport cc sequence number的时候将包添加到sendSideCongestionController中,实际发送的时候,将包发送时间记录到sendSideCongestionController中。

2) 当RTCP包到来时,在RTCPReceiver中的处理流程如下
RR

RTCPReceiver::TriggerCallbacksFromRtcpPacket--->
BitrateControllerImpl::OnReceivedRtcpReceiverReport-->
BitrateControllerImpl::OnReceivedRtcpReceiverReport-->
SendSideBandwidthEstimation::UpdateReceiverBlock
UpdatePacketsLost
UpdateRtt

Remb

RTCPReceiver::TriggerCallbacksFromRtcpPacket--->
BitrateControllerImpl::OnReceivedEstimatedBitrate-->
SendSideBandwidthEstimation::UpdateReceiverEstimate,设置接收端的带宽反馈结果

transport cc feedback

RTCPReceiver::TriggerCallbacksFromRtcpPacket--->
SendSideCongestionController::OnTransportFeedback--->
BitrateControllerImpl::OnDelayBasedBweResult-->
SendSideBandwidthEstimation::UpdateDelayBasedEstimate

SendSideBandwidthEstimation模块分析
此模块的输入是rr、remb、本地基于延迟的带宽估计模块结果,输出是估计带宽、丢包率、rtt,rr,根据report block更新丢包率和rtt,同时触发一次码率更新逻辑(UpdateEstimate)
rr-->UpdateReceiverBlock
UpdatePacketsLost
UpdateEstimate

基于Ar&As估算当前码率调整方式

CapBitrateToThresholds,远端计算的带宽估计值、发送端基于延迟计算的带宽估计值、基于丢包率估算的带宽值、配置的最大最小带宽值,选择一个最小值。

UpdateUmaStatsPacketsLost
UpdateRtt
remb,

remb-->UpdateReceiverEstimate
CapBitrateToThresholds,算法同上
transport cc feedback-->UpdateDelayBasedEstimate
CapBitrateToThresholds,算法同上

CapBitrateToThresholds
bitrate=min(bitrate_in, remb_bitrate, delay_based_bitrate_bps_)
同时bitrate要受到max_bitrate_configured_和min_bitrate_configured_的限制,计算最终的估计bitrate。

rr-->
process()-->UpdateEstimate
如果当前没有丢包,并且在2s以内,bitrate_in = max(remb, delay_based_bitrate_bps_),调用CapBitrateToThresholds
UpdateMinHistory,维护一个码率按照升序排队的队列

删除过期值
从后面开始删除比当前码率值大的值
将当前码率值pushback到队列中
当前码率也是即将变成旧值的码率,新码率即将被估算出来
如果未收到rr,CapBitrateToThresholds
判断和上一次rr反馈的结果还在时间间隔内

当前码率<码率阈值 || 丢包率<2%
设置码率为1.08*本轮间隔最小值
注意这块的逻辑,当丢包率<2%时,其实并没有判断remb和基于延时计算的带宽,直接增加带宽当前码率>码率阈值
丢包率在2%和10%之间,do nothing,丢包率的最大最小阈值是在代码里写死的,这个区间在国内环境是是否适用?
丢包率>10%,如果之前没有因为丢包而降低带宽,同时上次降低带宽同时时间周期没有超过300ms+rtt,则将带宽设置为current_bitrate_bps_*(1-0.5*丢包率)
如果反馈消息超时到达,再超时的实验性开关开启的条件下,将带宽设置为原来的80%
CapBitrateToThresholds,注意这块,将基于丢包计算出的带宽作为输入,再结合当前remb、基于延时估算出的带宽、码率阈值的配置,得出最终码率值

SendSideCongestionController模块分析
这个模块主要是根据transport cc feedback进行带宽估计,主要是基于延时进行估计,大体功能相当于之前的接收方带宽估计模块,会将带宽估计的结果上报给SendSideBandwidthEstimation的更新函数UpdateDelayBasedEstimate更新估计结果

主要包含模块如下:

  • TransportFeedBackAdapter:记录每个包对应的创建、发送、接收时间和状态
  • AcknowledgedBitrateEstimator:根据反馈包处理,计算一个时间范围内的收包码率
  • delay_based_bwe:整个delay based bandwidth estimation模块,基于延时的带宽估计模块,从接收端移到发送端唯一区别是更改了滤波器,卡尔曼滤波器-->线性滤波器

主要模块功能如下

  • interArrival:主要对到达时间进行小范围统计、采样,并根据一定的时间间隔计算出对应的延迟、传输大小变化
  • trendlineEstimator:线性滤波器,相当于卡尔曼滤波器+overuse detector
  • AimdRateControl:相当于TCP拥塞控制,慢启动、拥塞避免

TransportFeedbackAdapter
transportFeedbackAdapter模块中包含了一个记录所有包收发的sendTimeHistory模块,这个模块记录如下内容:

  • 包的序号,这里是transport cc的sequence number(调用点是RTPSender::prepareAndSendPacket).
  • transport cc包序号生成时间,addPacket的时候生成实际包发送时间,onSentPacket在transport cc feedback到来时,计算每个packet chunk中的每个包的到达时间

AcknowledgedBitrateEstimator
这个模块主要是统计单位时间内(500ms)接收方接收的码率,并输出给下游组件(delay based estimator),作为其初始带宽估计值和本次计算的输入值
当第一次进行估计的时候,初始窗口为500ms,后续每次时间窗口为150ms.
每次根据feedback统计时间窗口内的平均码率,没超过时间窗口的时候会使用旧的估计值进行计算.
实际计算并不是单纯的根据统计到的值进行计算,还会增加一个贝叶斯对统计的值进行估算,根据估计值和观测值重新计算估计值

SendSideCongestionController代码调用栈
RTCPReceiver::IncomingPacket
RTCPReceiver::TriggerCallbacksFromRtcpPacket
SendSideCongestionController::OnTransportFeedback
TransportFeedbackAdapter::OnTransportFeedback--->记录transport cc feedback vector
vector TransportFeedbackAdapter::GetPacketFeedbackVector
AcknowledgedBitrateEstimator::IncomingPacketFeedbackVector-->估算初始码率

大体逻辑是在包发送之前,记录了每个包的bytes,同时根据包的arrive time时间差作为时间,用包总大小/时间差即可估算平均码率,当然这个统计是基于某个时间窗口期内的。
代码中将本次估算结果作为输入+贝叶斯估算,将估算出来的最终结果作为本次码率的最终估算值.
最终结果保存在bitrate_estimate_,可以通过BitrateEstimator::bitrate_bps获取到,这个结果是作为基于延时估算的初始输入和每次参考值

贝叶斯估计的作用?
BitrateEstimator::Update,更新估算的码率值.
DelayBasedBwe::IncomingPacketFeedbackVector-->基于延时梯度(?)+trendline滤波器(斜率?)+变化阈值-->网络状态,网络状态+前一次码率-->估算当前码率.
遍历所有packet
IncomingPacketFeedback

  • InterArrival::ComputeDeltas估计当前包的时间梯度值,包括发送时间和接收时间.
    根据kTimestampGroupLengthTicks将包进行分组,记下每个分组的最后一个发送时间和接收时间,这些时间都是按照升序排好序的.
    发送时间detal=用当前分组的最后一个包的发送时间-前一个分组最后一个包的发送时间.接收时间类似.
  • TrendlineEstimator::Update,根据时间梯度,计算当前网络负载状态.
    状态信息通过TrendlineEstimator::State()来获取delay_detector_->State(),根据当前滤波器估计prev状态(normal、under、over).
    如果当前反馈包反馈的数据是非常久之前的OnLongFeedbackDelay.
    AimdRateControl::SetEstimate更新target_bitrate_bps,并返回DelayBasedBwe::MaybeUpdateEstimate
  • DelayBasedBwe::UpdateEstimate,aimd模块以当前滤波器估计的带宽状态和AcknowledgedBitrateEstimator模块估算的码率为输入更新当前估计带宽值
  • AimdRateControl::Update->输入是滤波器得出的当前网络状态+acked_bitrate_bps,输出是估算码率
  • AimdRateControl::ChangeBitrate--->输入是当前码率值+滤波器得出的当前网络状态+acked_bitrate_bps,输出是新估算的码率
  • AimdRateControl::ChangeState:首先执行上述码率控制状态转换,得出当前码率控制状态,这个状态转换是rate_control_state_作为状态,网络使用状态作为事件执行状态变迁rate_control_state_-->(kRcHold/kRcIncrease/kRcDecrease)
  • input.bw_state-->(kBwNormal/kBwOverusing/kBwUnderusing)
    switch rate_control_state_ case,根据当前码率控制状态,在目前码率基础上得出新码率kRcHold,维持码率不变
  • kRcIncrease,增长有点类似于tcp的cubic思路,分为加增和乘增,靠近拥塞避免阈值则加增,远离后则乘增
  • kRcDecrease 

,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
webrtc 源码分析

 RTCP的接收流程到网络码率计算的过程;简单画图:

RTCPReceiver   ----->     RtcpBandwidthObserverImpl     ----->     BitrateControllerImpl     ----->     SendSideBandwidthEstimation

具体流程:

webrtc::SendSideBandwidthEstimation::UpdateDelayBasedEstimate
webrtc::BitrateControllerImpl::OnDelayBasedBweResult
webrtc::TransportFeedbackAdapter::OnTransportFeedback
webrtc::RTCPReceiver::TriggerCallbacksFromRtcpPacket
webrtc::RTCPReceiver::IncomingPacket
webrtc::ModuleRtpRtcpImpl::IncomingRtcpPacket
webrtc::internal::VideoSendStreamImpl::DeliverRtcp
webrtc::internal::VideoSendStream::DeliverRtcp
webrtc::internal::Call::DeliverRtcp
webrtc::internal::Call::DeliverPacket
cricket::WebRtcVideoChannel2::OnRtcpReceived
cricket::BaseChannel::OnPacketReceived

拥塞算法得到的码率如何作用于编码模块和发送模块

CongestionController::Process->

BitrateControllerImpl::Process-> WrappingBitrateEstimator::Process->

CongestionController::MaybeTriggerOnNetworkChanged()->

BitrateControllerImpl::GetNetworkParameters->CongestionController:Observer::OnNetworkChanged->Call::OnNetworkChanged(uint32_ttarget_bitrate_bps, uint8_t fraction_loss,int64_t rtt_ms)->BitrateAllocator::OnNetworkChanged[改变编码码率]|CongestionController::SetAllocatedSendBitrate[改变发送码率]-> VideoSendStream::OnBitrateUpdated->PayloadRouter::SetTargetSendBitrate[ModuleRtpRtcpImpl::SetTargetSendBitrate进入RTP模块]->ViEEncoder::OnBitrateUpdated[进入编码模块]-> VideoSender::SetChannelParameters[encoder_params_为新的编码参数]-> VideoSender::SetEncoderParameters->VCMGenericEncoder::SetEncoderParameters->H264EncoderImpl::SetRates->

 

你可能感兴趣的:(WebRTC带宽估计--源码分析)