WebRTC带宽估计--源码分析
代码实现
上面已经零星介绍过一些主要函数的实现方法，下面重点从整体代码结构的角度将GCC整体的代码流程加以介绍. 代码分支M67
整体代码架构
RTCPReceiver：rtcp包分发者，不同类型rtcp包分发给不同观察者（RtcpPacketTypeCounterObserver、RtcpBandwidthObserver、RtcpIntraFrameObserver、TransportFeedbackObserver,VideoBitrateAllocationObserver）
1) SendSideCongestionController：
发送端的带宽估计模块，主要是基于transport cc的feedback进行基于延迟的带宽估计.
- BitrateControllerImpl和SendSideBandwidthEstimation：发送端的实际带宽控制模块，会结合rr、remb、transport cc feedback综合考虑，估算出理想的带宽值。
- rr：更新丢包率和rtt---->SendSideBandwidthEstimation::UpdateReceiverBlock.
- remb：更新接收端估算的带宽--->SendSideBandwidthEstimation::UpdateReceiverEstimate.
- transport-cc：将接收端计算出来的rtt延时上报给发送端，然后发送端采用接收端几乎一样的算法估算带宽(滤波器发生了变更,kalman->trendline)
--->SendSideBandwidthEstimation::UpdateDelayBasedEstimate - 发送端发送包时的逻辑开始发送的时候,在生成transport cc sequence number的时候将包添加到sendSideCongestionController中，实际发送的时候，将包发送时间记录到sendSideCongestionController中。
2) 当RTCP包到来时，在RTCPReceiver中的处理流程如下
RR
RTCPReceiver::TriggerCallbacksFromRtcpPacket--->
BitrateControllerImpl::OnReceivedRtcpReceiverReport-->
BitrateControllerImpl::OnReceivedRtcpReceiverReport-->
SendSideBandwidthEstimation::UpdateReceiverBlock
UpdatePacketsLost
UpdateRttRemb
RTCPReceiver::TriggerCallbacksFromRtcpPacket--->
BitrateControllerImpl::OnReceivedEstimatedBitrate-->
SendSideBandwidthEstimation::UpdateReceiverEstimate，设置接收端的带宽反馈结果transport cc feedback
RTCPReceiver::TriggerCallbacksFromRtcpPacket--->
SendSideCongestionController::OnTransportFeedback--->
BitrateControllerImpl::OnDelayBasedBweResult-->
SendSideBandwidthEstimation::UpdateDelayBasedEstimateSendSideBandwidthEstimation模块分析
此模块的输入是rr、remb、本地基于延迟的带宽估计模块结果，输出是估计带宽、丢包率、rtt,rr，根据report block更新丢包率和rtt，同时触发一次码率更新逻辑（UpdateEstimate）
rr-->UpdateReceiverBlock
UpdatePacketsLost
UpdateEstimate
基于Ar&As估算当前码率调整方式
CapBitrateToThresholds，远端计算的带宽估计值、发送端基于延迟计算的带宽估计值、基于丢包率估算的带宽值、配置的最大最小带宽值，选择一个最小值。
UpdateUmaStatsPacketsLost
UpdateRtt
remb，
remb-->UpdateReceiverEstimate
CapBitrateToThresholds，算法同上
transport cc feedback-->UpdateDelayBasedEstimate
CapBitrateToThresholds，算法同上
CapBitrateToThresholds
bitrate=min(bitrate_in, remb_bitrate, delay_based_bitrate_bps_)
同时bitrate要受到max_bitrate_configured_和min_bitrate_configured_的限制，计算最终的估计bitrate。
rr-->
process()-->UpdateEstimate
如果当前没有丢包，并且在2s以内，bitrate_in = max(remb, delay_based_bitrate_bps_)，调用CapBitrateToThresholds
UpdateMinHistory，维护一个码率按照升序排队的队列
删除过期值
从后面开始删除比当前码率值大的值
将当前码率值pushback到队列中
当前码率也是即将变成旧值的码率，新码率即将被估算出来
如果未收到rr，CapBitrateToThresholds
判断和上一次rr反馈的结果还在时间间隔内
当前码率<码率阈值 || 丢包率<2%
设置码率为1.08*本轮间隔最小值
注意这块的逻辑，当丢包率<2%时，其实并没有判断remb和基于延时计算的带宽，直接增加带宽当前码率>码率阈值
丢包率在2%和10%之间，do nothing，丢包率的最大最小阈值是在代码里写死的，这个区间在国内环境是是否适用？
丢包率>10%，如果之前没有因为丢包而降低带宽，同时上次降低带宽同时时间周期没有超过300ms+rtt，则将带宽设置为current_bitrate_bps_*(1-0.5*丢包率)
如果反馈消息超时到达，再超时的实验性开关开启的条件下，将带宽设置为原来的80%
CapBitrateToThresholds，注意这块，将基于丢包计算出的带宽作为输入，再结合当前remb、基于延时估算出的带宽、码率阈值的配置，得出最终码率值
SendSideCongestionController模块分析
这个模块主要是根据transport cc feedback进行带宽估计，主要是基于延时进行估计，大体功能相当于之前的接收方带宽估计模块，会将带宽估计的结果上报给SendSideBandwidthEstimation的更新函数UpdateDelayBasedEstimate更新估计结果
主要包含模块如下：
- TransportFeedBackAdapter：记录每个包对应的创建、发送、接收时间和状态
- AcknowledgedBitrateEstimator：根据反馈包处理，计算一个时间范围内的收包码率
- delay_based_bwe：整个delay based bandwidth estimation模块，基于延时的带宽估计模块，从接收端移到发送端唯一区别是更改了滤波器，卡尔曼滤波器-->线性滤波器
主要模块功能如下：
- interArrival：主要对到达时间进行小范围统计、采样，并根据一定的时间间隔计算出对应的延迟、传输大小变化
- trendlineEstimator：线性滤波器，相当于卡尔曼滤波器+overuse detector
- AimdRateControl：相当于TCP拥塞控制，慢启动、拥塞避免
TransportFeedbackAdapter
transportFeedbackAdapter模块中包含了一个记录所有包收发的sendTimeHistory模块，这个模块记录如下内容：
- 包的序号,这里是transport cc的sequence number(调用点是RTPSender::prepareAndSendPacket).
- transport cc包序号生成时间，addPacket的时候生成实际包发送时间，onSentPacket在transport cc feedback到来时，计算每个packet chunk中的每个包的到达时间
AcknowledgedBitrateEstimator
这个模块主要是统计单位时间内（500ms）接收方接收的码率，并输出给下游组件（delay based estimator），作为其初始带宽估计值和本次计算的输入值
当第一次进行估计的时候，初始窗口为500ms，后续每次时间窗口为150ms.
每次根据feedback统计时间窗口内的平均码率,没超过时间窗口的时候会使用旧的估计值进行计算.
实际计算并不是单纯的根据统计到的值进行计算，还会增加一个贝叶斯对统计的值进行估算，根据估计值和观测值重新计算估计值
SendSideCongestionController代码调用栈
RTCPReceiver::IncomingPacket
RTCPReceiver::TriggerCallbacksFromRtcpPacket
SendSideCongestionController::OnTransportFeedback
TransportFeedbackAdapter::OnTransportFeedback--->记录transport cc feedback vector
vector TransportFeedbackAdapter::GetPacketFeedbackVector
AcknowledgedBitrateEstimator::IncomingPacketFeedbackVector-->估算初始码率 大体逻辑是在包发送之前，记录了每个包的bytes，同时根据包的arrive time时间差作为时间，用包总大小/时间差即可估算平均码率，当然这个统计是基于某个时间窗口期内的。
代码中将本次估算结果作为输入+贝叶斯估算，将估算出来的最终结果作为本次码率的最终估算值.
最终结果保存在bitrate_estimate_，可以通过BitrateEstimator::bitrate_bps获取到，这个结果是作为基于延时估算的初始输入和每次参考值
贝叶斯估计的作用？
BitrateEstimator::Update，更新估算的码率值.
DelayBasedBwe::IncomingPacketFeedbackVector-->基于延时梯度（？)+trendline滤波器(斜率?)+变化阈值-->网络状态，网络状态+前一次码率-->估算当前码率.
遍历所有packet
IncomingPacketFeedback
- InterArrival::ComputeDeltas估计当前包的时间梯度值，包括发送时间和接收时间.
根据kTimestampGroupLengthTicks将包进行分组,记下每个分组的最后一个发送时间和接收时间,这些时间都是按照升序排好序的.
发送时间detal=用当前分组的最后一个包的发送时间-前一个分组最后一个包的发送时间.接收时间类似. - TrendlineEstimator::Update，根据时间梯度，计算当前网络负载状态.
状态信息通过TrendlineEstimator::State()来获取delay_detector_->State()，根据当前滤波器估计prev状态（normal、under、over）.
如果当前反馈包反馈的数据是非常久之前的OnLongFeedbackDelay.
AimdRateControl::SetEstimate更新target_bitrate_bps,并返回DelayBasedBwe::MaybeUpdateEstimate - DelayBasedBwe::UpdateEstimate，aimd模块以当前滤波器估计的带宽状态和AcknowledgedBitrateEstimator模块估算的码率为输入更新当前估计带宽值
- AimdRateControl::Update->输入是滤波器得出的当前网络状态+acked_bitrate_bps,输出是估算码率
- AimdRateControl::ChangeBitrate--->输入是当前码率值+滤波器得出的当前网络状态+acked_bitrate_bps，输出是新估算的码率
- AimdRateControl::ChangeState：首先执行上述码率控制状态转换，得出当前码率控制状态，这个状态转换是rate_control_state_作为状态，网络使用状态作为事件执行状态变迁rate_control_state_-->(kRcHold/kRcIncrease/kRcDecrease)
- input.bw_state-->(kBwNormal/kBwOverusing/kBwUnderusing)
switch rate_control_state_ case，根据当前码率控制状态，在目前码率基础上得出新码率kRcHold,维持码率不变 - kRcIncrease，增长有点类似于tcp的cubic思路，分为加增和乘增，靠近拥塞避免阈值则加增，远离后则乘增
- kRcDecrease
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
webrtc 源码分析
RTCP的接收流程到网络码率计算的过程；简单画图：
RTCPReceiver -----> RtcpBandwidthObserverImpl -----> BitrateControllerImpl -----> SendSideBandwidthEstimation
具体流程:
webrtc::SendSideBandwidthEstimation::UpdateDelayBasedEstimate
webrtc::BitrateControllerImpl::OnDelayBasedBweResult
webrtc::TransportFeedbackAdapter::OnTransportFeedback
webrtc::RTCPReceiver::TriggerCallbacksFromRtcpPacket
webrtc::RTCPReceiver::IncomingPacket
webrtc::ModuleRtpRtcpImpl::IncomingRtcpPacket
webrtc::internal::VideoSendStreamImpl::DeliverRtcp
webrtc::internal::VideoSendStream::DeliverRtcp
webrtc::internal::Call::DeliverRtcp
webrtc::internal::Call::DeliverPacket
cricket::WebRtcVideoChannel2::OnRtcpReceived
cricket::BaseChannel::OnPacketReceived
拥塞算法得到的码率如何作用于编码模块和发送模块
CongestionController::Process->
BitrateControllerImpl::Process-> WrappingBitrateEstimator::Process->
CongestionController::MaybeTriggerOnNetworkChanged()->
BitrateControllerImpl::GetNetworkParameters->CongestionController:Observer::OnNetworkChanged->Call::OnNetworkChanged(uint32_ttarget_bitrate_bps, uint8_t fraction_loss,int64_t rtt_ms)->BitrateAllocator::OnNetworkChanged[改变编码码率]|CongestionController::SetAllocatedSendBitrate[改变发送码率]-> VideoSendStream::OnBitrateUpdated->PayloadRouter::SetTargetSendBitrate[ModuleRtpRtcpImpl::SetTargetSendBitrate进入RTP模块]->ViEEncoder::OnBitrateUpdated[进入编码模块]-> VideoSender::SetChannelParameters[encoder_params_为新的编码参数]-> VideoSender::SetEncoderParameters->VCMGenericEncoder::SetEncoderParameters->H264EncoderImpl::SetRates->