webrtc发送端-编码器资源管理

github：https://github.com/bigonelby/webrtcUml/tree/master/latest

webrtc-发送端-网络带宽对分辨率影响-资源.drawio.png

1. 这个图展示了webrtc中编码相关一个重要课题：资源的自适应

2. 当webrtc判断资源不足时，会主动降低当前视频质量，比如分辨率。当webrtc判断资源充足是，会恢复当前视频质量。这是一个最直观的理解。

3. webrtc中有两大重要的资源，即EncodeUsageResource和QualityScalerResource，本图主要研究了QualityScalerResource。架构是这样的，核心还是VideoStreamEncoder，他会创建出三大组件：VideoStreamEncoderResourceManger，ResourceAdaptationProcessor和VideoStreamAdapter。这三者的关系是这样的：VideoStreamEncoderResourceManager，顾名思义，是一个ResourceManager，因此这个模块创建了所有的Resource，并进行管理。同时他也是所有Resource的代表，即控制或数据信息会通过这个ResourceManager传递到最终的Resource中去。ResourceAdaptationProcessor是一个AdaptationProcessor，这是什么意思呢？就是专门为Adaptation做处理的。也就是说当Resource决策出资源过载了，或者资源不足，接下来该自适应的时候，就是交由AdaptationProcessor做进一步处理。当然这个AdaptationProcessor也有一个小弟帮他进行处理，这个小弟就是VideoStreamAdapter。这就是主张图的主要架构。

4. 我们看看主人翁Resource，只有一个接口SetResourceListener，即设置资源的监听器，其实现类就是ResourceListenerDelegate，进一步的，会把消息透传给其成员processor_，即为ResourceAdaptationProcessor。这样，当资源有不足或过载的时候，ResourceAdaptationProcessor就知道了，并交由VideoStreamAdapter做进一步的适配。这里我们可以看出，VideoStreamAdapter也持有所有的Resource，但这只是真正的大管家VideoStreamEncoderResourceManager将资源告诉他了，真正的创建资源和管理资源的还是VideoStreamEncoderResourceManager。

5. 我们重点看看其中的一个资源，即QualityScalerResource，这个资源是如何判断是过载还是不足的呢？实际上决策的核心是QualityScaler完成的。主要判断的依据，是根据qp值的滑动平均值，和设置的qp值阈值做比较，如果比最小的还要小，说明资源过载；如果比最大的还要大，说明资源不足。这个阈值，是在VideoStreamEncoder的ReconfigureEncoder，传递给VideoStreamEncoderResourceManager的ConfigureQualityScalerSettings，进一步调用了其UpdateQualityScalerSettings，然后调用了QualityScalerResource的SetQpThresholds，最终调用到QualityScaler的SetQpThresholds的。注意，也正是在VideoStreamEncoderResourceManager的ConfigureQualityScalerSettings中，创建了QualityScalerResource对象！

6. QualityScaler中有个定时器做周期性检查，即CheckQpTask，根据当前qp_smoother_high_和qp_smoother_low_以及thresholds_对比，判断出资源的情况。

7. 我们看看QualityScaler是如何知道qp值的呢？实际上当编码器VideoStreamEncoder编出帧后，即OnEncodedImage，会进一步调用RunPostEncode，进一步，会调用大管家VideoStreamEncoderResourceManager的OnEncodeComplete方法，进而调用了QualityScalerResource的OnEncodeCompleted方法，由于EncodedImage中有qp的信息，因此最终调用了QualityScaler的ReportQp方法，将qp值传入

8. 最后再看看webrtc里的命名，还是非常严谨的，首先是VideoStreamEncoder，创建了VideoStreamEncoderResourceManager，这个Manager管理什么呢？从名字上就可以看出，是VideoStreamEncoderResource。目前有两个Resource，即EncodeUsageResource和QualityScalerResource