基于Agora的直播间卡顿优化

问题

项目包含实时音视频模块功能，直接采用的是Agora的教育专版sdk，具体的业务功能包含：1v1私聊、1vN群聊(备注：Agora最多支持17路的音视频会话)，线上经常会收到一些关于音视频卡顿的单子，亟需一轮优化。

分析

通过分析单子，卡顿的问题可以归为两类：性能、网络带宽,关于性能的问题，这篇文章不做展开，如有大神路过，请不吝赐教。对于带宽的问题，不可能让所有的用户直接升级网络套餐，所以问题点就出现怎么在保证通话质量的前提下，减少音视频对带宽的依赖。

优化

优化可以从以下几个维度出发

1. 降低直播音视频质量
2. 网络环境差时，自动切换画质
3. 降级服务

降低直播音视频质量

1. 默认的音视频配置

//Video
size: AgoraVideoDimension320x240
frameRate: AgoraVideoFrameRateFps15
bitrate: 200

//Audio
audioProfile: AgoraAudioProfileMusicStandard
scenario: AgoraAudioScenarioEducation

码率与带宽因素强相关，比如以上这个配置，需要网络的上行带宽是 200kbps，但网络一般消耗最多的是下行，下行的话就需要根据接收的媒体流路数来计算了，订阅远端用户的媒体流的并发路数，这个只是视频流的，还有音频流，保守还需要50kbps，假如一个房间里面只有1个老师一个学生，可以理解音视频上行加起来最保守需要250kbps

2. 降低码率

选取以下三种码率，进行实际应用对比效果

 - AgoraVideoDimension160x120
 - AgoraVideoDimension240x180
 - AgoraVideoDimension320x240

结论：AgoraVideoDimension240x180的画质体验感与AgoraVideoDimension320x240相差无几，最终选定采用AgoraVideoDimension240x180

3.理论优化值

假设房间1v1教学

码率	视频上行带宽	视频上行带宽	总带宽(上下行)
AgoraVideoDimension320x240	200	50	250*2 = 500
AgoraVideoDimension240x180	120	50	170*2 = 340

带宽占用降低:160/500 = 32%

网络环境差时，自动切换画质

想法很好，but与Agora沟通之后，被告知目前使用教育专版不支持自动切换，但是又另一种方案叫“双流模式”。Aogra文档

大概的意思是：直播间实时音视频互动过程中，一个用户只需要推一路流，也就是初始化sdk配置的码率，可以称为“大流”。如果开启了双流模式，这个用户除了会推“大流”，还会自动额外发送一路低分辨率、低码率的视频流，称为“小流” 。

特点：

• 大流：分辨率更大、码率更高
• 小流：模糊、尺寸更小

如果给学生开启了双流模式，会额外增加学生的上行带宽的占用，而且学生的网络环境会更加的复杂，双流会带来更大的消耗，所以学生不能开，老师一般都是在公司指定的网络环境中上课，网络相对更加有报障，因此需要教师端开启双流模式。

AgoraVideoDimension240x180码率下的大小流对照表

流状态	配置	视频上行带宽(kbps)	音频上行带宽(kbps)	总带宽(kbps)
大流	240*180 15 120	120	50	340
小流	120*160 5 45	45	50	190

带宽占用降低: 150/340 = 44%

降级服务

提到降级服务，首先想到的就是后端服务降级,当服务器压力剧增的情况下,根据当前业务情况及流量对一些服务和页面有策略的降级,以此释放服务器资源以保证核心任务的正常运行。

这里讲的降级指的是音视频回退机制，详细细节解释参见Agora

这个方案其实在教育客户场景中不太推荐使用，需要做好完善的UI交互，否则有可能回退会导致用户端上报很多工单，用户端会误认为是故障。

同时如果需要使用的话，一般只建议在接收端做处理，老师端作为发送端的网络一般是有保障的，并且需要在触发回退后可以有UI提示给到用户端去识别。

补充

Agora SDK内部有一套非常复杂的算法，会基于单位时间内的上行、下行的网络数据，设备的CPU数据，结合配置的videoprofile数据计算后确认大小流切换以及音视频流回退，且没有提供一个明确的标准，因此在测试的时候，会带来一些难度。