WebRTC 学习之 Conference 实现混音混屏

混音

混音的意义就是将多个音频流混成一路音频，在Conference 的实现中有分为终端实现和服务器实现。

1. 终端混音实现：

终端接受到多路（一般是多个用户）的音频流之后，在终端本地将多路音频流混成一路音频送给扬声器播放。终端混音方式下服务器只起到数据转发的作用，负担比较轻，这种实现的方式的优点是便于扩充，增加用户数量不会对服务器造成太大的负担。缺点是每个终端都需要混音工作，故每个终端都需要有足够的配置。由于接收的是多路音频，所以也需要有比较大的带宽。

2. 服务器混音实现

混音器位于服务端，n路音频流首先按各自的编码标准进行解码后的音频流混合成一路，混合后的音频重新编码后发送到待接收的终端。服务器混音的优点是终端负担较轻，终端带宽要求也不高，但服务器端需要完成大部分混音工作完成，要求性能足够好。缺点是系统的可扩充性不好，随着终端用户数量的增加，服务器负担会加重。

 

混屏

将多路视频流合成成一路视频流发给待接受的终端，如将四路 QCIF大小的 H.264编码码流合并成一路 CIF大小的码流技术 ,输出的码流与普通的 H.264的CIF格式的码流完全一样。这个合并的过程放在了MCU上 ,对于终端来说 ,与接收单一画面的视频信号相比 ,在带宽占用和信号处理方面不会增加任何额外的负担 ,且减轻终端的复杂度并提高稳定性。