基于mediasoup的多方通话研究(一)

基于mediasoup的多方通话研究(一)

    • mediasoup简介
    • mediasoup的特性
    • 安装mediasoup-demo
    • 本地运行Demo
    • server的配置文件
    • mediasoup的原理
    • 扩展与展望
    • 总结

mediasoup简介

mediasoup号称尖端的WebRTC的视频会议系统,官网为 https://mediasoup.org/.
安装极其简单:

npm install mediasoup
npm install mediasoup-client

从ibc开发这套系统一直跟进到最新的版本,经历了V1到V2的变迁,api从webrtc到ortc的变更,一点一点的完善,目前好评度越来越高。

有没有兴趣跟我一起学习研究这个优秀的系统呢?

需要强调一点的是:希望大家能提前对ORTC有个大概的了解。

mediasoup的特性

脱颖而出mediasoup,可以用小而美来形容她:

  1. 支持目前主流的浏览器,chrome、Firefox、safari、Edge等等。
  2. 支持UnifiedPlanSdp和PlanBSdp两种方式;
  3. ORTC的api风格调用方式,避免了WebRTC的不足,使协议更简洁;
  4. json-rpc远程调用方法,协议清晰简洁。;
  5. 增加了支持simulcast;
  6. 编码简洁、结构清晰;

纵使她很让人喜欢,但也有不尽人意的地方:

  1. 上层接口是nodejs,这个根据我们情况集成可能有麻烦(后面我们讲讲怎么解决这个问题)。
  2. 功能比较简单,后续的开发较多;

安装mediasoup-demo

首先呢找一台linux服务器吧,推荐用ubuntu,安装最新版本的npm,快速安装可参考npm最新版本安装方法。另外网速不好的同学建议修改npm源npm源修改办法。

  • 首先克隆项目:
$ git clone https://github.com/versatica/mediasoup-demo.git
$ cd mediasoup-demo
  • 安装server:
$ cd server
$ npm install
  • 复制 config.example.js 重命名 config.js 然后可以自定义设置,目前先不做修改:
$ cp config.example.js config.js
  • 安装浏览器端app:
$ cd app
$ npm install
  • 全局安装 gulp-cli (可能需要使用 sudo):
$ npm install -g gulp-cli

本地运行Demo

  • 首先打开一个终端,运行server :
$ cd server
$ node server.js
  • 在另外一个终端中打开启动app
$ cd app
$ gulp live
  • 接着就可以用浏览器浏览了。

server的配置文件

这里对于config.js 强调一点:

  • 设置rtcAnnouncedIPv4(同rtcAnnouncedIPv6)以支持公网访问,局域网访问默认不需要修改。
	//局域网访问:默认不需要修改
	rtcAnnouncedIPv4 : null,
	//公网可以访问:将rtcAnnouncedIPv4修改为公网的IP,重启server即可(仅限有公网IP的云服务器)。
	rtcAnnouncedIPv4 : '111.111.111.111',
  • 设置rtcMinPort和rtcMaxPort:如果需要公网访问,记得防火墙放行,局域网访问默认不需要修改。
	rtcMinPort       : 40000,
	rtcMaxPort       : 49999,

mediasoup的原理

下图举例三个Client (browser或者客户端)同时加入一个房间,每个app同时发布一路视频和一路音频,并且接受来自其他app的音视频流,mediasoup内部的结构如下:
基于mediasoup的多方通话研究(一)_第1张图片

  • 每个Client创建两个Peerconnection分别用于发送和接受媒体流,发送端用于发送承载本地videoTrack和audioTrack的localStream,接收端接受来自其他Client的remoteStream;
  • 同时Room会为每个Client创建一个Peer,Peer管理两个Transport用于接受Client的媒体流和向Client发送媒体流;
  • Peer为对应的Client发送的videoTrack和audioTrack分别创建一个Producer(共2个);
  • Peer为其他两个Client发送的videoTrack和audioTrack分别创建2个Consumer(共2个);
  • Producer将媒体数据发送给每一个订阅者Consumer。

到此为止,可能会有一个简单的了解了,这里不再细分,有兴趣的话可以私下找我交流。

扩展与展望

mediasoup作为一个SFU服务器,有着出色的性能和极小的开销,多进程负载均衡的方式让我们体会到它的强悍。美中不足的是它的信令只有nodejs接口,并不能满足所有人的胃口。庆幸的是出于对c++的情怀,我将所有的nodejs逻辑翻译成了c++版本,并且开发了对应的native客户端:

  • c++版本服务器,支持跨平台的编译;保持原有mediasoup-worker代码99.9%完整和不变;
  • c++版本客户端,Qt5+WebRTC68,支持windows、Mac OS、Linux的编译,且与mediasoup-demo互通;
  • 客户端增加Gpu Video Accelerator,支持H264的硬件encode/decode功能。

未来将加入的新功能

  • 客户端和服务器的音视频流录制功能;
  • rtsp和rtmp与meidasoup的互通功能;
  • H264硬件编解码的持续优化。

现献上效果图
server端(有没有熟悉的味道):
基于mediasoup的多方通话研究(一)_第2张图片
Windows Client:
基于mediasoup的多方通话研究(一)_第3张图片
Windows Client与Web互通:
基于mediasoup的多方通话研究(一)_第4张图片
**Demo下载地址: https://pan.baidu.com/s/18Nfnu_MAafFnkyzBrJnq1g 提取码: jbtu **

总结

  • Windows下面与mediasoup-worker的管道通讯遇到了好多问题,好在坚持不懈的解决了,毕竟Libuv文档稀有;
  • nodejs用了ES6新特性,如promise,考虑到维护原版的特性和结构,千辛万苦地用promise-cpp勉强解决了;
  • 很久没有更新博客了,是因为没有新的成果,mediasoup的研究让我又有了新的乐趣,希望能坚持下去;
  • 上面涉及的代码后期可能考虑开源。

另外附上我的Github地址https://github.com/harvestsure欢迎互粉。

你可能感兴趣的:(webrtc,SFU,多人音视频,nodejs,mediasoup,webrtc)