网易云信在融合通信场景下的探索和实践之 SIPGateway 服务架构

本文作者:网易云信技术专家朱振昊、官仕富

1 背景

2020年初始,新冠疫情爆发,整体经济下行,却依然给部分领域带来了巨大的商机,尤其是在实时音视频领域,越来越多的企业选择了 RTC 云端会议的方式进行沟通和协作。虽然因为在过去的十几年里,传统视频会议的市场基础,有很多企业还在使用着诸如 Polycom、思科等提供的传统硬件会议系统(采用 PSTN/SIP 协议接入),短时间内 RTC 云端会议方式可能还无法完全取代硬件会议系统,但是在目前的市场环境下,融合通信肯定是越来越多企业倾向选择的一大需求

2 硬件视频会议和 RTC 云端会议对比

我们先来看一下硬件视频会议跟 RTC 云端会议分别是如何通过哪些具体技术实现的,又分别有什么优缺点。

硬件视频会议一般采用 MCU 架构 (MCU:多人通讯架构之一,多点控制单元,特点是服务器将所有上行媒体流混成一路转给接收端),PSTN/SIP 标准(SIP 协议:Session Initiation Protocol 的简称,通信领域的协议标准)协议接入,其部署复杂,硬件成本昂贵,但是能够节省带宽和终端处理能力。

RTC 云端会议以网易会议为例,它采用的是 SFU 架构(SFU:多人通讯架构之一,选择转发单元,特点是服务器分别转发每一条订阅的上行流给接收端,而不做混流),私有信令接入,采用 NERTC(NERTC:网易云信自研的音视频通信方案) 音视频编码体系,实现较好的音视频效果体验,支持 Simulcast(Simulcast:多流发送,即允许同一终端在同一时刻发送不同分辨率档位的视频流)部署灵活,但是带宽占用较大及对终端处理能力要求较高。

那么如何实现硬件视频会议与 RTC 云端会议两者的互通,是当下一个迫切需要解决的问题。网易云信也在融合通信场景下进行了很多的探索与实践,探索出通过 SIPGateway(SIP 协议接入网关)的方式来实现融合通信,并在网易会议中应用。今天我们就来分享一下网易会议在融合通信场景下对 SIPGateway 服务端架构的实践

3 SIPGateway

架构图

网易云信在融合通信场景下的探索和实践之 SIPGateway 服务架构_第1张图片

图为 SIPGateway 服务端的架构图,主要分为几个模块:

  • SIP 协议接入模块:用来实现 SIP 用户的接入 ,支持 RTP/RTCP 协议;
  • 云信 RTC 协议接入模块:用来实现云信 RTC 用户的接入,支持云信 RTC 私有协议;
  • 会议管理模块:主要维护房间及参会者的状态、会议号管理等;
  • 编解码模块:主要处理音视频编解码以及转码;
  • MCU 模块:SIPGateway 实现了混音混屏的功能,由于 SIP 标准终端不支持 Simulcast 的能力,也不支持接收多流,故在 SIPGateway 上需要做混屏混音发送给 SIP 端;
  • SFU 模块:支持纯转发模式或者根据语音激励来选择转发的模式;

使用 SIPGateway 服务端是如何实现云端会议的呢,我们通过两个具体的应用场景来看一下实际的应用情况

实例应用场景

场景1:由网易会议 APP 发起会议,支持 SIP 终端加入网易会议。

网易云信在融合通信场景下的探索和实践之 SIPGateway 服务架构_第2张图片

如上图显示,当由网易会议 APP 发起会议时,网易会议会同步创建一个 SIP 会议短号,使用者在 SIP 终端输入短号后即可加入会议。

具体 SIP 登录流程不做过多阐述,可以参照 SIP 标准协议(本文末有详细协议链接)。

我们来看在这样的场景下,具体的媒体流转向如下:

  • SIP 用户登录后,SIPGateway 同步创建房间并管理用户状态;
  • 当用户加入会议时其为 SIP 用户,SIPGateway 会将这个 SIP 用户模拟成一个 RTC 用户后加入网易会议,这里走的是 NERTC 流程,与媒体服务器建立上行 RTCSession 后,即可进行推流,SIP 端的上行流在 SIPGateway 上进行 MCU 混屏混音的同时,也会复制一份发往媒体服务器,这样做的好处在于媒体服务不需要对 SIP 用户进行特殊处理,从而可以减少对它的侵入;
  • 在 RTC 用户登录会议时,SIPGateway 将这个 RTC 用户模拟成一个 SIP 用户加入到网关上的房间里,同时与媒体服务器建立下行 RTCSession 进行收流,RTC 用户的媒体流经过混音混屏转发给 SIP 用户;

在这个流程中,需要对音视频进行编解码:

  • 音频方面, PSTN/SIP 普遍使用 G.722或G.729 编解码,而 NERTC 体系中采用 OPUS 编解码,所以音频需要做转码;
  • 视频方面,引入了 MCU 功能,过程对服务器的性能会带来一定影响,但整体性能符合预期;

最终呈现的画面布局如下图所示:

网易云信在融合通信场景下的探索和实践之 SIPGateway 服务架构_第3张图片

场景2:由传统视频会议发起会议,支持网易会议 APP 加入硬件视频会议

网易云信在融合通信场景下的探索和实践之 SIPGateway 服务架构_第4张图片

如图所示,具体的流程:当由传统视频会议发起会议时,会议管理预系统会创建硬件视频会议房间,RTC 用户输入硬件视频会议号,经过网易会议,系统会同步创建网易会议号以及 SIP 会议短号,并通知到 SIPGateway,SIPGateway 起到信令协议及 SIP 智能路由作用,让 RTC 用户与硬件视频会议媒体互通。

在这个过程中涉及到3个会议:硬件视频会议房间、网易会议房间、网关会议房间,具体的媒体流转向以及数据转发策略如下:

  • 当硬件视频会议创建房间时,网易会议 APP 会拨打硬件视频会议号,同步创建网易会议房间与 SIPGateway SIP 会议短号;
  • 创建 SIPGateway 房间后会在网关会议房间中进行融屏;
  • 当用户加入会议时其为 RTC 用户,SIPGateway 将 RTC 用户模拟 SIP 用户加入网关会议房间,同时与媒体服务器建立下行 RTCSession 进行收流;
  • SIPGateway 总体策略是通过巧妙的信令转换,将硬件视频会议上的所有用户模拟成一个 RTC 用户加入网易会议,而将所有 RTC 用户模拟成一个 SIP 用户加入到硬件视频会议中;
  • SIPGateway 在视频画面推送上,根据能量选路策略,选择声音能量最大的那个 RTC 用户视频流,进行融屏发送到硬件视频;
  • SIP 布局画面可由硬件视频会议会控设置,SIP 主会场、分会场切换,轮询而改变,并且也可选择性观看其中一路 RTC 或所有 RTC 参会成员画面;
  • RTC 加入硬件视频会议场景,做到了真正的会议互联互通, SIP 端用户既可以加入硬件视频会议房间,还可以加入网易会议房间;

最终呈现的画面布局如下图所示:

_网易云信在融合通信场景下的探索和实践之 SIPGateway 服务架构_第5张图片

以上为 SIPGateway 的架构图介绍以及两个应用场景的具体技术实现,下面我们看一下使用 SIPGateway 的主要特点以及支持的部署方式。

4 SIPGateway 特点以及部署

SIPGateway 的特点

使用 SIPGateway 主要有以下几个方面的特点:

灵活的呼入方式

  • 支持 PSTN/SIP 端主动加入网易会议,网易会议创建会议的同时也为 SIP 终端分配了一个对应的 SIP 会议短号,SIP 用户只需要输入 SIP 会议短号即可加入网易会议;
  • 支持邀请 PSTN/SIP 端加入网易会议,在会议进行中,主持人选择通讯录中的 SIP 终端,主动把他邀请入会;
  • 支持网易会议 APP 加入到第三方视频会议系统;

全平台互通

  • 支持与 iOS、安卓、PC、Mac 各个平台的互通;
  • 支持 PSTN/SIP 终端接入;

MCU 级联

支持 SIPGateway MCU 与传统硬件视频会议 MCU 的级联,这种场景可以支持多画布的实现。

负载均衡

负载均衡模块会根据 SIPGateway 的实际 Load 情况分配合适的 SIPGateway,前提是同一个房间分配到同一台 SIPGateway 上。

高安全性

  • IP 白名单:在 SIPGateway 的 Proxy 是代理 SIP 终端的入会请求,为了防止恶意攻击,我们针对租户设置 IP 白名单,防止非法 IP 访问;
  • 区域隔离:不同的租户可以路由到同一 SIPGateway 上,也可以路由到专门的 SIPGateway 或集群;
  • 对于网络安全性要求高的企业,SIP Proxy 部署在企业 DMZ 区,DMZ 区起到企业内网保护,防止内网攻击,又可与外网通信的作用;

高可用性

  • SIPGateway 采用集群部署,当其中一台 SIPGateway 宕机了,不会影响其他用户的音视频通话;
  • SIP Proxy 之间通过 Keep-Alive 保活,当一台宕机,会切换到另一台 Proxy, 不影响 SIP 通话状态与用户音视频通话,实现无感切换;

数据监控平台

  • 数据平台:定时采集 SIP 用户的在线状态、流量状态、网络状态,当出现异常时,有助于及时定位分析问题;
  • 监控平台: 自动监控服务器状态,服务出现异常时自动弹出报警,有助于及时解决服务异常问题;

SIPGateway 部署方式

在部署方式上,SIPGateway 采用容器化部署,支持公有云或者私有化的多种方式,灵活多变,满足不同场景下的需求。

5 结语

本文主要分享了在网易会议中使用 SIPGateway 实现融合通信场景,并通过两个实例应用场景,分析具体的媒体流转向以及数据转发策略。

随着应用场景越来越丰富,比如企业内部 APP 移动工作台,系统集成电话呼叫功能,智能硬件,诸如智能门禁,智能机器人等将会对全终端的互通能力提出更高的要求,网易云信在这条赛道的探索会将持续进行,尽力满足用户不同场景的需求,真正做到助力用户内生长。

文中提到的相关术语以及衍生阅读:

  • MCU:多人通讯架构之一,多点控制单元,特点是服务器将所有上行媒体流混成一路转给接收端;
  • SFU:多人通讯架构之一,选择转发单元,特点是服务器分别转发每一条订阅的上行流给接收端,而不做混流;
  • SIP 协议:Session Initiation Protocol 的简称,通信领域的协议标准;
  • RTCSession:网易云信的 RTC 流传输组件;
  • Simulcast:多流发送,即允许同一终端在同一时刻发送不同分辨率档位的视频流;
  • NERTC:网易云信自研的音视频通信方案;
  • SIPGateway:SIP 协议接入网关;

想要了解更多,欢迎点击

你可能感兴趣的:(架构,即时通讯,RTC,融合通信)