webrtc系列1—— webrtc入门知识

1. 什么是WebRTC

WebRTC，名称源自网页即时通信（英语：Web Real-Time Communication）的缩写，是一个支持网页浏览器进行实时语音对话或视频对话的API。它于2011年6月1日开源并在Google、Mozilla、Opera支持下被纳入万维网联盟的W3C推荐标准。

WebRTC（Web Real­Time Communication）是 Google于2010以6829万美元从 Global IP Solutions 公司购买，并于
2011年将其开源，旨在建立一个互联网浏览器间的实时通信的平台，让 WebRTC技术成为 H5标准之一。
官网（https://webrtc.org）介绍如下：

从官网上的描述我们可以知道，WebRTC是一个免费的开放项目，它通过简单的API为浏览器和移动应用程序提供实
时通信（RTC）功能。

2. WebRTC框架介绍

我们能从https://webrtc.googlesource.com/看到webrtc所有的代码

架构图颜色标识说明：
（1）$紫色部分是Web开发者API层；$
（2）$蓝色实线部分是面向浏览器厂商的API层（也就是红色框标内模块，也是本人专注研究的部分）$
（3）$蓝色虚线部分浏览器厂商可以自定义实现$

详细组件介绍

(1) Your Web App
Web开发者开发的程序，Web开发者可以基于集成WebRTC的浏览器提供的web API开发基于视频、音频的实时通信应用。

(2) Web API
面向第三方开发者的WebRTC标准API（Javascript），使开发者能够容易地开发出类似于网络视频聊天的web应用，最新的标准化进程可以查看这里。

(3) WebRTC Native C++ API
本地C++ API层，使浏览器厂商容易实现WebRTC标准的Web API，抽象地对数字信号过程进行处理。

(4) Transport / Session
传输/会话层
会话层组件采用了libjingle库的部分组件实现，无须使用xmpp/jingle协议

• $a.RTPStack协议栈$
  Real Time Protocol

• $b.STUN/ICE$
  可以通过STUN和ICE组件来建立不同类型网络间的呼叫连接。

• $c.SessionManagement$
  一个抽象的会话层，提供会话建立和管理功能。该层协议留给应用开发者自定义实现。

(5) VoiceEngine

音频引擎是包含一系列音频多媒体处理的框架，包括从视频采集卡到网络传输端等整个解决方案。
PS：VoiceEngine是WebRTC极具价值的技术之一，是Google收购GIPS公司后开源的。在VoIP上，技术业界领先，后面的文章会详细了解

• a. iSAC
  Internet Speech Audio Codec
  针对VoIP和音频流的宽带和超宽带音频编解码器，是WebRTC音频引擎的默认的编解码器
  采样频率：16khz，24khz，32khz；（默认为16khz）
  自适应速率为10kbit/s ~ 52kbit/；
  自适应包大小：30~60ms；
  算法延时：frame + 3ms

• b. iLBC
  Internet Low Bitrate Codec
  VoIP音频流的窄带语音编解码器
  采样频率：8khz；
  20ms帧比特率为15.2kbps
  30ms帧比特率为13.33kbps
  标准由IETF RFC3951和RFC3952定义

• c. NetEQ for Voice
  针对音频软件实现的语音信号处理元件
  NetEQ算法：自适应抖动控制算法以及语音包丢失隐藏算法。使其能够快速且高解析度地适应不断变化的网络环境，确保音质优美且缓冲延迟最小。
  是GIPS公司独步天下的技术，能够有效的处理由于网络抖动和语音包丢失时候对语音质量产生的影响。
  PS：NetEQ 也是WebRTC中一个极具价值的技术，对于提高VoIP质量有明显效果，加以AEC\NR\AGC等模块集成使用，效果更好。

• d. Acoustic Echo Canceler (AEC)
  回声消除器是一个基于软件的信号处理元件，能实时的去除mic采集到的回声。

• e. Noise Reduction (NR)
  噪声抑制也是一个基于软件的信号处理元件，用于消除与相关VoIP的某些类型的背景噪声（嘶嘶声，风扇噪音等等… …）

• f . Opus：支持从6 kbit/s到510 kbit/s的恒定和可变比特率编码，帧大小从2.5 ms到60 ms，各种采样率从8 kHz（4 kHz
  带宽）到48 kHz（20 kHz带宽，可复制人类听觉系统的整个听力范围）。由IETF RFC 6176定义。

(6) VideoEngine

WebRTC视频处理引擎
VideoEngine是包含一系列视频处理的整体框架，从摄像头采集视频到视频信息网络传输再到视频显示整个完整过程的解决方案。

• a. VP8
  视频图像编解码器，是WebRTC视频引擎的默认的编解码器
  VP8适合实时通信应用场景，因为它主要是针对低延时而设计的编解码器。
  PS:VPx编解码器是Google收购ON2公司后开源的，VPx现在是WebM项目的一部分，而WebM项目是Google致力于推动的HTML5标准之一

• b. Video Jitter Buffer
  视频抖动缓冲器，可以降低由于视频抖动和视频信息包丢失带来的不良影响。

• c. Image enhancements
  图像质量增强模块
  对网络摄像头采集到的图像进行处理，包括明暗度检测、颜色增强、降噪处理等功能，用来提升视频质量。

3. 模块细致讲解

WebRTC有三个模块，Voice Engine(音频引擎)，Video Engine(视频引擎)，Transport。

• Voice Engine包含iSAC/iLBC Codec(音频编解码器，前者是针对宽带和超宽带，后者是针对窄带)，NetEQ for voice(处理网络抖动和语音包丢失)，Echo Canceler(回声消除器)，Noise Reduction(噪声抑制)；

• Video Engine包含VP8 Codec(视频图像编解码器)，Video jitter buffer(视频抖动缓冲器，处理视频抖动和视频信息包丢失)，Image enhancements(图像质量增强)。

• Transport包含SRTP(安全的实时传输协议，用以音视频流传输)，Multiplexing(多路复用)，P2P，STUN+TURN+ICE(用于NAT网络和防火墙穿越的)。

安全传输可能还会用到DTLS(数据报安全传输)，用于加密传输和密钥协商。整个WebRTC通信是基于UDP的

国内方案厂商

声网、即构科技、环信、融云等公司都在基于WebRTC二次开发自己的音视频通话方案。

声网 https://www.agora.io/cn/
即构科技 https://www.zego.im/

WebRTC发展前景

WebRTC虽然冠以“web”之名，但并不受限于传统互联网应用或浏览器的终端运行环境。实际上无论终端运行环境是
浏览器、桌面应用、移动设备（Android或iOS）还是IoT设备，只要IP连接可到达且符合WebRTC规范就可以互通。
这一点释放了大量智能终端（或运行在智能终端上的app）的实时通信能力，打开了许多对于实时交互性要求较高的
应用场景的想象空间，譬如在线教育、视频会议、视频社交、远程协助、远程操控等等都是其合适的应用领域。

全球领先的技术研究和咨询公司Technavio最近发布了题为“全球网络实时通讯（WebRTC）市场，2017­2021”的报
告。报告显示，2017­2021年期间，全球网络实时通信（WebRTC）市场将以34.37％的年均复合增长率增长，增长
十分迅速。增长主要来自北美、欧洲及亚太地区。

文章借鉴：

1. https://blog.csdn.net/fishmai/article/details/69681595
2. https://blog.csdn.net/u011077027/article/details/86225524