音视频绕不开的话题之WebRTC

什么是WebRTC？

闲来无事，我们今天探讨下音视频绕不开的一个话题：WebRTC。WebRTC之于音视频行业，无异于FFMpeg，可以说WebRTC的开源，让音视频行业大跨步进入发展快车道。

WebRTC是一个支持实时音视频通信的开源项目，它允许网络应用或者站点在无需安装任何插件或者第三方的软件的情况下，建立浏览器之间点对点的(Peer-to-Peer)的音视频通信。

WebRTC项目由三个模块组成：媒体模块、信令模块和网络模块。

1. 媒体模块：主要负责音视频的采集、编解码以及加密等处理，其中音视频的采集和编解码过程分别使用了G.711、H.264和Opus等音视频编解码协议，这些协议可以在保证音视频质量的同时，尽可能地减少传输的数据量，从而提高通信效率。
2. 信令模块：主要负责在通信过程中提供信令交换的支持，包括建立通信连接、协商通信参数以及管理通信过程等功能。
3. 网络模块：主要负责音视频数据的传输，包括数据包的发送和接收，同时还支持对等网络连接的建立和维护。

WebRTC的发展历程

2010年5月，Google以6820万美元收购VoIP软件开发商Global IP Solutions的GIPS引擎，并改为名为“WebRTC”。WebRTC使用GIPS引擎，实现了基于网页的视频会议，并支持722，PCM，ILBC，ISAC等编码，同时使用谷歌自家的VP8视频解码器；同时支持RTP/SRTP传输等。

谷歌2011年6月3日宣布向开发人员开放WebRTC架构的源代码。这个源代码将根据没有专利费的BSD（伯克利软件发布）式的许可证向用户提供。开发人员可访问并获取WebRTC的源代码、规格说明和工具等。 [2]

Google Chrome：2012年1月，将WebRTC集成进Dev Channel，同年6月又完成Stable Channel的20版的集成（2012年7月，PeerConnection与MediaStream仍必须透过chrome://flags page来打开）。

Mozilla Firefox：2012年初Mozilla集成WebRTC入Firefox Alpha，此一版本的Audio Mixing已完成于Media Stream。

2012年1月，谷歌已经把这款软件集成到Chrome浏览器中。同时FreeSWITCH项目宣称支持iSAC audio codec。

2012年4月，Mozilla展示Firefox中WebRTC的视频对话。

2013年6月，发布22.0版本正式集成及支持WebRTC。

2013年9月，发布24.0版本，并宣布Firefox for Android（移动版）正式集成及支持WebRTC。

Opera：2012年1月，Opera初步集成WebRTC。

Internet Explorer：Microsoft开始开放API。

Ericsson：2012年11月，Ericsson Labs做出了全世界第一个可以支持WebRTC的手机浏览器。

SeaMonkey：2013年1月发布的15.0版本初步集成WebRTC。

2019年10月22日，W3C WebRTC 工作组（Web Real-Time Communications Working Group）发布 WebRTC 可伸缩视频编码（SVC）扩展（Scalable Video Coding (SVC) Extension for WebRTC）的首个公开工作草案（First Public Working Draft）。 文档定义了 WebIDL 中的一组 ECMAScript APIs 来扩展 WebRTC 1.0 API，以允许用户代理支持可伸缩视频编码（SVC）。 [5]

2022年3月15日，W3C 媒体工作组发布自动播放策略检测（Autoplay Policy Detection）规范的首个公开工作草案。该规范为开发者提供了一种能力，用以探测在不同情况下是否允许自动开始播放媒体文件。欢迎公众通过 Github 反馈对该文档的意见与建议。

WebRTC用途

WebRTC的用途有以下几个方面：

1. 网页实时通信：WebRTC的主要目的是实现网页间的实时通信，包括音视频通话、屏幕共享等。通过WebRTC技术，用户可以在不安装任何插件或第三方软件的情况下，在网页上直接进行实时音视频通信，大大提高了通信的便捷性和效率。
2. 点对点通信：WebRTC支持点对点的通信方式，这种通信方式可以在对等体之间直接建立连接，避免了传统通信方式中的服务器中转，提高了通信效率和可靠性。
3. 安全性保障：WebRTC使用了一些安全机制，如DTLS和SRTP等协议，对音视频数据进行加密和完整性保护，保障了通信的安全性。
4. 跨平台：WebRTC可以在各种支持HTML5的浏览器中使用，包括PC、移动设备和智能电视等设备，可以跨平台使用。
5. 灵活的扩展性：WebRTC提供了丰富的API和接口，可以方便地进行定制和扩展，可以满足不同场景下的需求。

WebRTC通信原理

WebRTC将媒体采集、编码、传输、解码、渲染等功能集成在一起，并通过一些安全机制和网络传输技术，实现了实时、安全、高效的音视频通信。

​通信原理主要包括以下几个步骤：

1. 媒体采集：在通信开始前，用户通过WebRTC的API，将本地的音视频数据采集到应用中。
2. 媒体编码：在媒体采集后，WebRTC会对音视频数据进行编码，以便进行后续的传输和处理。WebRTC支持多种音视频编码协议，如H.264、G.711和Opus等。
3. 媒体数据传输：在媒体编码后，WebRTC会将音视频数据传输到对等体之间。WebRTC支持点对点（P2P）的通信方式，可以在对等体之间直接建立连接，避免了传统通信方式中的服务器中转，提高了通信效率和可靠性。
4. 媒体解码：在接收到对等体传来的音视频数据后，WebRTC会对这些数据进行解码，还原成原始的音视频流。
5. 媒体渲染：在音视频数据解码后，WebRTC会将音视频数据进行渲染，以便用户可以听到和看到对方的音视频信息。
6. 数据加密和完整性保护：在音视频数据传输过程中，WebRTC使用了一些安全机制，如DTLS和SRTP等协议，对音视频数据进行加密和完整性保护，保障了通信的安全性。
7. 网络传输和连接管理：WebRTC还提供了网络传输和连接管理的功能，包括信令传输、网络状态检测、连接管理等功能，以保证通信的稳定性和可靠性。