WebRTC架构的简单分析

[原文地址]：https://blog.csdn.net/temotemo/article/details/7530504

1、简介

WebRTC是一项在浏览器内部进行实时视频和音频通信的技术，是谷歌2010年以6820万美元收购Global IP Solutions公司而获得的一项技术。WebRTC提供了视频会议的核心技术，包括音视频的采集、编解码、网络传输。

2、WebRTC架构图

3、WebRTC架构组件介绍

(1) Your Web App

Web开发者开发的程序，Web开发者可以基于集成WebRTC的浏览器提供的web API开发基于视频、音频的实时通信应用。

(2) Web API

面向第三方开发者的WebRTC标准API（Javascript），使开发者能够容易地开发出类似于网络视频聊天的web应用。

(3) Transport / Session

传输/会话层，会话层组件采用了libjingle库的部分组件实现。主要组件如下：

RTP(real time protocol)协议栈
RTP详解 : https://blog.csdn.net/u011006622/article/details/80675054
STUN & ICE
STUN & ICE 详解 : https://www.cnblogs.com/pannengzhi/p/5041546.html
https://www.cnblogs.com/pannengzhi/p/5061674.htm
Session Management
一个抽象的会话层，提供会话建立和管理功能。该层协议留给应用开发者自定义实现。

(5) VoiceEngine

VoiceEngine 详解 :
https://blog.csdn.net/nonmarking/article/details/50574733
音频引擎是包含一系列音频多媒体处理的框架，包括从视频采集卡到网络传输端等整个解决方案。
PS：VoiceEngine是WebRTC极具价值的技术之一，是Google收购GIPS公司后开源的。在VoIP上，技术业界领先。
a. iSAC
Internet Speech Audio Codec
针对VoIP和音频流的宽带和超宽带音频编解码器，是WebRTC音频引擎的默认的编解码器。
b. iLBC
Internet Low Bitrate Codec
VoIP音频流的窄带语音编解码器。
c. NetEQ for Voice
NetEQ for Voice 详解 : https://blog.csdn.net/u014338577/article/details/46010983
针对音频软件实现的语音信号处理元件。
NetEQ算法：自适应抖动控制算法以及语音包丢失隐藏算法。使其能够快速且高解析度地适应不断变化的网络环境，确保音质优美且缓冲延迟最小。
是GIPS公司独步天下的技术，能够有效的处理由于网络抖动和语音包丢失时候对语音质量产生的影响。
d. Acoustic Echo Canceler (AEC)
回声消除器是一个基于软件的信号处理元件，能实时的去除mic采集到的回声。
e. Noise Reduction (NR)
噪声抑制也是一个基于软件的信号处理元件，用于消除与相关VoIP的某些类型的背景噪声（嘶嘶声，风扇噪音等等… …）

(6) VideoEngine

VideoEngine详解 : https://blog.csdn.net/nonmarking/article/details/47375849
WebRTC视频处理引擎。
VideoEngine是包含一系列视频处理的整体框架，从摄像头采集视频到视频信息网络传输再到视频显示整个完整过程的解决方案。
a. VP8
视频图像编解码器，是WebRTC视频引擎的默认的编解码器。
VP8适合实时通信应用场景，因为它主要是针对低延时而设计的编解码器。
PS:VPx编解码器是Google收购ON2公司后开源的，VPx现在是WebM项目的一部分，而WebM项目是Google致力于推动的HTML5标准之一。
b. Video Jitter Buffer
视频抖动缓冲器，可以降低由于视频抖动和视频信息包丢失带来的不良影响。
c. Image enhancements
图像质量增强模块。
对网络摄像头采集到的图像进行处理，包括明暗度检测、颜色增强、降噪处理等功能，用来提升视频质量。