webrtc学习笔记
内容整理自2019RTC大会webrtc工作坊李超老师演讲ppt
1.实时通信的主要矛盾
实时通信与网络传输的矛盾
网络传输质量与音视频服务质量的矛盾
2.webrtc能做啥
音视频实时互动
游戏，即时通讯，文件传输等
音视频处理（回音消除，降噪）
3.webrtc的主要内容
音视频采集
webrtc信令服务器的实现
NAT,STUN,TURN,ICE
媒体协商
webrtc使用的sdp
1对1实时通话
4.服务质量的主要内容
（1）TCP/UDP如何选择
（2）如何保证网络服务质量
延迟低，丢包 RTX
延迟高 FEC
jitterBuffer 网络平滑，防止乱序
（3）网络带宽的评估
GCC-REMB
GCC-TransportCC
基于丢包的评估算法
基于延迟的评估算法
（4）减少网络上传输的内容
固定带宽减少内容：动态码流，simulcast，SVC，业务定制
5.流媒体服务器的主要内容
多人互动架构方案
各媒体服务器架构模型
如何实现流媒体服务器
6.整体框架
7.音视频采集
枚举音视频设备
采集音视频数据
8.webrtc信令系统
信令系统的作用：
①让双方进入到同一个房间进行管理
②交换双方的媒体能力（SDP）
③交换双方的candidate数据
9.房间管理状态机
10.信令系统的实现
socket.io
websocket/protoo
11.客户端信令消息
join加入房间
leave离开房间
message端到端消息
12.端到端信令消息
offer消息
answer消息
candidate消息
13.服务端信令消息
joined已加入房间
otherjoin其他用户加入房间
full房间人数已满
leaved已离开房间
bye对方离开房间
14.直播系统消息处理流程
15.webrtc传输
NAT(network address translator)
STUN(simple traversal of UDP through NAT)
TURN(traversal using relays around NAT)
ICE(interactive connectivity establishment)
16.NAT类型
完全锥形NAT
地址限制锥形NAT
端口限制锥形NAT
对称性NAT
17.candidate类型
主机候选者
反射候选者
中继候选者
18.ICE具体做些什么
收集candidate
对candidate pair排序
连通性检查
19.candidate关系图
意思大概就是能直接用本机地址通信就直接用本机地址，不能的话就NAT，还不行的话就通过中继。
20.媒体协商过程
21.SDP规范
（1）会话层
会话的名称与目的
会话的存活时间
会话中包括多个媒体信息
（2）媒体层
媒体格式
传输协议
传输IP与端口
媒体负载类型
22.webrtc中的SDP
SDP组成：会话元，网络描述，流描述，安全描述，服务质量
23.客户端流程图
（1）加入房间
（2）离开房间
24.端对端连接的基本流程
25.多人音视频架构
mesh方案
MCU方案
SFU方案
26.mesh通信模型
所有人之间两两建立P2P连接
27.MCU通信模型
multipoint conference unit
服务器把所有人的视频合并为一路视频，音频合并成一路音频，并转发给所有人，注意。给一个人转发的混合后的音视频不包含这个人本身的音视频。
优点是带宽小，缺点是不够灵活，因为每个终端收到的都是混合后的一路音视频，无法在客户端侧分别处理各路音视频。
28.SFU通信模型
selective forwarding unit
中心服务器转发，将收到的音视频转发给所有其他人。
这样每个终端都能收到分开的各路音视频，可以灵活的进行处理，但占用带宽大。
29.一些成熟的开源架构
mediasoup架构
medooz架构
janus架构
licode架构
30.DTLS协议
