webRTC学习笔记(一)

1.webRTC

webRTC是免费开源项目提供浏览器和手机应用之间实时通信能力的简单API

  • getUserMedia() 捕获音视频

  • MediaRecorder() 记录音视频

  • RTCPeerConnection() 点对点传输音视频

  • RTCDataChannel() 点对点传输流数据

  • 适用设备

    • Firefox, Opera,Chrome桌面和移动端浏览器
    • 原生安卓和ios应用
  • 信令
    使用RTCPeerConnection来传输流式数据,也需要一种机制来协调通信双方,信令就是其中一种方式

  • STUN and TURN
    WebRTC需要应对现实网络问题:穿越NAT网关和防火墙和连接错误时的回退
    WebRTC API使用STUN服务器来获取你电脑的IP地址和TRUN服务器来作用于连接错误时的回退

  • 安全性
    WebRTC的组件都是需要私密连接才能使用(https),信令机制没有webRTC的标准,可以由自己来使用安全的协议

2.获取本地视频流

调用getUserMedia()即可获取本地视频流

'use strict';

navigator.getUserMedia = navigator.getUserMedia ||
    navigator.webkitGetUserMedia || navigator.mozGetUserMedia;

var constranints={
    audio: false,
    video: true
};

var video=document.querySelector('video');

function success(stream){
    window.stream=stream;
    if(window.URL){
        video.src=window.URL.createObjectURL(stream);
    }
    else{
        video.src=stream;
    }
}

function error(error){
    console.log('error: ',error);
}

navigator.getUserMedia(constranints,success,error);
  • 流对象会传递给getUserMedia的成功回调函数
  • getUserMedia第一个参数为约束对象,可以定义对音视频流的限制限制条件

3.传输音视频

  • RTCPeerConnection对象
    RTCPeerConnection对象的功能是维护浏览器内会话和对等连接的状态,以及对等UDP连接的建立。它将所有的这些封装起来并暴露出一系列的事件。

  • 信号传递和交涉
    需要交涉的信息有:

    • IP地址和端口号
    • 设备支持哪些协议
    • 音视频解码器
      这个过程就是WebRTC中的发送信令和交涉,主要有以下几个步骤:
      1.有对等的连接的候选列表
      2.用户选择一个用户去连接
      3.信令层通知那个用户有人想连接他,用户可以选择接受和拒绝
      4.当连接请求被接受时,第一个用户会被通知
      5.接受后,第一个用户初始化RTCPeerConnection
      6.双方通过信令通道交换各自电脑的软硬件信息
      7.双方通过信令通道交换各自电脑的位置信息
      8.用户之间开始连接
  • SDP
    SDP中包含有一个指定用户的描述、时间配置和对媒体的限制,相当于电脑的名片,在建立连接前需要交换双方电脑的软硬件信息

  • 找到一条清晰的路线连接其他用户
    建立连接前,首先要找到你的IP地址,但是当网路位于路由器之后时,路由器会隐藏你的IP地址用其他地址来替代,这是就需要用STUN和TURN

    • STUN服务器
      可以先发一个请求给STUN服务器,开启STUN协议,服务器就能识别出请求客户端的IP,并将其返回给客户端,客户端就能拿到自己在公网中的IP地址
    • TRUN服务器
      受防火墙限制,可能不允许基于STUN的访问,这种情况下,可以在对等连接的双方之间增加一个转播,TURN服务器去下载、处理并重定向每一个用户发过来的数据包
  • ICE(交互式连接建立)
    是一种将STUN和TURN结合起来的标准,一步一步发现双方网络的建立方式,以此来建立一个成功的连接

  • 基本WebRTC应用
    在建立连接时需要经历的过程:
    1.测试浏览器是否支持
    2.创建对等连接对象
    3.添加ICE处理器
    4.开始Offer和返回,寻找ICE候选路径
    5.建立连接
    创建RTCPeerConnection对象时,可以指定自定义ICE服务器,也可以使用浏览器默认提供的ICE服务器

4.传输数据

使用RTCPeerConnection和RTCDataChannel对象来交换文本数据。
可以通过connect对象来创建channel对象并设置传输数据的约束条件,channel对象与websocket类似,有send方法和message事件

5.建立一个信号交换服务

为了建立和维持webRTC服务器和客户端,需要交换通信双方的数据,包括:

  • 网络信息
  • 媒体信息,包括分辨率和解码器
    因此,我需要一个信号服务器,可以在不同webRTC终端之间交换信息,实际的信息都是json对象格式

你可能感兴趣的:(webRTC学习笔记(一))