搭建AppRTC服务器 (AppRTC+Collider+Coturn) 2019

本文介绍使用域名 HTTPS 的方式部署AppRTC服务，信令服务和STURN/TURN服务。
本文使用虚拟机桥接模式下的Ubuntu18.04系统和小飞机代理。
因为项目需要本地搭建一个AppRTC服务器，研究了好几天才基本弄完，但是也只是Web端可以访问，好多坑( ⊙ o ⊙ )，记录一下。

0 准备工作

0.1 配置代理

服务器使用Ubuntu，服务器端需要用代理的时候，使用Shadowsocks + Proxychains代理方式。

0.1.1 SS

安装SS

sudo apt-get install s

配置文件ss.json，使用1080本地端口

{
    "server":"sample.com", 	# 代理服务器
    "server_port":1234,		# 端口
    "local_address":"0.0.0.0",
    "local_port":1080,
    "password":"password",	# 远程服务密码
    "timeout":300,
    "method":"aes-256-cfb"
}

启动SS

sudo sslocal -c ./ss-liming.json -d start

0.1.2 Proxychains4

Ubuntu可以直接安装Proxychains4 或 Proxychains。

sudo apt-get install proxychains4

配置文件/etc/proxychains4.conf添加

socks5 127.0.0.1 1080

使用方式
任何需要代理的命令，可以在命令前面添加proxychains4，比如

proxychains4 curl xxxx
proxychains4 wget xxxx
sudo proxychains4 apt-get install xxxx
或者
proxychains bash

0.1.3 npm代理方式*

这个等需要代理的时候再设置。
设置代理

npm config set proxy=http://127.0.0.1:1080
npm config set https-proxy http://127.0.0.1:1080

删除代理

npm config delete proxy
npm config delete https-proxy

0.2 Google App Engine SDK，以及创建gcloud工程

GAE SDK是AppRTC部署工具，有好几个版本，我选用的是Node.js版本，不着急安，往下看。

0.2.1 Node.js & npm

可以安装Ubuntu仓库的版本，也可以使用官网介绍安装最新版本。

sudo apt-get install nodejs npm

0.2.2 Java

安装OpenJDK

sudo apt-get install openjdk-8-jdk

0.2.2 Google Cloud SDK

项目地址 https://cloud.google.com/sdk/docs/#linux ，Linux可以下载通用的二进制包，配置环境变量。方便起见，Ubuntu可以使用在线下载的方式。

Ubuntu在线安装GCloud SDK，注意：需要代理的命令前加proxychains4。

## 添加源
export CLOUD_SDK_REPO="cloud-sdk-$(lsb_release -c -s)"
echo "deb http://packages.cloud.google.com/apt $CLOUD_SDK_REPO main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -

## 安装
sudo apt-get update
sudo apt-get install google-cloud-sdk
sudo apt-get install google-cloud-sdk-app-engine-python
sudo apt-get install google-cloud-sdk-datastore-emulator
sudo apt-get install google-cloud-sdk-app-engine-python-extras

0.2.3 初始化Google Cloud

gcloud init
# proxychains4 gcloud init

提示登录Google账号，按Y确认，出现登录链接，把这个链接粘到浏览器，登陆后返回验证字符串，再粘到下面的。

如果电脑安装了浏览器会自动打开浏览器进行登录验证，若浏览器出现跳转错误，那就把浏览器先卸了。
如果还是出错，先执行proxychains gcloud auth login --no-launch-browser认证，然后再gcloud init。

Go to the following link in your browser:
    https://accounts.google.com/o/oauth2/auth?...
Enter verification code: 

提示使用已存在的GCloud工程或者创建新工程。

Pick cloud project to use: 
 [1] apprtc-237109
 [2] Create a new project

可以选创建新工程直接输入小写字母的工程名字，但是可能会创建失败。
如果创建失败，则可以在浏览器中自己创建工程，然后直接选已存在的工程即可。GCloud工程管理链接：
https://console.cloud.google.com/cloud-resource-manager 。

0.3 域名与证书

HTTPS 方式部署 AppRTC 需要证书，如果有域名的话可以申请 CA 证书，参考另一篇文章《快速申请 Let’s Encrypt 免费SSL证书 / CA证书》。
如果使用的服务器没有公网 IP，可以配置服务器和本机hosts文件，使其域名都指向该服务器IP。如果有公网 IP 应设置域名A记录指向服务器IP。

进入正题~
AppRTC是会议服务，Collider是信令服务，Coturn是中继服务。可以一个一个部署。

1. AppRTC

这一步先测试AppRTC服务，使用Google默认的信令和TURN服务。

1.1 下载源码

git clone https://github.com/webrtc/apprtc.git

1.2 安装node.js依赖

npm install
npm install grunt # 编译工具

如果出现连接问题的话要设置npm代理

npm config set proxy=http://127.0.0.1:1080
npm config set https-proxy http://127.0.0.1:1080

如果有其他错误，可以按照提示执行npm audit fix修复，可能会反复执行几遍npm install和npm audit fix。

1.3 安装node.js依赖

sudo apt install python-pip
pip install -r requirements.txt

如果需要代理可以试试

proxychains pip install -r requirements.txt

1.4 安装JDK

前面没安装JDK的话，需要安装JDK。可以自行下载 Oracle JDK 安装，配置环境变量。方便起见可以在线安装OpenJDK。

apt-get install openjdk-8-jdk

1.5 编译

保证这步没有错误

# sudo npm install grunt -g # 先安装grunt
grunt build

1.6 部署运行

这一步介绍使用默认信令和TURN服务部署AppRTC，仅作测试使用，完全部署必须配置信令服务和TURN服务。
建议配置其他服务之前先保证此测试服务正常。

1.6.1 HTTP 方式

<path to gclud sdk>/dev_appserver.py --host <server-ip> ./out/app_engine

注意：
离线安装GCloud，dev_appserver.py 文件位于google-cloud-sdk/bin/目录下，
在线安装的方式，位于/usr/lib/google-cloud-sdk/bin/目录下。若该目录已经添加到PATH，则可以直接执行dev_appserver.py。

1.6.2 HTTPS 方式

需要证书，我使用的是域名apprtc.lmshao.com和相应的证书，不知道使用IP和自签名证书是否可行。因为使用的虚拟机没有公网IP，我把服务器的hosts的域名指到了服务器的IP了。
命令行指定域名和证书路径，和生成程序的路径./apprtc/out/app_engine。

dev_appserver.py --host apprtc.lmshao.com ./apprtc/out/app_engine --ssl_certificate_path /cert/cert.pem --ssl_certificate_key_path /cert/key.pem --skip_sdk_update_check

我这里会提示默认服务地址:

• http://apprtc.lmshao.com:8080
• https://apprtc.lmshao.com:8081

我在我的Windows电脑上也设置了hosts，Chrome不支持WebRTC通过http方式链接，使用Chrome可以打开这个https的链接了。
注意：因为这里只配置了AppRTC 服务，其他使用的是Google默认服务，所以客户端需要打开小飞机代理，又因为虚拟机配置了hosts，所以应该使用小飞机的PAC模式。
到目前为止打开浏览器应该可以正常使用了，只是参会人数默认有2人限制。如果这一步出错，就不要进行下面的了，先把这步走通再继续。

1.6.3 常见问题

问题 1
Chrome浏览器不支持 HTTP 方式使用 WebRTC 服务器，会导致没法获取摄像头数据，Firefox有可能会支持。最好的方式是使用HTTPS方式部署。
没有域名的话可以配置服务器和本机的hosts文件，把特定域名指向服务器的IP地址。

问题2
至此使用的是默认的Google 信令和TURN服务，客户端访问需要开PAC代理，否则没法正常视频会议。

2. Collider 信令服务

2.1 安装Golang

sudo apt-get install golang

2.2 配置Go工作区

创建快捷方式

export GOPATH=$HOME/goWorkspace/
mkdir $GOPATH/src
ln -s `pwd`/apprtc/src/collider/collider $GOPATH/src
ln -s `pwd`/apprtc/src/collider/collidermain $GOPATH/src
ln -s `pwd`/apprtc/src/collider/collidertest $GOPATH/src

2.3 安装collidermain

安装依赖

go get collidermain
# proxychains go get collidermain

每次重新编译apprtc，都要安装一次

go install collidermain

2.4 运行 Collider 服务

命令行指定参数，通常使用的就是8089端口，tls使用加密方式secure websocket，这里指的是apprtc服务与collider之间的连接，room-server指的是AppRTC的服务地址，使用https方式的8081端口。

需要把证书和秘钥文件放在/cert目录下，即/cert/cert.pem /cert/key.pem。

goWorkspace/bin/collidermain -port=8089 -tls=true -room-server="https://apprtc.lmshao.com:8081"

---

如果命令行未指定参数，则从文件中读取。所以也可以通过修改配置文件指定参数apprtc/src/collider/collidermain/main.go 。

var tls = flag.Bool("tls", true, "whether TLS is used")
var port = flag.Int("port", 8089, "The TCP port that the server listens on")
var roomSrv = flag.String("room-server", "https://263.net:8081", "The origin of the room server")

注意：
修改文件后，要重新编译apprtc、安装collidermain

cd apprtc
grunt build
go install collidermain

---

2.5 配置AppRTC 使用 Collider

修改apprtc/src/app_engine/constants.py，把WSS_INSTANCE_HOST_KEY值host_port_pair改为 Collider的地址apprtc.lmshao.com:8089。

#WSS_INSTANCE_HOST_KEY = 'host_port_pair'
WSS_INSTANCE_HOST_KEY = '263.net:8089'
WSS_INSTANCE_NAME_KEY = 'vm_name'
WSS_INSTANCE_ZONE_KEY = 'zone'
WSS_INSTANCES = [{
    WSS_INSTANCE_HOST_KEY: '263.net:8089',
    WSS_INSTANCE_NAME_KEY: 'wsserver-std',
    WSS_INSTANCE_ZONE_KEY: 'us-central1-a'
}, {
    WSS_INSTANCE_HOST_KEY: '263.net:8089',
    WSS_INSTANCE_NAME_KEY: 'wsserver-std-2',
    WSS_INSTANCE_ZONE_KEY: 'us-central1-f'
}]

WSS_INSTANCES数组两个信令服务器可以删除一个

重新编译AppRTC

cd apprtc
grunt build
go install collidermain

先运行Collider

goWorkspace/bin/collidermain -port=8089 -tls=true -room-server="https://apprtc.lmshao.com:8081"

dev_appserver.py --host apprtc.lmshao.com ./apprtc/out/app_engine --ssl_certificate_path /cert/cert.pem --ssl_certificate_key_path /cert/key.pem --skip_sdk_update_check

如果不加Collider之前AppRTC可以正常工作，那么这时应该也可以参会。若不能参会，打开小飞机PAC代理试试。

3. Coturn TURN服务

3.1 在线安装

Ubuntu可以在线安装，能自动安装其他依赖项libevent等多个库。

sudo apt-get install coturn

3.1 离线安装*

安装libevent

$ wget https://github.com/downloads/libevent/libevent/libevent-2.0.21-stable.tar.gz
$ tar xvfz libevent-2.0.21-stable.tar.gz
$ cd libevent-2.0.21-stable
$ ./configure
$ make
$ sudo make install

安装SQLite3

略

安装CoTurn

$ wget https://coturn.net/turnserver/v4.5.0.8/turnserver-4.5.0.8.tar.gz
$ tar xvfz turnserver*.tar.gz
$ ./configure
$ make
$ sudo make install

3.3 配置

创建用户

$ sudo turnadmin -a -u 用户名 -p 密码 -r 域(写你自己服务器的IP/域名)
$ sudo turnadmin -a -u liming -p 12345678 -r apprtc.lmshao.com

可以查看用户

$ turnadmin -l
liming[apprtc.lmshao.com]

3.4 启动CoTurn服务

参数可以直接命令行指定，也可以用配置文件，默认参数会使用配置文件/etc/turnserver.conf的参数。

sudo turnserver -v -L 192.168.198.135 -a -f -r apprtc.lmshao.com -u liming:12345678 --cer /cert/cert.pem --pkey /cert/key.pem

详细参数说明

参数	说明
-v	日志输出级别
-L	绑定网卡IP
-a	使用长期凭证机制，turn中继转发模式，必须使用长期凭证机制
-f	指定 turn 消息使用 fingerprint
-r	指定域名
-u	用户名密码 -u user:password
–cert	证书路径
–pkey	秘钥路径
-c	指定配置文件，否则使用默认配置文件/etc/turnserver.conf

最简单的启动参数

# 前台进程
$ turnserver -L  -a -f -r 
# 后台服务
$ turnserver -L  -o -a -f -r 

测试CoTurn服务

turnutils_uclient apprtc.lmshao.com -u liming -w 12345678
turnutils_uclient 域名 -u 用户名 -w 密码

正常情况下运行不出错的话，过一会会出现测试结果。

3.5 配置AppRTC启动CoTurn

编辑 apprtc/src/app_engine/constants.py，重新编译执行即可。

#ICE_SERVER_OVERRIDE = None

# Enable by uncomment below and comment out above, then specify turn and stun

ICE_SERVER_OVERRIDE  = [
  {
    "urls": [
      "turn:apprtc.lmshao.com:3478?transport=udp",
      "turn:apprtc.lmshao.com:3478?transport=tcp"
    ],
    "username": "liming",
    "credential": "12345678"
  },
  {
    "urls": [
      "stun:apprtc.lmshao.com:3478:3478"
    ]
  }
]

ICE_SERVER_BASE_URL = 'https://networktraversal.googleapis.com'
ICE_SERVER_URL_TEMPLATE = '%s/v1alpha/iceconfig?key=%s'
ICE_SERVER_API_KEY = os.environ.get('ICE_SERVER_API_KEY')

4. AppRTC & Collider & Coturn

4.1 AppRTC配置

至此，这个服务都配置好了，下面是完整的apprtc/src/app_engine/constants.py配置。

# Copyright 2015 Google Inc. All Rights Reserved.

"""AppRTC Constants.

This module contains the constants used in AppRTC Python modules.
"""
import os

# Deprecated domains which we should to redirect to REDIRECT_URL.
REDIRECT_DOMAINS =  [
  'apprtc.appspot.com', 'apprtc.webrtc.org', 'www.appr.tc'
]
# URL which we should redirect to if matching in REDIRECT_DOMAINS.
REDIRECT_URL = 'https://appr.tc'

ROOM_MEMCACHE_EXPIRATION_SEC = 60 * 60 * 24
MEMCACHE_RETRY_LIMIT = 100

LOOPBACK_CLIENT_ID = 'LOOPBACK_CLIENT_ID'

# Turn/Stun server override. This allows AppRTC to connect to turn servers
# directly rather than retrieving them from an ICE server provider.

# ICE_SERVER_OVERRIDE = None

# Enable by uncomment below and comment out above, then specify turn and stun

ICE_SERVER_OVERRIDE  = [
  {
    "urls": [
      "turn:apprtc.lmsaho.com:3478?transport=udp",
      "turn:apprtc.lmsaho.com:3478?transport=tcp"
    ],
    "username": "liming",
    "credential": "12345678"
  },
  {
    "urls": [
      "stun:apprtc.lmsaho.com:3478"
    ]
  }
]

ICE_SERVER_BASE_URL = 'https://networktraversal.googleapis.com'
ICE_SERVER_URL_TEMPLATE = '%s/v1alpha/iceconfig?key=%s'
ICE_SERVER_API_KEY = os.environ.get('ICE_SERVER_API_KEY')

# Dictionary keys in the collider instance info constant.

WSS_INSTANCE_HOST_KEY = 'apprtc.lmsaho.com:8089'
WSS_INSTANCE_NAME_KEY = 'vm_name'
WSS_INSTANCE_ZONE_KEY = 'zone'
WSS_INSTANCES = [{
    WSS_INSTANCE_HOST_KEY: 'apprtc.lmsaho.com:8089',
    WSS_INSTANCE_NAME_KEY: 'wsserver-std',
    WSS_INSTANCE_ZONE_KEY: 'us-central1-a'
}
#, {
#    WSS_INSTANCE_HOST_KEY: 'apprtc.lmsaho.com:8089',
#    WSS_INSTANCE_NAME_KEY: 'wsserver-std-2',
#    WSS_INSTANCE_ZONE_KEY: 'us-central1-f'
#}
]

WSS_HOST_PORT_PAIRS = [ins[WSS_INSTANCE_HOST_KEY] for ins in WSS_INSTANCES]

# memcache key for the active collider host.
WSS_HOST_ACTIVE_HOST_KEY = 'wss_host_active_host'

# Dictionary keys in the collider probing result.
WSS_HOST_IS_UP_KEY = 'is_up'
WSS_HOST_STATUS_CODE_KEY = 'status_code'
WSS_HOST_ERROR_MESSAGE_KEY = 'error_message'

RESPONSE_ERROR = 'ERROR'
RESPONSE_ROOM_FULL = 'FULL'
RESPONSE_UNKNOWN_ROOM = 'UNKNOWN_ROOM'
RESPONSE_UNKNOWN_CLIENT = 'UNKNOWN_CLIENT'
RESPONSE_DUPLICATE_CLIENT = 'DUPLICATE_CLIENT'
RESPONSE_SUCCESS = 'SUCCESS'
RESPONSE_INVALID_REQUEST = 'INVALID_REQUEST'

IS_DEV_SERVER = os.environ.get('APPLICATION_ID', '').startswith('dev')

BIGQUERY_URL = 'https://www.googleapis.com/auth/bigquery'

# Dataset used in production.
BIGQUERY_DATASET_PROD = 'prod'

# Dataset used when running locally.
BIGQUERY_DATASET_LOCAL = 'dev'

# BigQuery table within the dataset.
BIGQUERY_TABLE = 'analytics'

注意修改完重新编译AppRTC

cd apprtc
grunt build
go install collidermain

4.2 启动服务

IP用户名密码改为相应的值。

Collider

nohup goWorkspace/bin/collidermain -port=8089 -tls=true -room-server="https://apprtc.lmshao.com:8081" >> log/collider.log &

Coturn

sudo turnserver -v -L 192.168.198.135 -o -a -f -r apprtc.lmshao.com -u liming:12345678 --cer /cert/cert.pem --pkey /cert/key.pem -l log/coturn.log

AppRTC

nohup dev_appserver.py --host apprtc.lmshao.com ./apprtc/out/app_engine --ssl_certificate_path /cert/cert.pem --ssl_certificate_key_path /cert/key.pem --skip_sdk_update_check >> log/apprtc.log &

浏览器访问有如下效果

4.3 Nginx反向代理

上面的部署如果使用 https://apprtc.263.net:8081访问没问题，一旦使用http://apprtc.263.net:8081 访问，AppRTC服务就会报错导致服务卡死，必须重启AppRTC服务。
可以使用Nginx反向代理方式，设置http自动跳转到https，并隐藏服务端口。

sudo apt-get install nginx

编辑默认配置文件
/etc/nginx/sites-available/default

# 跳转到 apprtc.lmshao.com:8081
upstream apprtc {
        server apprtc.lmshao.com:8081;
} 

# http 跳转到 https
server {
        listen 80;
        server_name apprtc.lmshao.com;
        rewrite ^(.*) https://$server_name$1 permanent;
}

server {
        # SSL configuration
        #
        listen 443 ssl default_server;
        listen [::]:443 ssl default_server;

        server_name apprtc.lmshao.com;

        ssl_certificate /cert/cert.pem;
        ssl_certificate_key /cert/key.pem;

        index index.html index.htm index.nginx-debian.html;

        location / {
                #try_files $uri $uri/ =404;
                proxy_pass https://apprtc;
                
                # 必须加这句
                proxy_set_header Host $host;

                # 传递远端IP
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header REMOTE-HOST $remote_addr;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        }
}

Nginx 服务管理

# 启动
sudo nginx
# 停止
sudo pkill -9 nginx

如果没出错的话，浏览器访问就可以参会了~

5. 总结

主要参考AppRTC的官方文档进行部署的，摸索了好几天，遇到了好多坑。目前Web参会没问题，Android Demo参会有问题，还没搞定。
东西太多，记录一下，如果能给后来者参考，少走弯路就更好了。
欢迎交流。