socket.io在node cluster模式下的解决方案

写在前面

本文旨在描述cluster模式下的socket.io连接解决方案，假设读者已经了解了websocket协议和socket.io。相关扫盲请参阅以下文献：
《WebSocket 教程 by 阮一峰》
What-Socket-IO-is

socket.io建立通信过程

默认地，一个long-polling连接将被首先创建，接着会发送一个websocket upgrading请求，服务端响应该请求，从而建立起websocket通信。
流程如下：

1. 向服务端请求创建唯一的session，该session存储在内存中（long-polling）
2. 客户端拿到这个session id后，发出一个升级请求，请求升级为使用websocket协议通信HTTP/1.1 101 Web Socket Protocol Handshake
3. 通信协议升级成功

Tip: 这里附上long-polling通信扫盲，及其简易实现。

cluster模式下的问题

由于cluster下多个进程间拥有自己独立的运行空间，这就要求从long-polling通信升级到websocket通信的过程中，多次请求都落到最初创建session的服务端，否则，就会导致unknown session id，造成通信失败的后果。我们可以将这个过程称为session sticky。

session sticky思路

归根结底，解决这个问题的关键就在于how to sticky session。一般地，我们可以通过ip hash的方式，即将来源于同一个IP的所有请求，负载到相同的服务器，这样就达到了最终目的。此外，我们也可以通过其他hash的方式来进行session sticky，只要该方式能够唯一标识用户即可（例如cookie）。

Note: 采用ip hash的方式，实际操作中可能会导致一定程度上负载不均，由于运营商的原因，会导致许多客户端请求共用同一个外网地址，可以在实现上酌情进行调整。

nginx + node cluster + socket.io

具体解决场景基于nginx，node cluster和socket.io实现。
基本思路是，nginx作为负载服务器处理所有socket.io path请求，根据ip hash进行session sticky。最终，将同一个客户端来源请求负载到相同的socket.io server上。

Note: 其中node cluster模式通过pm2开启。

1. socket.io创建socket通信实例（即socket.io server），并根据子进程child worker id创建并监听独立的端口号
2. nginx处理upgrade websocket请求
3. 声明upstream，采用ip hash进行session sticky负载

socket.io部分代码

// ... 
// pm2集群模式下的子进程实例编号，根据CPU cores数量生成（从0开始，直至cores.length - 1）
var WORKER_PROCESS = process.env.NODE_APP_INSTANCE || '0';
var port = 4000;
var sioPort = port + WORKER_PROCESS; // 40000, 40001, ... 4000n
// 创建socket.io server
var io;
io = new socketIO({
    path: '/wspath',
    transports: ['polling', 'websocket']
});
io.attach(sioServer);
sioServer.listen(sioPort, function () {
    console.log('socket.io server listening on *:' + sioPort);
});

nginx部分代码

http {
  server {
    listen 4000;
    server_name io.yourhost.com;

    location /wspath {
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header Host $host;

      proxy_pass http://cluster;

      # enable WebSockets
      proxy_http_version 1.1;
      proxy_set_header Upgrade $http_upgrade;
      proxy_set_header Connection "upgrade";
    }
  }

  upstream cluster {
    # enable sticky session based on IP
    ip_hash;

    server node:40000;
    server node:40001;
    server node:40002;
    server node:40003;
  }
}

结语

本文仅仅讲述了node cluster模式下的session sticky方案，在实际项目中，服务器架构可能如下图所示，仅供参考：

cluster servers + node cluster

参考文献

https://nodejs.org/api/cluster.html#cluster_how_it_works
https://socket.io/docs/using-multiple-nodes