基于SWOOLE的高可用分布式SOKET服务器系统搭建V2.0

转载:http://blog.molibei.com/archives/113

昨天初步实现了不同聊天服务器消息互发,但效率不好，且有性能瓶颈，Swoole的作者韩天峰提醒可以使用长连接转发消息，今天测试了一遍，效果不错。

上一篇的逻辑讲的不是很清楚，这次清楚的描述下：现有A、B两台消息服务器，用户1连接在服务器A，用户2连接在服务器B，而用户1需要给用户2发送消息，由于Socket连接在不同服务器，无法直接互通。现有两种办法解决：

1. 消息服务器进行串联

• 优点

  不用单独增加服务器来做proxy，服务器与服务器之间可酌情采用长连接/短链接。

  消息少一次传输，可以减少网络消耗。

• 缺点

  每台服务器必须和剩下的所有服务器建立连接。如果其中任意一个连接断掉，都会影响服务，服务器多的时候也不利于监控服务状态。

2. 单独使用服务器做转发 并联

• 优点

  消息服务器专注于消息收发，不再发起Client，专注于服务端本身。

  转发服务器发起Client连接所有消息服务器，利于监控服务器状态，而且转发服务器宕机不影响消息服务器，对用户的影响时间短。

  可以使用keepalived来给转发服务器做高可用，或者把转发服务器做成连接池，进一步减轻单台服务器的压力。

  更可以把一个转发服务器和几台消息服务器做成一个节点，再把这些节点组合起来，可以满足超大的即时通讯服务。

• 缺点

  由于消息通过转发服务器，会比直接串联多一次数据传输，增加了网络消耗。

  暂时没想到其他的。

开始搭建

• 流程图

  

• 环境

  所有测试在虚拟机上进行：

  • 主机

    os  Ubuntu14.10 64位cpu 4 coremem 16 Gsoft Virtual box

  • 虚拟机

    centos 6.5 mini swoole php//192.168.0.201   //socket1 消息服务器192.168.0.202   //socket2 消息服务器192.168.0.203   //proxy   转发服务器192.168.0.231   //Redis

  • 客户端

    telnet

编码

• 消息服务器

  由于消息服务器不再发起客户端连接,所以代码要精简很多。直接上测试代码：

  <?php/**
   * @filename server.php
   * @encoding UTF-8
   * @author CaiXin Liao <[email protected]>
   * @link http://www.51zhima.com
   * @copyright 51zhima@CopyRight
   * @datetime 2014-10-28 15:09:54
   * @version 1.0
   * @Description 
   *///服务端$serv = new swoole_server("0.0.0.0", 9501);//redis$redis = new \Redis();$redis->connect("192.168.0.231", 6379);//Server$serv->on('start', function($serv) {
      echo "Service:Start...";
  });$serv->on('connect', function ($serv, $fd) {});$serv->on('receive', function ($serv, $fd, $from_id, $data) {
      global $redis;    $data = (array) json_decode($data);    $cmd = $data['cmd'];    switch ($cmd) {        case "login"://登陆
              //保存连接信息
              $save = array(                'fd' => $fd,                'socket_ip' => "192.168.0.201"
              );            $redis->set($data['name'], serialize($save));            break;        case "chat":            $recv = unserialize($redis->get($data['recv']));            if ($recv['socket_ip'] != "192.168.0.201") {//发消息给proxy
                 $proxy = unserialize($redis->get('192.168.0.201_router'));                //需要转发
                  $data['recv_ip'] = $recv['socket_ip'];                $serv->send($proxy['fd'], json_encode($data));
              } else {                //直接发送
                  $serv->send($recv['fd'], "{$data['send']}给您发了消息：{$data['content']}\n");
              }            break;
      }
  });$serv->on('close', function ($serv, $fd) {
      echo "Client: Close.\n";
  });$serv->start();

  不同的消息服务器只需修改ip即可。

• 转发服务器

  转发服务器需要遍历连接所有的消息服务器，并且采用异步的方式，测试代码：

  <?php/**
   * @filename proxy.php
   * @encoding UTF-8
   * @author CaiXin Liao <[email protected]>
   * @link http://www.51zhima.com
   * @copyright 51zhima@CopyRight
   * @datetime 2014-10-29 15:50:37
   * @version 1.0
   * @Description 
   */$clients = array();$servers = array(    '192.168.0.201',    '192.168.0.202',
  );for ($i = 0; $i < count($servers); $i++) {    $clients[$servers[$i]] = new swoole_client(SWOOLE_SOCK_TCP, SWOOLE_SOCK_ASYNC);    $clients[$servers[$i]]->remote_ip = $servers[$i];    $clients[$servers[$i]]->on("connect", function(swoole_client $cli) {
          $data = array(            'cmd'=>'login',            'name'=>$cli->remote_ip . '_router',
          );        $cli->send(json_encode($data));        echo $cli->remote_ip . " Connect Success \n";
      });    $clients[$servers[$i]]->on("receive", function (swoole_client $cli, $data) {
          $msg = (array) json_decode($data);        $remote_ip = $msg['recv_ip'];        unset($msg['recv_ip']);        global $clients;        $clients[$remote_ip]->send(json_encode($msg));
      });    $clients[$servers[$i]]->on("error", function(swoole_client $cli) {
          echo "{$cli->remote_ip} error\n";
      });    $clients[$servers[$i]]->on("close", function(swoole_client $cli) {
          echo "{$cli->remote_ip} Connection close\n";
      });    $clients[$servers[$i]]->connect($servers[$i], 9501, 0.5);
  }

测试

开启所有的虚拟机，同步脚本，这里在proxy脚本里没有做监控和连接状态检测，这里只做简单的消息发送测试。

• 开启消息服务器1：

  

• 开启消息服务器2：

  

• 开启转发服务器

  

• telnet登陆两个用户到socket1和socket2

  

• 现在用户2给用户1发送消息测试

  

  成功收到消息，后面就是进行针对性的优化了。

• 消息格式

  {"cmd":"login","name":"zhima201"} //登陆消息{"cmd":"chat","send":"zhima201","recv":"zhima202","content":"how are youe"}//文本消息