棋牌游戏服务器架构: 总体设计

  首先要说明的是, 这个棋牌游戏的服务器架构参考了网狐棋牌的架构。网狐棋牌最令人印象深刻的是其稳定性和高网络负载。它的一份压力测试报告上指出：一台双核r的INTEL Xeon 2.8CPU加上2G内存和使用共享100M光纤的机子能够支持5000人同时在线游戏。

      在研究其服务器框架后发现，它的网络部分确实是比较优化的。它主要采用了Windows提供的IO完成端口来实现其网络组件。本服务器虽然参考了其设计，但是还是有很大的不同，因为这个服务器框架主要是用在linux系统之上，而网狐棋牌是基于Windows平台的，严重依赖于windows sdk。这个架构延续了网狐棋牌在网络组件所作的努力，这个棋牌的服务器也使用异步IO作为网络的工作方式，更为彻底的是其数据库也是采用异步架构。boost::asio提供了一个异步框架，所以它的几个核心组件: TCPServerService, TimerService, DatabaseService, AsyncService中都可以看到boost::asio的影子。

，  图1是总体架构图。从图上我们看到服务器的整体架构分为三层：Libraries, Core和Applications。Core层基于Libraries实现，而Applications使用Core层提供的服务，并且要监听Core层的异步事件(Socket、Database等)。

　　　图1  棋牌游戏服务器端总架构

Libraries 主要由4个库组成，其中boost::thread是一个跨平台的线程库，boost::asio是跨平台的异步IO库，protobuf则是用来序列化服务器和客户端协议的, libpq是开源数据库postgresql提供的客户端的官方接口，支持异步数据库操作。

Core 主要由4个Service组成，它们建立在Libraries的基础之上。给应用层提供了网络，数据库和定时器功能。AsyncService主要是Core内部自己使用。TimerService提供定时器功能，TCPServerServic管理着客户端来的连接。而DatabaseService提供基本的数据库访问功能。

Applications是基于Core实现的4种服务器，它们管理着游戏信息，提供登录以及处理游戏逻辑的功能。下面是用户与这些服务器交互的一个经典流程:

      1) 客户端将用户名和密码发送给LogonServer登录，在登录验证成功以后，将游戏列表返回给客户端。

      2) 玩家选择具体游戏进入房间时，客户端发送请求给RoomServer，RoomServer将房间的信息返回给客户端显示

      3) 玩家选择桌子坐下，游戏开始。客户端将游戏动作发送给相应的RoomServer, RoomServer将操作解析后转发给游戏逻辑模块进行处理，并将处理结果返回给客户端。

这几个服务器这间的关系是:

      1) CenterServer维护游戏列表信息和房间信息;

      2) LogonServer定时从CenterServer取回游戏列表信息和房间信息;

      3) RoomServer在启动时向CenterServer注册，在关闭时从CenterServer注销， 以玩家进入房间时通知CenterServer更新在线人数。同时像LogonServer一样定时连接CenterServer更新游戏列表和房间信息。

1 Libraries层

      boost::asio是一个异步IO库，提供了一个通用的异步框架，并提供了基本的socket的异步接口，它的主要功能是响应程序的异步IO请求，在操作完成以后，将其加入到一个完成队列之中, 在这个完成队列上有一些工作线程在等着，这些工作线程从完成队列上取出已经完成的操作，调用上层应用提供的一个完成函数–completaion handler。asio库是通过学实现Proactor模式来完成这些工作的，在Windows是直接基于I/O completion port，而在类Unix系统中，是基于epool等函数使用Reactor模式来模拟的。 

      libpq是开源数据库postgresql提供的客户端接口库。这里选用postgresql是因为postgresql的跨平台性以及其稳定性和高性能，另一方面是由于我对这个数据库比较地熟悉。Libpq也对数据库的连接、查询、更新等提供了异步实现。可以和boost::asio结合在一起提供统一地异步操作接口。

      boost::thread库是用C++实现的一个跨平台的线程库, 在C++11中，它已经被纳入到了标准库中。这个库在这里主要用来实现一个线程池，作为boost::asio的工作线程。主要是由Core层的AsyncService来维护。代码的其他地方不直接启动线程。但是在异步操作的完成函数中，对那些共享数据需要加锁保护。

      protobuf库是Google发布的一个开源的用来序列化对象的高性能的库，它支持多种语言，比如C++,Java,flash 等等。同时还将字节序等琐碎的东西封装起来了，方便上层应用。

2 Core层

      核心层由4个Service: AsyncService、TCPServerService、TimerService、DatabaseService组成。下面是关于它们的基本描述. 

      AttemptService是Core内部使用的，它封装了boost::asio和ThreadPool的功能，提供给其他几个Service使用。从名字上可以看出，他的主要功能是给其他几个Service提供异步调度，这是通过boost::asio提供的功能来实现的，而ThreadPool是提供给boost::asio作为工作线程的。

      TCPServerService有一个连接池,管理着客户端来的连接。内部通过AsyncService将socket读写完成消息，通过应用层注册进来的TCPServiceObserver通知到调到应用层去。它和Applications的交互包括:

      1)  Applications 调用 SetObserver注册用来接收网络读写完成消息;

      2)  Applications 调用 SendData 发送数据;

      3)  Core在accept, recv完成后调用 Applications注册的Observer。

      TimerService提供了定时器的功能,Applications层可以直接使用它来创建定时器，取消定时器。设定时间到来时，TimerService会调用创建定时器时指定的一个回调函数。

      DatabaseService封装了libpq,提供数据库的基本操作。主要管理数据库连接，执行查询操作，执行存储过程等。它的实现中有一个连接池。和socket操作一样，它提供的数据库操作都是异步执行的，所以Applications层需要实现DBServiceObserver来监听操作结果。

3 Applications

      前面的无论是libraries还是core,都是死的，只有applications加入了逻辑，它们是棋牌服务器的主休。下面是关于它们的比较详细的信息

3.1 CenterServer

            图2  CenterServer与外界的交互图

      CenterServer不直接与玩家进行交互,它主要的功能是管理游戏列表和房间信息，包括:

      1. 游戏类型信息：　棋牌游戏、休闲游戏、视频游戏等。

      2. 游戏种类：　比如在棋牌游戏这个大类之下有：德州扑克、斗地主、升级等。

      3. 站点信息：　因为这个服务器架构完全支持分布式，所以还保存有站点的信息

      4. 房间信息：　维护当前有哪些房间以及房间当前的在线人数。

      CenterServer中有关游戏列表的信息是它在启动的时候从ServerInfoDB这个数据库加载的, 而它的房间信息来自RoomServer，RoomServer在启动时将自己注册进来，在关闭的时候从CenterServer中注销自己。同时在玩家进入房间的时候，还会要求CenterServer更新在线人数。

　　CenterServer还应该响应LogonServer和RoomServer的请求，将游戏列表和房间信息返回给它们。

3.2 LogonServer 

              图3 LogonServer与外界交互图

      LogonServer提供注册新的游戏玩家服务并且处理游戏玩家的登录请求。

      LogonServer需要和UserInfoDB交互，这些交互包括:

      1. 在注册的时候写入注册玩家的信息。

      2.在玩家登录的时候与数据库玩家信息进行核对。

      LogonServer会定时地向CenterServer发送更新游戏列表和房间信息的请求，因为这些信息在不断地变化，而LogonServer需要在玩家登录时将这些信息返回给他们。

3.3 LogServer

 

  图4  LogServer与外界的交互图

      有时候，玩家可能会对游戏的过程产生怀疑，或者想回顾整个游戏的过程。这就需要服务器将游戏的过程以Log的形式存储起来，供玩家检查用。LogServer的就是用来响应玩家的核查的请求，然后从GameLogDB中将整个游戏过程返回给客户端，客户端以视频地方式显示给玩家。 

      玩家在请求检查的时候，客户端会将这局游戏的以及玩家的信息id发送到LogServer, LogServer根据游戏id的信息从GameLogDB取出日志信息返回给玩家。游戏的过程可以用结构化语言描述出来，本来postgresql直接支持Json，也就是说Log可以以JSON的形式存在数据库之中，但是由于可能会有字节序的问题，所以Log的信息也要用protobuf序列化了再存入数据库。LogServer在从数据库中读出日志后不用反序列化直接返回给客户端反序列化。

3.4 RoomServer

      RoomServer可能是最重要的一类Server了，一个RoomServer会和一个游戏模块结合在一起。它管理着游戏的一个房间，处理玩家进入房间，找桌子座下的请求，并将游戏相关的消息转发给游戏模块进行处理。不仅不同的游戏会有不同的RoomServer，即便是同一游戏，也可能有多个RoomServer， 比如对于德州扑克来说，就可能有vip房间，普通房间等等，同一类型的房间也可能有Room1,Room2,这个可以根据玩家量按需架设。图5给出了RoomServer与外界交互的图。

图5 RoomServer与外界的交互图 

      RoomServer启动的时候，先要发送请求给CenterServer进行注册，在关闭时要从CenterServer中注销。同时还会定时通知CenterServer更新在线人数, 定时从CenterServer上取回最新的游戏列表和房间信息。

      RoomServer需要和玩家进行交互。玩家进入房间，找桌子座下等的请求都由RoomServer来处理，而游戏操作。比如说加注、发牌等 RoomServer会直接转发给游戏模块进行处理。

      RoomServer管理着一个在线用户列表，在玩家进入房间，离开房间时这个列表随之更新。这个列表中有关玩家的详细信息是从数据库UserInfoDB中加载到的。 玩家在进行游戏时，由于输赢的关系，他的积分或者游戏币会随着变化，为了记录这些变化, 需要与GameDB进行交互。

      管理员可以通过RoomServer来发布消息、踢出玩家、警告玩家、设置玩家权限、设置房间属性等活动。

      玩家也可以通过RoomServer参与聊天(包括大厅公聊和私聊)。

      

4 交互协议

      客户端和服务器进行交互时，传递的包需要使用protobuf来序列化。一个请求由一个container组成，container中可以包含一个或者多个请求包/应答包。每一个请求包和应答包都有如下基本结构:

 

图6 服务器和客户端通信的Package结构

nMainCmd 指示请求的类别，比如说游戏请求，房间管理请求等

nSubCmd  指请求的具体是什么，比如加注、踢出玩家等

nDataSize  指示pData字段的长度

pData     可以是任何消息，如果是一个结构，需要用protobuf序列化

5 数据库

Database主要有3个: ServerInfoDB、UserInfoDB, GameDB。

ServerInfoDB: 主要存储的是游戏列表的信息。这些信息包括—游戏种类列表、游戏类型列表和站点信息。

UserInfoDB: 主要存储玩家相关的全局信息，包括玩家的 ID 号码，帐户名字，密码，二级密码，头像，经验数值，登陆次数，注册地址，最后登陆地址等玩家属性信息。

GameDB:  主要存储的是玩家的游戏相关信息，例如游戏积分，胜局，和局，逃局，登陆时间等信息