Skynet基于Actor模式的开源框架

参考资料

• https://github.com/cloudwu/skynet
• https://github.com/cloudwu/skynet/wiki
• https://blog.codingnow.com/
• http://gad.qq.com/content/coursedetail?id=467

使用多进程解决高并发带来的问题是进程安全锁，框架经常会因为部分代码的报错而导致死锁或内存占用不释放等诸多问题。而使用单进程的服务器框架，通过线程池来做消息轮询和任务执行，能够避开锁带来的诸多问题。

框架的初衷

• 众核时代的并行编程
• 免费的晚餐已经结束了（The Free Lunch Is Over -- Herb Sutter, 2005）
• E5420(2.5GHz 2004) VS E5-2620v3(2.4GHz 2014)
• 我们获得了更多的核心、更多的线程、更大的缓存、更大的带宽。我们得不到更高的主频。

Erlang

• 1998年Erlang开源
• 2006年传入国内C++程序员圈
  Erlang China User Group始于2007，现改名为Effective Cloud User Group
• 并行和分布式
  Erlang采用的Actor模式使其增长并行处理，错误处理机制和储存管理为分布式服务，Erlang并不擅长存储密集型数值计算。

Actor模式

• 一切都是Actor
  一切都是Object？并行的面向对象模式！创建actor/处理消息/发送消息。发送的消息和发送者解耦、异步通讯。
• 没有Actor的语言提供的框架
  Akka by Scala、CAF: C++ Actor Framework by C++、Remact.Net by .net

Skynet

• 2010 年想法
• 2011年12月基于Erlang的第一版本实现
• 2012年7月基于C重写
• 2012年8月1日开源发布
• 2014年4月22日 v0.1.0
• 2014年11月28日 v0.9.1

CodeBase

• 5000行C核心代码
  消息分发、Actor调度、Timer管理、基于epoll/kqueue的socket库（支持TCP/UDP)
• 1000行C核心服务代码
• 1000行Lua核心库
• 5000行Lua外围库
  Redis/MySQL/MongoDB Driver
  crypt、sproto、sharedata，etc
• 单进程+可选Lua沙盒
• 可选分布式结构
• MIT License

消息调度模块

消息调度模块

异步编程

• coroutine VS callback
• Lua5.2 coroutine的内存开销仅208字节
  C线程很难减少栈的内存开销
• coroutine对异常有良好的支持
  javascript需要promise模式
• 服用coroutine避免过频的GC
• 远程过程调用RPC
  小心异步过程中的状态改变
• 快速失败模式

Actor沙盒

• C模块 动态库*.so
• Lua State != Erlang Process
• Lua 沙盒隔离（30+20K内存占用）
• Lua5.2（Lua JIT 2.0可选）
  命令式语言、轻量coroutine、良好的C交互性能
• Lua库+服务
  异步socket库、Launcher、DB Driver
• 共享数据（sharedata/STM）

通讯协议

• 进程内消息传递
  文本协议（C服务）、自定义序列化库（Lua服务）、内存数据结构（自定义）
• 跨进程消息传递
  自定义协议、sproto、google proto buffers、json, etc
• 广播和组播

分布式解决方案

• skynet 支持两种分布式方案
  harbor模式用于拓展计算能力的不足、cluster模式提供弹性、可以一起使用
• 如非必要、在一台机器解决
  使用cluster做弱关联
• 不做热更新、只做热修复
  A/B滚服、定期维护、减少复杂度

MMORPG 服务器性能

MMORPG

• E5-2620v1（2.0 GHz）*2，32G RAM
  开启超线程，系统可见24个核心。
• 10K个TCP长连接
• 200人相互面积伤害，延迟在可接受范围。
  计算复杂度O(n^2) Lua编写、CPU平均开销0.5%每人，系统上限2400%，<5M RAM/人
• 多核的优势在于处理时间平滑

陌陌争霸

• E5-2420v1 到 E5-2650v3
• 初期压力测试单机20K用户
  承载能力随业务复杂而下降，承载能力随核心数增加线性上升。
• 全服峰值接近200K用户
  登录操作无明显延迟，对手搜索（全局单点）无明显延迟。

典型手游集群

电信手游集群

• 不按硬件分服
• 玩家在登录处获取令牌
• 玩家登录任意agent池
• 逻辑服处理排行榜
• 根据运营需要在线调整
• 统一使用数据库集群
• 避免单点

调试与优化

• 内建性能分析模块
• Lua模块内建监控协议
• 替换CRT内存管理库（jemalloc）
• 进程内消息传递减少拷贝
• 优化向自身发送的消息
• 合并timer请求
• 高性能要求的服务使用C/C++编写（慎用）
• 为Lua编写C模块：AOI、寻路、组播、公式计算
• 优化登录、找到热点、避免单点