skynet设计原理和使用
skynet设计原理
- 一、多核并发编程方式
- 二、skynet
-
- 2.1、skynet简介
- 2.2、环境准备
- 2.3、编译安装
- 2.4、Actor 模型
- 2.5、消息队列
- 2.6、actor公平调度
- 三、skynet的使用
-
- 3.1、第一个skynet程序
- 3.2、skynet网络消息
- 3.3、skynet定时消息
- 3.4、skynet actor间消息
- 四、vscode调试skynet
- 总结
- 后言
一、多核并发编程方式
（1）多线程。
在一个进程中开启多线程，为了充分利用多核，一般设置工作线程的个数为 cpu 的核心数。memcached 就是采用这种方式。
多线程在一个进程当中，所以数据共享来自进程当中的虚拟内存；这里会涉及到很多临界资源的访问，所以需要考虑加锁。
（2）多进程。
在一台机器当中，开启多个进程充分利用多核，一般设置工作进程的个数为 cpu 的核心数。nginx 就是采用这种方式，nginx 当中的 worker 进程，通过共享内存来进行共享数据；也需要考虑使用锁。
（3）CSP。
以 go 语言为代表，并发实体是协程（用户态线程、轻量级线程）；内部也是采用多少个核心开启多少个线程来充分利用多核。
（4）Actor。
erlang 从语言层面支持 actor 并发模型，并发实体是 actor（在skynet 中称之为服务）；skynet 采用 c + lua来实现 actor 并发模型；底层也是通过采用多少个核心开启多少个内核线程来充分利用多核。
二、skynet
2.1、skynet简介
它是一个轻量级游戏服务器框架，但也不仅仅用于游戏。
轻量级体现在：
- 实现了 actor 模型，以及相关的脚手架（工具集）：actor 间数据共享机制以及c 服务扩展机制。
- 实现了服务器框架的基础组件。实现了 reactor 并发网络库；并提供了大量连接的接入方案；基于自身网络库，实现了常用的数据库驱动（异步连接方案），并融合了 lua 数据结构；实现了网关服务；时间轮用于处理定时消息。
skynet抽象了actor并发模型，用户层抽象进程；sknet通过消息的方式共享内存；通过消息驱动actor运行。
skynet的actor模型使用lua虚拟，lua虚拟机非常小（只有几十kb），代价不高；每个actor对应一个lua虚拟机；系统中不能启动过多的进程就是因为资源受限，lua虚拟机占用的资源很少，可以开启很多个，这就能抽象出很多个用户层的进程。lua虚拟机可以共享一些数据，比如常量，达到资源复用。
抽象进程而不抽象线程的原因在于进程有独立的工作空间，隔离的运行环境。
sknet的所有actor都是对等的，通过公平调度实现。
2.2、环境准备
ubuntu：
sudo apt-get install git build-essential readline-dev autoconf
# 或者
sudo apt-get install git build-essential libreadline-dev autoconf
centos：
yum install -y git gcc readline-devel autoconf
mac：
yum install -y git gcc readline-devel autoconf
2.3、编译安装
git clone https://github.com/cloudwu/skynet.git
cd skynet
# centos or ubuntu
make linux
# mac
make macosx
2.4、Actor 模型
有消息的 actor 为活跃的 actor，没有消息为非活跃的 actor。
定义：
- 用于并行计算；
- Actor 是最基本的计算单元；
- 基于消息计算；
- Actor 通过消息进行沟通。
组成：
- 隔离的环境。主要通过 lua 虚拟机来实现。
- 消息队列。用来存放有序（先后到达）的消息。
- 回调函数。用来运行 Actor；从 Actor 的消息队列中取出消息，并作为该回调函数的参数来运行 Actor。
2.5、消息队列
Actor 模型基于消息计算，在 skynet 框架中，消息包含 Actor（之间）消息、网络消息以及定时消息。
生产者生产消息，消息放入消息队列中，由线程池去消费消息。
2.6、actor公平调度
所有的actor都是对等的，每个actor都有自己的消息队列；skynet的并发实体是actor，因此需要公平的调度actor。
skynet会有非常的actor，公平调度就非常重要；采用两级队列。
首先，查找活跃的消息队列（有消息的消息队列）；
然后，通过队列组织所有活跃的消息队列；
最后，调度队列。
线程池从一级队列取出一个消息，消费消息，消费完消息后如果还有消息，则添加到一级队列的末尾。
因为用户问题造成消息不均匀，在应用上不一定公平；skynet在工作线程赋予权重来解决这个问题。
// 工作线程权重图 32个核心
static int weight[] = {
-1, -1, -1, -1, 0, 0, 0, 0,
1, 1, 1, 1, 1, 1, 1, 1, // 1/2
2, 2, 2, 2, 2, 2, 2, 2, // 1/4
3, 3, 3, 3, 3, 3, 3, 3, }; // 1/8
当工作线程的权重为 -1 时，该工作线程每次只 pop 一条消息；当工作线程的权重为 0 时，该工作线程每次消费完所有的消息；当工作线程的权重为 1 时，每次消费消息队列中二分之一的消息；当工作线程的权重为 2 时，每次消费消息队列中四分之一 的消息；以此类推；通过这种方式，完成消息队列梯度消费，从而不至于让某些队列过长。
三、skynet的使用
github 上打开 skynet 点击 wiki 里面有所有函数的详细说明。
3.1、第一个skynet程序
（1）在sknet源码的父目录下创建一个config文件，用于定制skynet的行为。
内容可参考如下：
thread=4
logger=nil
harbor=0
start="main"
lua_path="./skynet/lualib/?.lua;./skynet/lualib/?/init.lua;"
luaservice="./skynet/service/?.lua;./app/?.lua"
lualoader="./skynet/lualib/loader.lua"
cpath="./skynet/cservice/?.so"
lua_cpath="./skynet/luaclib/?.so"
参数说明：
| 参数 | 作用 |
|---|---|
| thread | 指定skynet开启的工作线程数量，一般为CPU的核心数 |
| logger | log配置，指定为nil表示打印到控制台，指定文件名则写日志到指定文件 |
| logpath | 指定日志路径 |
| harbor | 集群相关的设置，设为0表示不使用集群 |
| start | 指定服务启动的抽象进程 |
| lua_path | 指定读取的lua路径 |
| luaservice | lua抽象的进程，指定启动的lua路径 |
| lualoader | lua加载的路径 |
| cpath，lua_cpath | c语言写的进程路径 |
（2）在app文件下面创建main.lua。每次启动时都是从skynet.start(…)中运行，相当于入口函数。
local skynet = require("skynet")
skynet.start(function()
-- body
print("hello skynet")
end)
（3）编写一个自己项目的makefile。首先编译skynet的源码，如果有自己的c代码直接加入makefile文件。
SKYNET_PATH?=./skynet
all:
cd $(SKYNET_PATH) && $(MAKE) PLAT='linux'
clean:
cd $(SKYNET_PATH) && $(MAKE) clean
（4）编译，执行自己的makefile。
make
（5）执行skynet，指定config。
./skynet/skynet config
[:00000002] LAUNCH snlua bootstrap
[:00000003] LAUNCH snlua launcher
[:00000004] LAUNCH snlua cdummy
[:00000005] LAUNCH harbor 0 4
[:00000006] LAUNCH snlua datacenterd
[:00000007] LAUNCH snlua service_mgr
[:00000008] LAUNCH snlua main
hello skynet
[:00000002] KILL self
可以看到打印了hello skynet。
3.2、skynet网络消息
skynet 当中采用一个 socket 线程来处理网络信息；skynet 基于 reactor 网络模型。
网络消息驱动actor运行。需要skynet.socket模块。
首先绑定一个监听 listenfd，然后调用socket.start(listenfd, function)绑定fd到进程函数function中处理。
示例：
main.lua
local skynet = require "skynet"
local socket=require "skynet.socket"
skynet.start(function()
-- body
print("hello skynet")
local listenfd=socket.listen("0.0.0.0",8888);
socket.start(listenfd,function(clientfd,addr)
-- body
print("receive a client: ",clientfd,addr);
end)
end)
[:00000002] LAUNCH snlua bootstrap
[:00000003] LAUNCH snlua launcher
[:00000004] LAUNCH snlua cdummy
[:00000005] LAUNCH harbor 0 4
[:00000006] LAUNCH snlua datacenterd
[:00000007] LAUNCH snlua service_mgr
[:00000008] LAUNCH snlua main
hello skynet
[:00000002] KILL self
receive a client: 2 192.168.0.105:50024
3.3、skynet定时消息
定时任务推送给定时线程，定时线程检测完时间后往消息队列推送一个消息，然后actor开始执行callback函数。
使用示例：
main.lua
local skynet = require "skynet"
skynet.start(function()
-- body
print("hello skynet")
skynet.timeout(100,function()
-- body
print("timer 1s");
end)
end)
3.4、skynet actor间消息
所有的服务都是通过消息来交换数据。actor间消息通信通过将消息放到对方的消息队列实现。
示例，创建两个lua文件。
main发送“ping”给slave，协程挂起；slave回复“pong”给main，协程唤醒。整个过程使用协程实现异步操作，消除异步中的回调。
main.lua
local skynet = require("skynet")
skynet.start(function()
-- body
print("hello skynet")
local slave=skynet.newservice("slave")
local response=skynet.call(slave,"lua","ping")
print("main ",response)
end)
slave.lua
local skynet = require "skynet"
local CMD={}
function CMD.ping()
-- body
skynet.retpack("pong")
end
skynet.start(function()
skynet.dispatch("lua",function(session,source,cmd,...)
local func=assert(CMD[cmd])
func(...)
end)
end)
执行效果：
[:00000002] LAUNCH snlua bootstrap
[:00000003] LAUNCH snlua launcher
[:00000004] LAUNCH snlua cdummy
[:00000005] LAUNCH harbor 0 4
[:00000006] LAUNCH snlua datacenterd
[:00000007] LAUNCH snlua service_mgr
[:00000008] LAUNCH snlua main
hello skynet
[:00000009] LAUNCH snlua slave
main pong
[:00000002] KILL self
四、vscode调试skynet
首先要知道整个系统/框架 是怎么应用的。skynet会自己产生一个skynet执行程序，需要指定配置文件来启动服务。
项目下的.vscode文件夹需要如下三个文件。
launch.json
{
"version": "0.2.0",
"configurations": [
{
"name": "启动 app",
"type": "cppdbg",
"request": "launch",
"program": "${workspaceFolder}/skynet/skynet",
"args": ["config"],
"stopAtEntry": false,
"cwd": "${workspaceFolder}",
"environment": [],
"externalConsole": false,
"MIMode": "gdb",
"setupCommands": [
{
"description": "为 gdb 启用整齐打印",
"text": "-enable-pretty-printing",
"ignoreFailures": true
},
{
"description": "将反汇编风格设置为 Intel",
"text": "-gdb-set disassembly-flavor intel",
"ignoreFailures": true
}
],
"preLaunchTask": "build-skynet",
"miDebuggerPath": "/usr/bin/gdb"
}
]
}
settings.json
{
"C_Cpp.default.configurationProvider": "ms-vscode.makefile-tools",
"files.associations": {
"string.h": "c",
"stdlib.h": "c",
"pthread.h": "c"
},
}
tasks.json
{
"tasks": [
{
"type": "cppbuild",
"label": "build-skynet",
"command": "/usr/bin/make",
"args": [],
"options": {
"cwd": "${workspaceFolder}"
},
"problemMatcher": [
"$gcc"
],
"group": {
"kind": "build",
"isDefault": true
},
"detail": "..."
}
],
"version": "2.0.0"
}
实现这三个文件就可以开始调试了。
skynet是一个网络服务，需要处理网络连接，需要知道数据是怎么流向，理解框架的运行机制（多线程并发）；所有的actor的运行都是由线程池来驱动，actor的运行又是由消息队列的消息驱动（网络消息、定时消息、actor间消息）。
线程池从消息队列中取出消息，找到回调函数，驱动actor运行。
总结
-
不要通过共享内存来通信，而应该通过通信来共享内存。CSP 和 Actor 都符合这一哲学；通过通信来共享数据，其实是一种解耦合的过程。并lua发实体之间可以分别开发并单独优化，而它们唯一的耦合在于消息；这能让我们快速地进行开发；同时也符合我们开发的思路，将一个大的问题拆分成若干个小问题。
-
actor模型是在用户层抽象了进程。
-
actor调度：将活跃的 actor 通过全局队列组织起来；actor 当中的消息队列有消息就是活跃的 actor； 线程池去全局队列中取出 actor 的消息队列，接着运行actor。
后言
本专栏知识点是通过<零声教育>的系统学习，进行梳理总结写下文章，对c/c++linux系统提升感兴趣的读者，可以点击链接查看详细的服务：C/C++服务器开发 。