带你吃透Reactor并发模型
目录
-
- 1.概述
- 2.项目介绍
-
- 2.1 有那些并发模型
- 2.2 能锻炼那些技能
- 2.3目录结构
- 3.编码实践
-
- 3.1 前期准备
-
- 3.1.1 Echo协议
- 3.1.2公共代码抽象
- 3.1.3基准性能压测工具
- 3.2 并发示例
-
- 3.2.1 EpollReactorSingleProcess
- 3.2.2 EpollReactorProcessPool
- 3.2.3 EpollReactorThreadPool
- 3.2.4 EpollReactorThreadHSHA
- 3.2.5 EpollReactorThreadPoolMS
- 4.服务压测
1.概述
最近有很多小伙伴私信问春哥是否有适合的C++项目，可用于学习Linux下的后端研发，并涵盖核心技术点。春哥的答复有，马上安排上，于是我连续几天爆肝，为大家编写了一个名为EchoServer的项目，供大家学习使用。
2.项目介绍
「回显服务是一个非常经典的网络服务，它的基准性能常用于评估一个RPC框架的性能」。在EchoServer项目中，我们将使用多种Reactor并发模型来实现回显服务，并使用基准性能压测工具对不同并发模型进行压测，以得到不同并发模型的基准性能指标，以便对比不同并发模型的优劣。这将有助于我们更好地理解和应用高性能并发模型。
2.1 有那些并发模型
我们一共实现了5种Reactor的并发模型：
- 单进程版的Reactor
- 进程池版的Reactor
- 线程池版的Reactor
- 线程池版的Reactor-HSHA
- 线程池版的Reactor-MS
2.2 能锻炼那些技能
学习完本项目后，你将能够得到以下技术能力的良好锻炼，并加深对它们的理解：
- 网络编程应用的实现和调试
- 进程池的实现和使用
- 线程池的实现和使用
- 应用层协议设计与实现（编解码）的能力
- 多种高效的Reactor并发模型的理解和应用
- 基准性能压测工具的实现和使用，以评估系统的性能和稳定性
2.3目录结构
EchoServer项目的目录结构如下所示。
EchoServer
├── BenchMark
├── cmdline.cpp
├── cmdline.h
├── codec.hpp
├── common.hpp
├── conn.hpp
├── epollctl.hpp
├── EpollReactorProcessPool
├── EpollReactorSingleProcess
├── EpollReactorThreadPool
├── EpollReactorThreadPoolHSHA
├── EpollReactorThreadPoolMS
├── mp_account.png
└── README.md
- BenchMark是基准性能压测工具的代码目录
- EpollReactorProcessPool是Reactor进程池实现的代码目录
- EpollReactorSingleProcess是Reactor单进程实现的代码目录
- EpollReactorThreadPool是Reactor线程池实现的代码目录
- EpollReactorThreadPoolHSHA是Reactor线程池HSHA实现的代码目录
- EpollReactorThreadPoolMS是Reactor线程池MS实现的代码目录
3.编码实践
3.1 前期准备
在正式开始编写并发示例之前，我们需要做一些准备工作，以便后续更快地完成编码任务。这些准备工作包括：
- 设计并实现应用层协议的编解码
- 设计并实现基准性能测试工具
- 抽象公共代码
3.1.1 Echo协议
EchoServer是一个回显服务，为了对外提供服务，我们需要定义应用层协议。EchoServer使用的协议非常简单，由两部分组成。第一部分是长度为4字节的协议头部，用于标识协议体的长度。第二部分是变长的协议体。协议格式如下图所示。
该协议的编解码代码codec.hpp如下所示。
#pragma once
#include
#include 我们使用了不到120行的代码，实现了EchoServer应用层协议的编解码。其中，Codec类用于消息的编解码，「采用了状态机的方法来解析请求数据，并提供了流式解析的DeCode函数」；Packet类实现了二进制数据包的封装。
3.1.2公共代码抽象
我们还对消息的接收和发送、socket选项设置、创建用于监听的socket、客户端连接的接受等操作进行了函数封装。对应的代码在common.hpp文件中，内容如下。
#pragma once
#include 在后续的并发实例编码中，我们将使用codec.hpp和common.hpp中封装的类或函数。大家可以先熟悉这些函数实现的功能，以提高后续代码阅读的效率并减少困惑。
由于后续所有的并发模型示例程序都涉及到epoll，因此我们对一些公共代码进行了提炼和封装。「这样可以减少后续示例程序的代码量，同时也能让我们更加聚焦于核心的逻辑」。具体来说，我们封装了两个头文件：conn.hpp和epollctl.hpp。
其中，conn.hpp封装了客户端连接管理相关代码，epollctl.hpp封装了epoll事件管理相关的代码，它们的内容如下。
conn.hpp
#pragma once
#include "common.hpp"
namespace EchoServer {
class Conn {
public:
Conn(int fd, int epoll_fd, bool is_multi_io) : fd_(fd), epoll_fd_(epoll_fd), is_multi_io_(is_multi_io) {}
bool Read() {
do {
uint8_t data[100];
ssize_t ret = read(fd_, data, 100); // 一次最多读取100字节
if (ret == 0) {
perror("peer close connection");
return false;
}
if (ret < 0) {
if (EINTR == errno) continue;
if (EAGAIN == errno or EWOULDBLOCK == errno) return true;
perror("read failed");
return false;
}
codec_.DeCode(data, ret);
} while (is_multi_io_);
return true;
}
bool Write(bool autoEnCode = true) {
if (autoEnCode && 0 == send_len_) { // 需要自动编码时，且是第一次调用Write时，才执行EnCode操作
codec_.EnCode(message_, pkt_);
}
do {
if (send_len_ == pkt_.Len()) return true;
ssize_t ret = write(fd_, pkt_.Data() + send_len_, pkt_.Len() - send_len_);
if (ret < 0) {
if (EINTR == errno) continue;
if (EAGAIN == errno && EWOULDBLOCK == errno) return true;
perror("write failed");
return false;
}
send_len_ += ret;
} while (is_multi_io_);
return true;
}
bool OneMessage() { return codec_.GetMessage(message_); }
void EnCode() { codec_.EnCode(message_, pkt_); }
bool FinishWrite() { return send_len_ == pkt_.Len(); }
int Fd() { return fd_; }
int EpollFd() { return epoll_fd_; }
private:
int fd_{0}; // 关联的客户端连接fd
int epoll_fd_{0}; // 关联的epoll实例的fd
bool is_multi_io_; // 是否做多次io，直到返回EAGAIN或者EWOULDBLOCK
ssize_t send_len_{0}; // 要发送的应答数据的长度
std::string message_; // 对于EchoServer来说，即是获取的请求消息，也是要发送的应答消息
Packet pkt_; // 发送应答消息的二进制数据包
Codec codec_; // EchoServer协议的编解码
};
} // namespace EchoServer
在conn.hpp头文件中，我们定义了一个名为Conn的类，该类封装了客户端连接数据的接收和发送、EchoServer协议的编解码等操作，并且可以关联epoll实例的fd。
通过Conn类，我们可以方便地管理客户端连接，从而实现高效地处理多个客户端请求。
epollctl.hpp
#pragma once
#include "conn.hpp"
namespace EchoServer {
inline void AddReadEvent(Conn *conn, bool isET = false, bool isOneShot = false) {
epoll_event event;
event.data.ptr = (void *)conn;
event.events = EPOLLIN;
if (isET) event.events |= EPOLLET;
if (isOneShot) event.events |= EPOLLONESHOT;
assert(epoll_ctl(conn->EpollFd(), EPOLL_CTL_ADD, conn->Fd(), &event) != -1);
}
inline void AddReadEvent(int epollFd, int fd, void *userData) {
epoll_event event;
event.data.ptr = userData;
event.events = EPOLLIN;
assert(epoll_ctl(epollFd, EPOLL_CTL_ADD, fd, &event) != -1);
}
inline void ReStartReadEvent(Conn *conn) {
epoll_event event;
event.data.ptr = (void *)conn;
event.events = EPOLLIN | EPOLLONESHOT;
assert(epoll_ctl(conn->EpollFd(), EPOLL_CTL_MOD, conn->Fd(), &event) != -1);
}
inline void ModToWriteEvent(Conn *conn, bool isET = false) {
epoll_event event;
event.data.ptr = (void *)conn;
event.events = EPOLLOUT;
if (isET) event.events |= EPOLLET;
assert(epoll_ctl(conn->EpollFd(), EPOLL_CTL_MOD, conn->Fd(), &event) != -1);
}
inline void ModToWriteEvent(int epollFd, int fd, void *userData) {
epoll_event event;
event.data.ptr = userData;
event.events = EPOLLOUT;
assert(epoll_ctl(epollFd, EPOLL_CTL_MOD, fd, &event) != -1);
}
inline void ClearEvent(Conn *conn, bool isClose = true) {
assert(epoll_ctl(conn->EpollFd(), EPOLL_CTL_DEL, conn->Fd(), NULL) != -1);
if (isClose) close(conn->Fd()); // close操作需要EPOLL_CTL_DEL之后调用，否则调用epoll_ctl()删除fd会失败
}
inline void ClearEvent(int epollFd, int fd) {
assert(epoll_ctl(epollFd, EPOLL_CTL_DEL, fd, NULL) != -1);
close(fd); // close操作需要EPOLL_CTL_DEL之后调用，否则调用epoll_ctl()删除fd会失败
}
} // namespace EchoServer
在epollctl.hpp头文件中，我们封装了可读事件的监听、可写事件的监听以及监听事件的清理等操作。通过这些封装好的函数，我们可以方便地管理epoll事件，从而实现高效地处理多个事件。
3.1.3基准性能压测工具
正所谓工欲善其事必先利其器，我们必须准备好压测工具，才能更好地评估不同并发模型的优劣。由于我们使用的自定义的应用层协议，因此，我们需要自己来实现压测工具。
benchmark工具的代码在benchmark.cpp文件中，内容如下。
#include benchmark工具支持指定端口、请求包大小（单位为K）、压测的并发量和压测运行的总时长（单位秒），默认连接的是本地127.0.0.X的ip地址。每一批次的压测会创建10个线程，并发发起connection、SendMsg和RecvMsg的操作。
每个线程执行完之后，会更新统计信息。由于统计数据存在并发访问，所以需要使用互斥锁来保护临界区。每一批次的压测都会在主线程中调用join函数，等待所有的压测线程执行完毕。压测运行结束之后，会打印压测总耗时、单批次平均耗时、请求总数、请求成功总数和请求失败总数。
需要特别注意的一点是，在创建完连接之后，需要设置LINGER选项。这样，在调用close函数关闭tcp连接时，会直接发送RST包，让tcp连接直接复位，进入到CLOSED状态，从而不影响下一轮次的压测。否则，很多本地端口会因为tcp连接处于TIME_WAIT状态中而不可用。
总之，在进行压测时，需要注意tcp连接的状态和资源的释放，以确保程序的正确性和可靠性。
3.2 并发示例
现在我们正式进入并发示例的编程。
3.2.1 EpollReactorSingleProcess
Reactor模型使用事件进行驱动，有统一事件管理器，支持事件监听管理和事件触发时的分发。当有新的连接到来、可读、可写的事件发生时，会分发对应的事件到不同的处理器中。
在Reactor并发模型中，所有的读写都是非阻塞的。只要读写操作返回EAGAIN或者EWOULDBLOCK，就结束当前的读写操作，然后继续监听新事件的到来。
因此，在同一个时间点，多个客户端的请求都在被处理，只不过是不同的客户端请求的处理进展不一样。比如，有的客户端已经读取完请求数据在做业务逻辑处理，有的客户端请求数据还只读取了一半。这样一来，服务就能更充分地利用CPU，服务整体吞吐量更大。
Reactor并发模型虽然提升了服务吞吐量，但是需要付出更多的“成本”。这些成本包括需要额外对客户端连接进行管理，需要使用更多的内存来保存请求和应答的数据，需要管理客户端连接状态迁移，并且处理请求不像阻塞IO那样是串行连续的，而是在不同事件处理过程中断断续续的推进，因此代码维护成本更高。
现在让我们来看一下具体实现，对应的代码在epollreactorsingleprocess.cpp文件中，内容如下。
#include 在main函数中，首先开启监听，然后陷入死循环，在循环中调用epoll_wait函数。当接收到不同的事件时，执行不同的处理逻辑。我们使用Conn类的对象来管理客户端连接，Conn对象的状态随着事件的触发而迁移。一个完整请求的处理过程是在不同读写函数之间跳跃。
3.2.2 EpollReactorProcessPool
在Reactor模式下，所有的IO操作都是非阻塞的，CPU已经被充分的“压榨”。在多核情况下，我们可以启动多个进程来提升并发处理能力。对应的代码在epollreactorprocesspoll.cpp文件中，内容如下。
#include 在main函数中，我们根据系统当前可用的CPU核数，预先创建数量与之相等的子进程。然后，父进程陷入死循环。每个子进程都创建自己的socket套接字，并设置SO_REUSEPORT选项，以便在相同的网络地址开启监听。最后，子进程陷入epoll的死循环，等待客户端请求的到来，并为其提供服务。
3.2.3 EpollReactorThreadPool
对应的代码在epollreactorthreadpoll.cpp文件中，内容如下。
#include 在main函数中，我们根据系统当前可用的CPU核数，预先创建数量与之相等的wroker线程。然后，主线程陷入死循环。每个worker线程都创建自己的socket套接字，并设置SO_REUSEPORT选项，以便在相同的网络地址开启监听。最后，worker线程陷入epoll的死循环，等待客户端请求的到来，并为其提供服务。
3.2.4 EpollReactorThreadHSHA
前面所有的并发模型，不管是多线程、多进程、线程池还是进程池，都是同步的。网络IO操作和业务逻辑操作都在同一个线程中进行。
但是，还有一种半同步半异步的并发模型，它将网络IO操作和业务逻辑操作隔离开来，并在它们之间插入一个共享队列用于通讯。
这样，整个并发模型就被分成了三层，分别为网络IO层、共享队列层和业务逻辑层。
在HSHA（Half Sync/Half Async）模型中，半同步指的是业务逻辑层的操作。
而半异步指的是，从业务逻辑层的视角来看，IO读写不是它自己完成的，而是通过共享队列层最后交给网络IO层来完成。因此，该并发模型被称为半同步半异步模型。需要注意的是，这里的异步并不是指异步IO，网络层的IO操作仍然是同步的。
Reactor-HSHA的并发模型该如何实现呢？我们可以看一下对应的代码epollreactorthreadpoolhsha.cpp，具体内容如下。
#include 在main函数中，我们根据系统当前可用的CPU核数，预先创建数量与之相等的worker线程和io线程。然后，主线程陷入死循环。每个io线程都创建自己的socket套接字，并设置SO_REUSEPORT选项，以便在相同的网络地址开启监听。最后，io线程陷入epoll的死循环。
io线程负责监听客户端连接的到来、客户端可读和可写事件。当io线程接收完数据并解析出一个完整的请求时，它会将消息插入到共享的队列中，并通过条件变量来唤醒一个工作线程来处理请求。
worker线程启动后会等待条件变量的通知。为了避免共享队列中数据读取的异常，等待条件变量时需要再判断共享队列中的数据量必须大于0才可以返回。worker线程获取到请求数据后，会对应答数据进行编码。然后，它注册监听客户端连接的可写事件，由io线程去完成应答数据的发送。
3.2.5 EpollReactorThreadPoolMS
Reactor并发模型还有一种变种，它将客户端连接的接受放在单独的MainReactor中，MainReactor再将客户端连接移交给SubReactor进行读写操作的处理。
使用单独的线程来接受客户端连接可以更快地为新的客户端提供服务，因为同时处理的客户端连接数更多，从而提高了服务并发度，从而更好地利用了CPU。
Reactor-MS并发模型具体如何实现呢？让我们来看一下对应的代码epollreactorthreadpoolms.cpp，它的内容如下。
#include 4.服务压测
我们使用压测工具对不同的并发模型进行了测试，压测工具和并发示例服务运行在同一台16核32G的CentOS云主机上，每个CPU的频率为2.59GHz。由于无法统一压测使用的机器和环境，因此在不同的压测机器或环境中获取的压测结果会存在一定的差异。即使是相同的压测机器和环境，多次压测的结果也存在一定的偏差。
在开始压测之前，需要调整两个系统配置。一个是允许打开的文件描述符的最大数，我们需要将这个配置调整为33万。另一个是本地端口可分配范围，我们需要将这个范围调整为1024~65500。
我们使用BenchMark压测工具对EpollReactorSingleProcess、EpollReactorProcessPool、EpollReactorThreadPool、EpollReactorThreadPoolHSHA、EpollReactorThreadPoolMS进行了压测，请求包大小为4KB，每次压测持续30秒，并记录不同并发量请求的平均耗时。压测结果如下表所示。
从压测结果可以看出，单进程下性能是最差的、进程池优于线程池，在并发不高的情况下半同步半异步模型相对传统的线程池和进程池模型并未有明显的性能优势。
而主从模式下的线程池模型在高并发下展现出了更优的性能。因为有main线程专门接受连接，所以在高并发时连接的接受不会成为瓶颈，连接接受的快，请求也能更快的得到处理。