服务器两种高效的事件处理模式

服务器通常要处理三类事件：IO事件、信号事件、定时事件。由此产生了两种事件处理模式：

• Reactor模式：同步IO模型通常用于实现Reactor模式
• Proactor模式：异步IO模型用于实现Proactor模式

一、Reactor模式

主线程（IO处理单元）只负责监听文件描述符上是否有事件发生，有的话立刻将该事件通知工作线程（逻辑单元）。除此之外主线程不做任何其他工作，读写数据、接收新的连接及处理客户请求均在工作线程中完成。

使用同步IO模型epoll_wait实现的Reactor模式的工作流程如下：

1. 主线程往epoll内核事件表中注册socket上的读就绪事件。
2. 主线程调用epoll_wait等待socket上有数据可读。
3. 当socket上有数据可读时，epoll_wait通知主线程。主线程则将socket可读事件放入请求队列。
4. 睡眠在请求队列上的工作线程被唤醒，它从socket读取数据，并处理客户请求，然后往epoll内核事件表中注册该socket上的写就绪事件。
5. 主线程调用epoll_wait等待socket可写。
6. 当socket可写时，epoll_wait通知主线程。主线程将socket可写事件放入请求队列。
7. 睡眠在请求队列上的某个工作线程被唤醒，它往socket上写入服务器处理客户请求的结果。

所有流程可以总结如下图1

图1 Reactor模式

工作线程从队列中取出事件后，将根据事件的类型来决定如何处理该事件，上图1所示的Reactor模式中，没必要区分所谓的“读工作线程”和“写工作线程”。当然也可以分别使用读写工作线程，对应大型应用，有时候需求区分不同的线程处理不同的业务。

二、Proactor模式

与Reactor模式不同，Proactor模式将所有IO操作都交给主线程和内核来处理，工作线程仅仅负责业务逻辑。

使用异步IO模型（以aio_read和aio_write为例）实现的Proactor模式的工作流程如下：

1. 主线程调用aio_read函数向内核注册socket上的读完成事件，并告诉内核用户读缓冲区的位置，以及读操作完成时如何通知应用程序（这里以信号为例，详情sigevent的man手册）
2. 主线程继续处理其他逻辑。
3. 当socket上的数据被读入用户缓冲区后，内核将向应用程序发送一个信号，以通知应用程序数据已经可用。
4. 应用程序预先定义好的信号处理函数选择一个工作线程来处理客户请求。工作线程处理完客户请求之后，调用aio_write函数向内核注册socket上的写完成事件，并告诉内核用户写缓冲区位置，以及写操作完成时如何通知应用程序（仍以信号为例）
5. 主线程继续处理其他逻辑。
6. 当用户缓冲区的数据被写入socket之后，内核将向应用程序发送一个信号，以通知应用程序数据已经发送完毕。
7. 应用程序预先定义好的信号处理函数选择一个工作线程来做善后处理，比如决定是否关闭socket.

所有流程可以总结如下图2

图2 Proactor模式

在上图2中，连接socket上的读写事件是通过aio_read/aio_write向内核注册的，因此内核将通过信号向应用程序报告连接socket上的读写事件。所以主线程的epoll_wait仅能检测监听socket上的连接请求事件，不能用来检测连接socket上的读写事件。

三、同步IO模拟Proactor模式

我们可以使用同步IO模拟出Proactor模式：主线程直接执行数据的读写操作，读写完成之后，主线程向工作队列通知这一“完成事件”。工作线程直接获取读写的结果，之后只是对读写的结果进行逻辑处理。

使用同步IO模型（epoll_wait）模拟出的Proactor模式的工作流程如下：

1. 主线程往epoll内核事件表中注册socket上的读就绪事件。
2. 主线程调用epoll_wait等待socket上有数据可读。
3. 当socket上有数据可读时，epoll_wait通知主线程。主线程从socket循环读取数据，知道没有更多数据可读，然后将读取到的数据封装成一个请求对象并插入到请求队列。
4. 睡眠在请求队列上的某个工作线程被唤醒，它获得请求对象并处理客户请求，然后网epoll内核事件表中注册socket上的写就绪事件。
5. 主线程调用epoll_wait等待socket可写。
6. 当socket可写时，epoll_wait通知主线程。主线程网socket上写入服务器处理客户端请求的结果。

所有流程可以总结如下图3

图3 同步IO模拟Proactor模式

注（本文内容参考 Linux高性能服务器编程——第八章 游双著