select，poll和epoll详解
select，poll和epoll详解
Linux系统在访问设备的时候，存在以下几种IO模型：
- Blocking IO Model，阻塞IO模型；
- Nonblocking I/O Model，非阻塞IO模型；
- I/O Multiplexing Model，IO多路复用模型;
- Signal Driven I/O Model，信号驱动IO模型；
- Asynchronous I/O Model，异步IO模型；
今天我们来分析下IO多路复用机制，在Linux中是通过select/poll/epoll机制来实现的。
请先阅读 Epoll的本质
1.IO复用
为了解决大量客户端访问的问题，引入IO复用技术：一个进程可以同时对多个客户请求进行服务，复用一个进程对多个IO进行服务。IO读写的数据多数情况下未准备好，需要通过一个函数监听这些数据状态，一旦有数据可以读写就触发服务。elect,poll,epoll都是IO多路复用的机制，监视多个描述符，一旦某个描述符就绪，通知程序进行操作。
2.select
2.1 select实现原理
select()的机制中提供一fd_set的数据结构，实际上是一long类型的数组，每一个数组元素都能与一打开的文件句柄（不管是Socket句柄,还是其他文件或命名管道或设备句柄）建立联系，建立联系的工作由程序员完成，当调用select()时，由内核根据IO状态修改fd_set的内容，由此来通知执行了select()的进程哪一Socket或文件可读。
2.1.1 select函数
#include 用户调用select会进入内核空间，并且调用 sys_select() 内核函数，主要完成以下工作。
- 设置设备驱动回调函数指针（select需要设备驱动程序支持，驱动程序实现fops内的poll函数。select通过每个设备文件对应的poll函数提供的信息判断当前是否有资源可用(如可读或写)，如果有的话则返回可用资源的文件描述符个数，没有的话则睡眠，等待有资源变为可用时再被唤醒继续执行）。
- select循环遍历它所监测的fd_set内的所有文件描述符对应的驱动程序的poll函数。驱动程序提供的poll函数首先会将调用select的用户进程插入到该设备驱动对应资源的等待队列(如读/写等待队列)，然后返回一个bitmask告诉select当前资源哪些可用。当select循环遍历完所有fd_set内指定的文件描述符对应的poll函数后，如果没有一个资源可用(即没有一个文件可供操作)，则select让该进程睡眠，一直等到有资源可用为止，进程被唤醒(或者timeout)继续往下执行。
- 唤醒该进程的过程通常是在所监测文件的设备驱动内实现的，驱动程序维护了针对自身资源读写的等待队列。当设备驱动发现自身资源变为可读写并且有进程睡眠在该资源的等待队列上时，就会唤醒这个资源等待队列上的进程。
下图是select的调用过程：
- 将需要监控的文件描述符集合fd_set拷贝到内核；
- 用__pollwait初始化文件设备驱动程序的_qproc函数指针（__pollwait函数在下图介绍）
- 遍历fd_set集合中的文件描述符，调用对应poll函数，通过返回mask判断文件描述符是否可读可写等，如条件满足，则将读fe_set集合对应文件描述符置位，并将需返回的描述符个数加1，如条件不满足，则调用poll_wait函数将调用select进程加入设备等待队列中与设置唤醒回调函数
- 如所有条件都不满足，则调用poll_schedule_timeout让当前进程进入睡眠。超时、检测的文件描述符满足条件、有信号要处理这三种情况将唤醒进程。
- 最终返回符合条件的文件描述符个数（retval）
下图是__pollwait函数和进程唤醒函数调用过程
- __pollwait完成的工作是创建创建一个poll_table_entry并加入到struct poll_wqueues，用pollwake初始化唤醒函数指针 ，将当前进程加入设备驱动等待队列中。（poll_table_entry包含设备驱动程序中的struct wait_queue_entry_t，其中包含唤醒函数指针func）
- 当设备驱动发现自身资源变为可读写并且有进程睡眠在该资源的等待队列上时，就会唤醒这个资源等待队列上的进程pollwake
2.1.2 相关操作
FD_ZERO(fd_set *)将某一个集合清空，每次select前都需要将集合清空
FD_SET(int, fd_set *)将一个给定的文件描述符加入到集合之中
FD_CLR(int, fd_set *)从集合中删除指定的文件描述符。
FD_ISSET(int, fd_set *)检查集合中指定的文件描述符是否准备好（可读或可写）
2.2 select使用
#include 3.poll
由于select与poll本质上基本类似，其中select是由BSD UNIX引入，poll由SystemV引入。所以不在介绍poll的实现原理。
#include 
3.1 poll使用
#include 4.epoll
4.1 epoll的实现原理
4.1.1 epoll的创建
要使用 epoll 首先需要调用 epoll_create() 函数创建一个 epoll 的句柄，epoll_create() 函数定义如下：
#include 用户调用epoll_create会进入内核空间，并且调用 sys_epoll_create() 内核函数来创建 epoll 句柄。
sys_epoll_create() 主要完成两件事情：
- 创建并初始化一个 eventpoll 对象；
- 把 eventpoll 对象映射到一个文件句柄，并返回这个文件句柄。
struct eventpoll {
...
//等待队列，当调用 epoll_wait 时会把进程添加到 eventpoll 对象的 wq 等待队列中
wait_queue_head_t wq;
...
//保存已经就绪的事件列表，通过epoll_wait返回给用户
struct list_head rdllist;
//红黑树的根节点，使用红黑树来管理所有被监听的事件，这颗树中存储着所有添加到epoll中的需要监控的事件
struct rb_root rbr;
...
};
//红黑树被监听的事件通过epitem对象管理
struct epitem{
struct rb_node rbn;//红黑树节点
struct list_head rdllink;//双向链表节点
struct epoll_filefd ffd; //事件句柄信息
struct eventpoll *ep; //指向其所属的eventpoll对象
struct epoll_event event; //期待发生的事件类型
}
下图展示了eventpoll与被监听事件的关系：
4.1.2 epoll添加事件
通过调用 epoll_ctl() 函数可以向 epoll 添加要监听的事件，其原型如下：
#include epoll_ctl() 函数会调用 sys_epoll_ctl() 内核函数，sys_epoll_ctl() 主要完成以下事情：
- 根据op完成相应操作，下面讲解的操作是添加socket事件；
- 创建被监听socket事件的epitem对象；
- 调用tcp_poll接口，将epitem对象添加到socket的等待队列中，并且设置唤醒函数ep_poll_callback()，当socket状态发生变化时，会触发调用ep_poll_callback() 函数。（ep_poll_callback() 函数的主要工作是把就绪的epitem添加到 eventpoll 对象的rdllist中，然后调用wake_up唤醒调用 epoll_wait() 被阻塞的进程）
- 将epitem添加入epfd对应的红黑树中进行管理
4.1.3 epoll等待事件
把被监听的文件句柄添加到epoll后，就可以通过调用 epoll_wait() 等待被监听的文件状态发生改变。epoll_wait() 调用会阻塞当前进程，当被监听的文件状态发生改变时，epoll_wait() 调用便会返回。
#include epoll_wait函数会调用sys_epoll_wait()内核函数，sys_epoll_wait() 主要完成以下事情：
- 判断被监听的文件eventpoll对象的rdllist双链表中是否有就绪的epitem对象，如果有，调用 ep_send_events() 函数把就绪epitem复制到 events 参数中，然后返回就绪文件个数。
- 如果没有就把当前进程添加到eventpoll的等待队列中，并且进入睡眠
- 进程会一直睡眠直到有以下几种情况发生：
- 被监听的文件描述符状态变化
- 设置了超时时间并且超时了
- 接收到信号
- 如果有，调用 ep_send_events() 函数把就绪epitem复制到 events 参数中，然后返回就绪文件个数。
4.1.4 调用总结
- 通过调用 epoll_create() 函数创建并初始化一个 eventpoll 对象。
- 通过调用 epoll_ctl()函数把被监听的文件句柄 (如socket句柄) 封装成 epitem 对象并且添加到 eventpoll 对象的红黑树中进行管理。
- 通过调用 epoll_wait() 函数等待被监听的文件状态发生改变。
- 当被监听的文件状态发生改变时（如socket接收到数据），会把文件句柄对应 epitem 对象添加到 eventpoll 对象的就绪队列 rdllist 中。并且把就绪队列的文件列表复制到 epoll_wait() 函数的 events 参数中。
- 唤醒调用epoll_wait() 函数被阻塞（睡眠）的进程。
4.2 epoll使用
epoll 服务器端代码模板示例：
#include 5.select，poll，epoll区别
- 支持一个进程所能打开的最大连接数：
select：单个进程所能打开的最大连接数由FD_SETSIZE宏定义，其大小是32个整数的大小（在32位的机器上，大小就是3232，同理64位机器上FD_SETSIZE为3264）。
poll：poll本质上和select没有区别，但是它没有最大连接数的限制，原因是它是基于链表来存储的。
epoll：虽然连接数有上限，但是很大，1G内存的机器上可以打开10万左右的连接，2G内存的机器可以打开20万左右的连接。 - 文件描述符剧增后带来的IO效率问题
select/poll：因为每次调用时都会对监控的所有文件描述符进行线性遍历，所以随着的文件描述符的增加会造成遍历速度慢的“线性下降性能”问题。
epoll：因为epoll内核中实现是根据每个文件描述符上的callback函数来实现的，只有活跃的socket才会主动调用callback，所以在活跃socket较少的情况下，使用epoll没有前面两者的线性下降的性能问题，但是所有socket都很活跃的情况下，可能会有性能问题。 - 消息传递方式
select/poll：用户和内核之间采用数据拷贝的方式传递消息
epoll：epoll通过内核和用户空间共享一块内存实现消息传递。
综上，在选择select，poll，epoll时要根据具体的使用场合以及这三种方式的自身特点。
-
表面上看epoll的性能最好，但是在连接数少并且连接都十分活跃的情况下，select和poll的性能可能比epoll好，毕竟epoll的通知机制需要很多函数回调。
-
select低效是因为每次它都需要轮询。但低效也是相对的，视情况而定，也可通过良好的设计改善