linux网络编程之socket（十三）：epoll 系列函数简介、与select、poll 的区别
一、epoll 系列函数简介
#include
int epoll_create(int size);
int epoll_create1(int flags);
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);
* epoll_create(2) creates an epoll instance and returns a file descriptor referring to that instance. (The more recent
epoll_create1(2) extends the functionality of epoll_create(2).)
* Interest in particular file descriptors is then registered via epoll_ctl(2). The set of file descriptors currently
registered on an epoll instance is sometimes called an epoll set.
* epoll_wait(2) waits for I/O events, blocking the calling thread if no events are currently available.
1、epoll_create1 产生一个epoll 实例，返回的是实例的句柄。flag 可以设置为0 或者EPOLL_CLOEXEC，为0时函数表现与epoll_create一致，EPOLL_CLOEXEC标志与open 时的O_CLOEXEC 标志类似，即进程被替换时会关闭打开的文件描述符。
2、epoll_ctl ：
（1）epfd：epoll 实例句柄；
（2）op：对文件描述符fd 的操作，主要有EPOLL_CTL_ADD、 EPOLL_CTL_DEL等；
（3）fd：需要操作的目标文件描述符；
（4）event：结构体指针
typedef union epoll_data {
void *ptr;
int fd;
uint32_t u32;
uint64_t u64;
} epoll_data_t;
struct epoll_event {
uint32_t events; /* Epoll events */
epoll_data_t data; /* User data variable */
};
events 参数主要有EPOLLIN、EPOLLOUT、EPOLLET、EPOLLLT等；一般data 共同体我们设置其成员fd即可，也就是epoll_ctl 函数的第三个参数。
3、epoll_wait：
（1）epfd：epoll 实例句柄；
（2）events：结构体指针
（3）maxevents：事件的最大个数
（4）timeout：超时时间，设为-1表示永不超时
下面我们使用c++ 来实现一个服务器端程序：
|
1
2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 |
#include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include "read_write.h" #include "sysutil.h" typedef std::vector< struct epoll_event> EventList; /* 相比于select与poll，epoll最大的好处是不会随着关心的fd数目的增多而降低效率 */ int main( void) { int count = 0; int listenfd; if ((listenfd = socket(PF_INET, SOCK_STREAM, IPPROTO_TCP)) < 0) ERR_EXIT( "socket"); struct sockaddr_in servaddr; memset(&servaddr, 0, sizeof(servaddr)); servaddr.sin_family = AF_INET; servaddr.sin_port = htons( 5188); servaddr.sin_addr.s_addr = htonl(INADDR_ANY); int on = 1; if (setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0) ERR_EXIT( "setsockopt"); if (bind(listenfd, ( struct sockaddr *)&servaddr, sizeof(servaddr)) < 0) ERR_EXIT( "bind"); if (listen(listenfd, SOMAXCONN) < 0) ERR_EXIT( "listen"); std::vector< int> clients; int epollfd; epollfd = epoll_create1(EPOLL_CLOEXEC); //epoll实例句柄 struct epoll_event event; event.data.fd = listenfd; event.events = EPOLLIN | EPOLLET; //边沿触发 epoll_ctl(epollfd, EPOLL_CTL_ADD, listenfd, &event); EventList events( 16); struct sockaddr_in peeraddr; socklen_t peerlen; int conn; int i; int nready; while ( 1) { nready = epoll_wait(epollfd, &*events.begin(), static_cast< int>(events.size()), - 1); if (nready == - 1) { if (errno == EINTR) continue; ERR_EXIT( "epoll_wait"); } if (nready == 0) continue; if ((size_t)nready == events.size()) events.resize(events.size() * 2); for (i = 0; i < nready; i++) { if (events[i].data.fd == listenfd) { peerlen = sizeof(peeraddr); conn = accept(listenfd, ( struct sockaddr *)&peeraddr, &peerlen); if (conn == - 1) ERR_EXIT( "accept"); printf( "ip=%s port=%d\n", inet_ntoa(peeraddr.sin_addr), ntohs(peeraddr.sin_port)); printf( "count = %d\n", ++count); clients.push_back(conn); activate_nonblock(conn); event.data.fd = conn; event.events = EPOLLIN | EPOLLET; epoll_ctl(epollfd, EPOLL_CTL_ADD, conn, &event); } else if (events[i].events & EPOLLIN) { conn = events[i].data.fd; if (conn < 0) continue; char recvbuf[ 1024] = { 0}; int ret = readline(conn, recvbuf, 1024); if (ret == - 1) ERR_EXIT( "readline"); if (ret == 0) { printf( "client close\n"); close(conn); event = events[i]; epoll_ctl(epollfd, EPOLL_CTL_DEL, conn, &event); clients.erase(std::remove(clients.begin(), clients.end(), conn), clients.end()); } fputs(recvbuf, stdout); writen(conn, recvbuf, strlen(recvbuf)); } } } return 0; } |
在程序的最开始定义一个新类型EventList，内部装着struct epoll_event 结构体的容器。
接下面的socket,bind,listen 都跟以前说的一样，不述。接着使用epoll_create1 创建一个epoll 实例，再来看下面四行代码：
struct epoll_event event;
event.data.fd = listenfd;
event.events = EPOLLIN | EPOLLET; //边沿触发
epoll_ctl(epollfd, EPOLL_CTL_ADD, listenfd, &event);
根据前面的函数分析，这四句意思就是将监听套接字listenfd 加入关心的套接字序列。
在epoll_wait 函数中的第二个参数，其实events.begin() 是个迭代器，但其具体实现也是struct epoll_event* 类型，虽然 &*events.begin() 得到的也是struct epoll_event* ，但不能直接使用events.begin() 做参数，因为类型不匹配，编译会出错。
EventList events(16); 即初始化容器的大小为16，当返回的事件个数nready 已经等于16时，需要增大容器的大小，使用events.resize 函数即可，容器可以动态增大，这也是我们使用c++实现的其中一个原因。
当监听套接字有可读事件，accept 返回的conn也需要使用epoll_ctl 函数将其加入关心的套接字队列。
还需要调用 activate_nonblock(conn); 将conn 设置为非阻塞，man 7 epoll 里有这样一句话：
An application that employs the EPOLLET flag should use nonblocking file descriptors to avoid having a blocking read or
write starve a task that is handling multiple file descriptors.
当下次循环回来某个已连接套接字有可读事件，则读取数据，若read 返回0表示对方关闭，需要使用epoll_ctl 函数将conn 从队列中清除，我们使用 std::vector
我们可以使用前面写的conntest 客户端程序测试一下，先运行服务器程序，再运行客户端，输出如下：
simba@ubuntu:~/Documents/code/linux_programming/UNP/socket$ ./echoser_epoll
................................
count = 1015
ip=127.0.0.1 port=60492
count = 1016
ip=127.0.0.1 port=60493
count = 1017
ip=127.0.0.1 port=60494
count = 1018
ip=127.0.0.1 port=60495
count = 1019
accept: Too many open files
simba@ubuntu:~/Documents/code/linux_programming/UNP/socket$ ./conntest
.........................................................
count = 1015
ip=127.0.0.1 port=60492
count = 1016
ip=127.0.0.1 port=60493
count = 1017
ip=127.0.0.1 port=60494
count = 1018
ip=127.0.0.1 port=60495
count = 1019
connect: Connection reset by peer
为什么服务器端的count 只有1019呢，因为除去012，一个监听套接字还有一个epoll 实例句柄，所以1024 - 5 = 1019。
为什么客户端的错误提示跟这里的不一样呢？这正说明epoll 处理效率比poll和select 都高，因为处理得快，来一个连接就accept一个，当服务器端accept 完第1019个连接，再次accept 时会因为文件描述符总数超出限制，打印错误提示，而此时客户端虽然已经创建了第1020个sock，但在connect 过程中发现对等方已经退出了，故打印错误提示，连接被对等方重置。如果服务器端处理得慢的话，那么客户端会connect 成功1021个连接，然后在创建第1022个sock 的时候出错，打印错误提示：socket: Too many open files，当然因为文件描述符的限制，服务器端也只能从已完成连接队列中accept 成功1019个连接。
二、epoll与select、poll区别
1、相比于select与poll，epoll最大的好处在于它不会随着监听fd数目的增长而降低效率。内核中的select与poll的实现是采用轮询来处理的，轮询的fd数目越多，自然耗时越多。
2、epoll的实现是基于回调的，如果fd有期望的事件发生就通过回调函数将其加入epoll就绪队列中,也就是说它只关心“活跃”的fd，与fd数目无关。
3、epoll不仅会告诉应用程序有I/0 事件到来，还会告诉应用程序相关的信息，这些信息是应用程序填充的，因此根据这些信息应用程序就能直接定位到事件，而不必遍历整个fd集合。
4、当已连接的套接字数量不太大，并且这些套接字都非常活跃，那么对于epoll 来说一直在调用callback 函数（epoll 内部的实现更复杂，更复杂的代码逻辑），可能性能没有poll 和 select 好，因为一次性遍历对活跃的文件描述符处理，在连接数量不大的情况下，性能更好，但在处理大量连接的情况时，epoll 明显占优。
三、epoll 的EPOLLLT （电平触发，默认）和 EPOLLET（边沿触发）模式的区别
1、EPOLLLT：完全靠kernel epoll驱动，应用程序只需要处理从epoll_wait返回的fds，这些fds我们认为它们处于就绪状态。此时epoll可以认为是更快速的poll。
2、EPOLLET：此模式下，系统仅仅通知应用程序哪些fds变成了就绪状态，一旦fd变成就绪状态，epoll将不再关注这个fd的任何状态信息，（从epoll队列移除）直到应用程序通过读写操作（非阻塞）触发EAGAIN状态，epoll认为这个fd又变为空闲状态，那么epoll又重新关注这个fd的状态变化（重新加入epoll队列）。随着epoll_wait的返回，队列中的fds是在减少的，所以在大并发的系统中，EPOLLET更有优势，但是对程序员的要求也更高，因为有可能会出现数据读取不完整的问题，举例如下：
假设现在对方发送了2k的数据，而我们先读取了1k，然后这时调用了epoll_wait，如果是边沿触发，那么这个fd变成就绪状态就会从epoll 队列移除，很可能epoll_wait 会一直阻塞，忽略尚未读取的1k数据，与此同时对方还在等待着我们发送一个回复ack，表示已经接收到数据；如果是电平触发，那么epoll_wait 还会检测到可读事件而返回，我们可以继续读取剩下的1k 数据。
注：上述使用 epoll ET 的例子只是个示例，更规范的用法可以参考这里。
参考：
《Linux C 编程一站式学习》
《TCP/IP详解 卷一》
《UNP》