Linux网络编程（三）——IO多路复用
目录
0x01 I/O多路复用(I/O多路转接)
一、常见的I/O模型
阻塞等待（BIO模型）
非阻塞忙轮询（NIO模型）
二、IO多路转接技术
select
select代码编写
select的缺点
poll
poll代码
epoll()多路复用
epoll代码实现
epoll的工作模式
0x01 I/O多路复用(I/O多路转接)
I/O多路复用使得程序能同时监听多个文件描述符，能够提高程序的性能，Linux下实现I/O多路复用的系统调用主要有select、poll、epoll。简单来说就是，单线程或单进程同时监测若干个文件描述符是否可以执行I/O操作。
应用程序通常需要处理来自多条事件流中的事件，比如我们的电脑需要同时处理鼠标和键盘的输入输出、中断信号等等事件，再比如web服务器，需要同时处理来自N个客户端的事件。但是在CPU单核在同一时刻只能做一件事情，一种解决方法就是对CPU进行分时复用（多个事件流将CPU切割成多个时间片，不同十几件流的时间片交替进行）。在计算机系统中，我们用线程或者进程来表示一条执行流，通过不同的线程或进程在操作系统内部的调度，来做到对CPU处理的时分复用。这样多个事件流就可以并发进行，不需要一个等待另一个太久，在用户看起来他们似乎就是并行在做一样。
一、常见的I/O模型
阻塞等待（BIO模型）
比如我们使用过的函数read、write，这是最常用的简单的IO模型。阻塞IO意味着当我们发起一次IO操作后一直等待成功或失败之后才返回，在这期间程序不能做其他事情。阻塞IO操作只能对单个文件描述符进行操作。
-
优点：不占用CPU宝贵的时间片，在等待的时候CPU可以去执行别的事情。
-
缺点：同一时刻只能处理一个操作，效率低。
为了解决上述问题，我们可以使用多进程或者是多线程来进行解决。虽然这种方式可以实现并发，但是线程或者进程会消耗资源，线程或进程调度也会消耗CPU资源。
这些问题的根本原因是在于你所调用的函数都是阻塞的。
非阻塞忙轮询（NIO模型）
非阻塞的设置后，为了可以获得信息，只好通过每隔多长时间就来访问一次来解决。但是当你存在多个任务的时候，就很麻烦，需要不断地去获取状态。这种方式的优点在于，其提高了程序的执行效率，缺点是需要占用更多的CPU和系统资源。
为了解决上述的问题，我们需要使用IO多路转接技术。
二、IO多路转接技术
-
select、poll：委托内核进行检测这些数据，对于select它只会告知你现在有几个消息到了，之后需要进行一遍轮询，查找对应的文件描述符，这个检测就是不断地去读取缓冲区是否存在数据。
-
epoll：委托内核进行检测，但是不同的是他会告知现在是哪些数据到了，会告知数据的信息。
以上是简单的概括这些api的解释，接下来我们看看这些api具体的内容：
select
主旨思想：
-
首先要构造一个关于文件描述符的列表，要监听的文件描述符添加到该列表中。
-
调用一个系统函数，监听列表中的文件描述符，直到这些描述符中的一个或者多个进行I/O操作时，该函数才返回。需要注意的是，这个函数是阻塞的，函数对文件描述符的检测的操作是由内核完成的。
-
在返回时，它会告诉进程有多少（哪些）描述符要进行I/O操作。
#include
#include
#include
#include
// 下面的操作是在操作一个列表，对于要检测的一个文件描述符，我们需要在对应的列表中进行置1
// 当内核检测到有文件准备读取/写入进来时，会对比我们传入的队列数组，返回发生变化的个数
int select(int nfds, fd_set *readfds, fd_set *writefds,fd_set *exceptfds, struct timeval *timeout);
- 参数：
- nfds : 委托内核检测的最大文件描述符的值 + 1
- readfds : 要检测的文件描述符的读的集合，委托内核检测哪些文件描述符的读的属性
- 一般检测读操作
- 对应的是对方发送过来的数据，因为读是被动的接收数据，检测的就是读缓冲
区
- 是一个传入传出参数(sizeof(fd_set) = 128 1024)，代表有1024个标志位
- writefds : 要检测的文件描述符的写的集合，委托内核检测哪些文件描述符的写的属性
- 委托内核检测写缓冲区是不是还可以写数据（不满的就可以写）
- exceptfds : 检测发生异常的文件描述符的集合
- timeout : 设置的超时时间
struct timeval {
long tv_sec; /* seconds */
long tv_usec; /* microseconds */
};
- NULL : 永久阻塞，直到检测到了文件描述符有变化
- tv_sec = 0 tv_usec = 0， 不阻塞
- tv_sec > 0 tv_usec > 0， 阻塞对应的时间
- 返回值 :
- -1 : 失败
- >0(n) : 检测的集合中有n个文件描述符发生了变化
// 将参数文件描述符fd对应的标志位设置为0
void FD_CLR(int fd, fd_set *set);
// 判断fd对应的标志位是0还是1， 返回值：fd对应的标志位的值，0，返回0， 1，返回1
int FD_ISSET(int fd, fd_set *set);
// 将参数文件描述符fd 对应的标志位，设置为1
void FD_SET(int fd, fd_set *set);
// fd_set一共有1024 bit, 全部初始化为0
void FD_ZERO(fd_set *set); select的工作流程可以参照下图：
上图表达的是，用户将需要遍历的文件描述符装入列表中（将对应的位数置1），之后拷贝到内核，内核会去检测是否有客户端发送了数据，假设A,B发送了数据，它就会将其置为1，没有接收到数据的，则置为，之后将列表送回用户态，用户态使用for循环进行遍历，即可发起通讯，对于通信时发生断开的客户端，我们应该使用CLR函数将其置零，保证其不会在内核中进行检测。
select代码编写
//select.c 服务端
#include
#include
#include
#include
#include
#include
int main() {
// 创建socket
int lfd = socket(PF_INET, SOCK_STREAM, 0);
struct sockaddr_in saddr;
saddr.sin_port = htons(9999); //端口
saddr.sin_family = AF_INET; //IPV4
saddr.sin_addr.s_addr = INADDR_ANY; // IP地址
// 绑定
bind(lfd, (struct sockaddr *)&saddr, sizeof(saddr));
// 监听
listen(lfd, 8);
// 创建一个fd_set的集合，存放的是需要检测的文件描述符，128个字节
fd_set rdset, tmp;
FD_ZERO(&rdset);
FD_SET(lfd, &rdset);
// 最大文件描述符
int maxfd = lfd;
while(1) {
tmp = rdset;
// 调用select系统函数，让内核帮检测哪些文件描述符有数据
// 永久阻塞
int ret = select(maxfd + 1, &tmp, NULL, NULL, NULL);
if(ret == -1) {
perror("select");
exit(-1);
} else if(ret == 0) {
// 这里是阻塞，返回0是因为当前没有文件描述符的数据发生改变
continue;
} else if(ret > 0) {
// 说明检测到了有文件描述符的对应的缓冲区的数据发生了改变
if(FD_ISSET(lfd, &tmp)) {
// 表示有新的客户端连接进来了
struct sockaddr_in cliaddr;
int len = sizeof(cliaddr);
int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len);
// 将新的文件描述符加入到集合中
FD_SET(cfd, &rdset);
// 更新最大的文件描述符
maxfd = maxfd > cfd ? maxfd : cfd;
}
// 监听的文件描述符肯定是在最前面
for(int i = lfd + 1; i <= maxfd; i++) {
if(FD_ISSET(i, &tmp)) {
// 说明这个文件描述符对应的客户端发来了数据
char buf[1024] = {0};
int len = read(i, buf, sizeof(buf));
if(len == -1) {
perror("read");
exit(-1);
} else if(len == 0) {
printf("client closed...\n");
close(i);
FD_CLR(i, &rdset);
} else if(len > 0) {
printf("read buf = %s\n", buf);
write(i, buf, strlen(buf) + 1);
}
}
}
}
}
close(lfd);
return 0;
} #include
#include
#include
#include
#include
int main() {
// 创建socket
int fd = socket(PF_INET, SOCK_STREAM, 0);
if(fd == -1) {
perror("socket");
return -1;
}
struct sockaddr_in seraddr;
inet_pton(AF_INET, "127.0.0.1", &seraddr.sin_addr.s_addr);
seraddr.sin_family = AF_INET;
seraddr.sin_port = htons(9999);
// 连接服务器
int ret = connect(fd, (struct sockaddr *)&seraddr, sizeof(seraddr));
if(ret == -1){
perror("connect");
return -1;
}
int num = 0;
while(1) {
char sendBuf[1024] = {0};
sprintf(sendBuf, "send data %d", num++);
write(fd, sendBuf, strlen(sendBuf) + 1);
// 接收
int len = read(fd, sendBuf, sizeof(sendBuf));
if(len == -1) {
perror("read");
return -1;
}else if(len > 0) {
printf("read buf = %s\n", sendBuf);
} else {
printf("服务器已经断开连接...\n");
break;
}
usleep(1000);
}
close(fd);
return 0;
} 可以发现通过select函数我们也可以实现多进程多线程的效果。
select的缺点
从上面的流程可以看出来，当我们需要监听文件描述符时，我们每次都要将我们创建的集合从用户态拷贝到内核态，这样会消耗资源，内核也会不断地去遍历检测O(n)，检测完后又会从内核态拷贝给用户。总结来说，select接口具有如下的缺点：
-
每次调用select，都需要把fd集合从用户态拷贝到内核态，这个开销在fd很多时候会很大。
-
同时每次调用select都需要在内核遍历传递进来的所有fd，这个开销在fd很多时候也很大。
-
select支持的文件描述符数量太小了，默认是1024（128个字节）。
-
fds集合不能重用，每次都需要重置。
poll
poll函数可以改进select的缺点，其主要函数接口如下：
#include
struct pollfd {
int fd; /* 委托内核检测的文件描述符 */
short events; /* 委托内核检测文件描述符的什么事件 */
short revents; /* 文件描述符实际发生的事件 */
};
#使用
struct pollfd myfd;
myfd.fd = 5;
myfd.events = POLLIN | POLLOUT; //检测读写
int poll(struct pollfd *fds, nfds_t nfds, int timeout);
- 参数：
- fds : 是一个struct pollfd 结构体数组，这是一个需要检测的文件描述符的集合，并没有大小的限制（解决了select只能存放1024个大小的问题），并且不需要一直在用户态与内核态之间传递，直接读取内核修改的事件变量。
- nfds : 这个是第一个参数数组中最后一个有效元素的下标 + 1
- timeout : 阻塞时长
0 : 不阻塞
-1 : 阻塞，当检测到需要检测的文件描述符有变化，解除阻塞
>0 : 阻塞的时长（ms）
- 返回值：
-1 : 失败
>0（n） : 成功,n表示检测到集合中有n个文件描述符发生变化 其中的事件：
poll代码
#include
#include
#include
#include
#include
#include
int main() {
// 创建socket
int lfd = socket(PF_INET, SOCK_STREAM, 0);
struct sockaddr_in saddr;
saddr.sin_port = htons(9999);
saddr.sin_family = AF_INET;
saddr.sin_addr.s_addr = INADDR_ANY;
// 绑定
bind(lfd, (struct sockaddr *)&saddr, sizeof(saddr));
// 监听
listen(lfd, 8);
// 初始化检测的文件描述符数组
// 数组大小可修改
struct pollfd fds[1024];
for(int i = 0; i < 1024; i++) {
fds[i].fd = -1;
fds[i].events = POLLIN;
}
fds[0].fd = lfd;
int nfds = 0;
while(1) {
// 调用poll系统函数，让内核帮检测哪些文件描述符有数据
int ret = poll(fds, nfds + 1, -1);
if(ret == -1) {
perror("poll");
exit(-1);
} else if(ret == 0) {
continue;
} else if(ret > 0) {
// 说明检测到了有文件描述符的对应的缓冲区的数据发生了改变
if(fds[0].revents & POLLIN) {
// 表示有新的客户端连接进来了
struct sockaddr_in cliaddr;
int len = sizeof(cliaddr);
int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len);
// 将新的文件描述符加入到集合中
for(int i = 1; i < 1024; i++) {
if(fds[i].fd == -1) {
fds[i].fd = cfd;
fds[i].events = POLLIN;
break;
}
}
// 更新最大的文件描述符的索引
nfds = nfds > cfd ? nfds : cfd;
}
for(int i = 1; i <= nfds; i++) {
if(fds[i].revents & POLLIN) {
// 说明这个文件描述符对应的客户端发来了数据
char buf[1024] = {0};
int len = read(fds[i].fd, buf, sizeof(buf));
if(len == -1) {
perror("read");
exit(-1);
} else if(len == 0) {
printf("client closed...\n");
close(fds[i].fd);
fds[i].fd = -1;
} else if(len > 0) {
printf("read buf = %s\n", buf);
write(fds[i].fd, buf, strlen(buf) + 1);
}
}
}
}
}
close(lfd);
return 0;
} epoll()多路复用
从上面的poll学习，我们可以知道它解决了select的支持数量太少，集合需要重置的问题。但是其实并没有解决不管是在用户空间还是在内核空间的遍历，这个消耗的空间时间也比较多。那么接下来看看epoll函数，这个函数的效率较高：
创建的epoll实例是属于内核区，通过文件描述符去操作内核中的内存，通过epoll提供的api去操作。
其实就是在内核中创建了一个数据，这个数据中有两个比较重要的数据，一个是需要检测文件描述符的信息（红黑树），还有一个是就绪列表，存放检测到数据发送改变的文件描述符信息（双向链表），也就是在检测rbr中的文件，看看有什么文件发生了变化，然后将其传入到rdlist中，之后拷贝就绪的文件描述符返回用户态进行操作。这样大大减少了用户态和内核态的切换，检测的效率提高，并且返回的信息返回信息简单，而不是像poll、select一样冗余。
#include
int epoll_create(int size);
- 参数：
size : 目前没有意义了。随便写一个数，必须大于0
- 返回值：
-1 : 失败
> 0 : 文件描述符，操作epoll实例的
// 联合体
typedef union epoll_data {
void *ptr;
int fd;
uint32_t u32;
uint64_t u64;
} epoll_data_t;
struct epoll_event {
uint32_t events; /* Epoll events */
epoll_data_t data; /* User data variable */
};
常见的Epoll检测事件：
- EPOLLIN
- EPOLLOUT
- EPOLLERR
- EPOLLET 实现边沿触发
// 对epoll实例进行管理：添加文件描述符信息，删除信息，修改信息
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
- 参数：
- epfd : epoll实例对应的文件描述符
- op : 要进行什么操作
EPOLL_CTL_ADD: 添加
EPOLL_CTL_MOD: 修改
EPOLL_CTL_DEL: 删除
- fd : 要检测的文件描述符
- event : 检测文件描述符具体什么事情（读、写）
// 检测函数
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);
- 参数：
- epfd : epoll实例对应的文件描述符
- events : 传出参数，保存了发送了变化的文件描述符的信息
- maxevents : 第二个参数结构体数组的大小
- timeout : 阻塞时间
- 0 : 不阻塞
- -1 : 阻塞，直到检测到fd数据发生变化，解除阻塞
- > 0 : 阻塞的时长（毫秒）
- 返回值：
- 成功，返回发送变化的文件描述符的个数 > 0
- 失败 -1 epoll代码实现
#include
#include
#include
#include
#include
#include
int main() {
// 创建socket
int lfd = socket(PF_INET, SOCK_STREAM, 0);
struct sockaddr_in saddr;
saddr.sin_port = htons(9999);
saddr.sin_family = AF_INET;
saddr.sin_addr.s_addr = INADDR_ANY;
// 绑定
bind(lfd, (struct sockaddr *)&saddr, sizeof(saddr));
// 监听
listen(lfd, 8);
// 调用epoll_create()创建一个epoll实例
int epfd = epoll_create(100);
// 将监听的文件描述符相关的检测信息添加到epoll实例中
struct epoll_event epev;
epev.events = EPOLLIN;
epev.data.fd = lfd;
epoll_ctl(epfd, EPOLL_CTL_ADD, lfd, &epev);
// 接收的数组
struct epoll_event epevs[1024];
while(1) {
int ret = epoll_wait(epfd, epevs, 1024, -1);
if(ret == -1) {
perror("epoll_wait");
exit(-1);
}
printf("ret = %d\n", ret);
for(int i = 0; i < ret; i++) {
int curfd = epevs[i].data.fd;
// 有数据发生改变的文件描述符
if(curfd == lfd) {
// 监听的文件描述符有数据达到，有客户端连接
struct sockaddr_in cliaddr;
int len = sizeof(cliaddr);
int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len);
// 重用之前的epev来接收新的信息，将其添加进去监听
epev.events = EPOLLIN;
epev.data.fd = cfd;
epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, &epev);
} else {
// 过滤掉写
if(epevs[i].events & EPOLLOUT) {
continue;
}
// 有数据到达，需要通信
char buf[1024] = {0};
int len = read(curfd, buf, sizeof(buf));
if(len == -1) {
perror("read");
exit(-1);
} else if(len == 0) {
printf("client closed...\n");
epoll_ctl(epfd, EPOLL_CTL_DEL, curfd, NULL);
close(curfd);
} else if(len > 0) {
printf("read buf = %s\n", buf);
write(curfd, buf, strlen(buf) + 1);
}
}
}
}
close(lfd);
close(epfd);
return 0;
} epoll的工作模式
- LT模式（水平触发）
LT（level - triggered）是缺省的工作方式，并且同时支持 block 和 no-block socket。在这种做法中，内核告诉你一个文件描述符是否就绪了，然后你可以对这个就绪的 fd 进行 IO 操作。如果你不作任何操作，内核还是会继续通知你的，不断地发送，上述使用的就是水平触发方式。
假设委托内核检测读事件，则会检测fd的读缓冲区，如果这个时候读缓冲区有数据，则epoll检测到了会给用户通知：
代码示例：
创建一个可以发送数据的客户端，服务端进行接收，服务端设置其一次只能接收五个字节，这个时候如果超过这五个字节长度，则会分多次发送，直到消息发送完为止：
//client.c
#include
#include
#include
#include
#include
int main() {
// 创建socket
int fd = socket(PF_INET, SOCK_STREAM, 0);
if(fd == -1) {
perror("socket");
return -1;
}
struct sockaddr_in seraddr;
inet_pton(AF_INET, "127.0.0.1", &seraddr.sin_addr.s_addr);
seraddr.sin_family = AF_INET;
seraddr.sin_port = htons(9999);
// 连接服务器
int ret = connect(fd, (struct sockaddr *)&seraddr, sizeof(seraddr));
if(ret == -1){
perror("connect");
return -1;
}
int num = 0;
while(1) {
char sendBuf[1024] = {0};
// sprintf(sendBuf, "send data %d", num++);
fgets(sendBuf, sizeof(sendBuf), stdin);
write(fd, sendBuf, strlen(sendBuf) + 1);
// 接收
int len = read(fd, sendBuf, sizeof(sendBuf));
if(len == -1) {
perror("read");
return -1;
}else if(len > 0) {
printf("read buf = %s\n", sendBuf);
} else {
printf("服务器已经断开连接...\n");
break;
}
}
close(fd);
return 0;
} //server.c
#include
#include
#include
#include
#include
#include
int main() {
// 创建socket
int lfd = socket(PF_INET, SOCK_STREAM, 0);
struct sockaddr_in saddr;
saddr.sin_port = htons(9999);
saddr.sin_family = AF_INET;
saddr.sin_addr.s_addr = INADDR_ANY;
// 绑定
bind(lfd, (struct sockaddr *)&saddr, sizeof(saddr));
// 监听
listen(lfd, 8);
// 调用epoll_create()创建一个epoll实例
int epfd = epoll_create(100);
// 将监听的文件描述符相关的检测信息添加到epoll实例中
struct epoll_event epev;
epev.events = EPOLLIN;
epev.data.fd = lfd;
epoll_ctl(epfd, EPOLL_CTL_ADD, lfd, &epev);
struct epoll_event epevs[1024];
while(1) {
int ret = epoll_wait(epfd, epevs, 1024, -1);
if(ret == -1) {
perror("epoll_wait");
exit(-1);
}
printf("ret = %d\n", ret);
for(int i = 0; i < ret; i++) {
int curfd = epevs[i].data.fd;
if(curfd == lfd) {
// 监听的文件描述符有数据达到，有客户端连接
struct sockaddr_in cliaddr;
int len = sizeof(cliaddr);
int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len);
epev.events = EPOLLIN;
epev.data.fd = cfd;
epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, &epev);
} else {
if(epevs[i].events & EPOLLOUT) {
continue;
}
// 有数据到达，需要通信
char buf[5] = {0};
int len = read(curfd, buf, sizeof(buf));
if(len == -1) {
perror("read");
exit(-1);
} else if(len == 0) {
printf("client closed...\n");
epoll_ctl(epfd, EPOLL_CTL_DEL, curfd, NULL);
close(curfd);
} else if(len > 0) {
printf("read buf = %s\n", buf);
write(curfd, buf, strlen(buf) + 1);
}
}
}
}
close(lfd);
close(epfd);
return 0;
} - ET模式（边沿触发）
ET（edge - triggered）是高速工作方式，只支持 no-block socket。在这种模式下，当描述符从未就绪变为就绪时，内核通过epoll告诉你。然后它会假设你知道文件描述符已经就绪，并且不会再为那个文件描述符发送更多的就绪通知，直到你做了某些操作导致那个文件描述符不再为就绪状态了。但是请注意，如果一直不对这个 fd 作 IO 操作（从而导致它再次变成未就绪），内核不会发送更多的通知（only once）。 ET 模式在很大程度上减少了 epoll 事件被重复触发的次数，因此效率要比 LT 模式高。epoll工作在 ET 模式的时候，必须使用非阻塞套接口，以避免由于一个文件句柄的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。（比如使用read的时候要规定其非阻塞，否则当数据一直为空时，read读到空包后也进入阻塞，造成死锁）
假设委托内核检测读时间，检测fd的读缓冲区，读缓冲区有数据，epoll检测到了会给用户通知：
-
用户不读数据，数据一直在缓冲区，epoll下次检测的时候就不通知了。
-
用户只读了一部分数据，epoll不通知。
-
缓冲区的数据读完了，不通知。
使用刚刚上面的代码，将其中接收到文件描述符时将其event进行修改，可以发现它只读了五个字节后即阻塞了，这是因为我们没有读完其他的字节，阻塞在epoll_wait这个函数里，这个时候如果需要读取下面还未接收的字符串，只能让客户端不断的往里写数据，让其缓冲区不断更新。那么我们可以使用一个while循环来实现一次性读取数据，让其读取函数read不阻塞：
#include
#include
#include
#include
#include
#include
#include
#include
int main() {
// 创建socket
int lfd = socket(PF_INET, SOCK_STREAM, 0);
struct sockaddr_in saddr;
saddr.sin_port = htons(9999);
saddr.sin_family = AF_INET;
saddr.sin_addr.s_addr = INADDR_ANY;
// 绑定
bind(lfd, (struct sockaddr *)&saddr, sizeof(saddr));
// 监听
listen(lfd, 8);
// 调用epoll_create()创建一个epoll实例
int epfd = epoll_create(100);
// 将监听的文件描述符相关的检测信息添加到epoll实例中
struct epoll_event epev;
epev.events = EPOLLIN;
epev.data.fd = lfd;
epoll_ctl(epfd, EPOLL_CTL_ADD, lfd, &epev);
struct epoll_event epevs[1024];
while(1) {
int ret = epoll_wait(epfd, epevs, 1024, -1);
if(ret == -1) {
perror("epoll_wait");
exit(-1);
}
printf("ret = %d\n", ret);
for(int i = 0; i < ret; i++) {
int curfd = epevs[i].data.fd;
if(curfd == lfd) {
// 监听的文件描述符有数据达到，有客户端连接
struct sockaddr_in cliaddr;
int len = sizeof(cliaddr);
int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len);
// 设置cfd属性非阻塞
int flag = fcntl(cfd, F_GETFL);
flag | O_NONBLOCK;
fcntl(cfd, F_SETFL, flag);
epev.events = EPOLLIN | EPOLLET; // 设置边沿触发
epev.data.fd = cfd;
epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, &epev);
} else {
if(epevs[i].events & EPOLLOUT) {
continue;
}
// 循环读取出所有数据
char buf[5];
int len = 0;
while( (len = read(curfd, buf, sizeof(buf))) > 0) {
// 打印数据
// printf("recv data : %s\n", buf);
//写入文件描述符
write(STDOUT_FILENO, buf, len);
write(curfd, buf, len);
}
if(len == 0) {
printf("client closed....");
}else if(len == -1) {
//read函数数据读完了会产生这个信号量（在非阻塞时）
if(errno == EAGAIN) {
printf("data over.....");
}else {
perror("read");
exit(-1);
}
}
}
}
}
close(lfd);
close(epfd);
return 0;
}