Linux网络编程——高并发服务器之epoll模型

事前准备（可忽略）

在这之前我们需要先看看自己的虚拟机能够连接最大客户端数（可以说是设置最大打开文件描述符限制），并且进行修改。按一下步骤进行输入（不同版本的虚拟机查出来的数目可能会有些差异，但是这些指令都是可以用的）

1. 输入ulimit –n 来看可连接最大客户端数（如果你是32位的虚拟机可能是1024）
2. 输入sudo vi /etc/security/limits.conf 写入以下配置,soft软限制，hard硬限制 （在#End of file前面加）如下图，复制右边括号里的（* soft nofile 65536 * hard nofile 100000）
   
   在上述操作完成之后，重启虚拟机，在输入ulimit –n指令就可看到你最大的可连接客户端数。这里建议不要把65536那个数字设置太大，不然会卡……建议最大数是80000（输入指令cat /proc/sys/fs/file-max可查看最大上限）。下面是epoll模型的性能曲线。
   

1、epoll模型概念

1.1、epoll模型的特点

• epoll是在2.6内核中提出的，是select模型和poll模型的增强版
• 对于select和poll来说，epoll更加灵活，没有描述符得得限制。
• epoll使用一个文件描述符来管理多个描述符，将用户关心的文件描述符的事件存放到内的一个事件表中，这样在用户和内核空间的copy只需要一次（即提高CPU的利用率）
• epoll主要要使用到的是红黑树的。

1.2、epoll使用到的红黑树

       树是Linux中的一种数据结构，在windows中是不存在的，它类似数组和链表的结合体（具备数组好访问的特点和链表好修改的特点）。在所有树的类型中，最强的就是红黑树。（这里就不想用太多时间写其他类型了，知道最常用的就行了……）

2、epoll使用的函数

在epoll模型中我们主要要使用到的函数就三个不是很多。下面的三个函数的顺序也是我们后面写代码时需要的流程。

头文件    
#include    

1、创建一个epoll句柄
int epoll_create(int size)    

2、控制某个epoll监控的文件描述符上的事件：注册、修改、删除。
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event) 

3、等待所监控文件描述符上有事件的产生，类似于select()调用。
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout) 

2.1、epoll创建

• 函数：int epoll_create(int size)
• 参数解析：size：告诉内核监听的数目
• 返回值：0成功，-1失败
• 作用：.创建一个epoll句柄，参数size用来告诉内核监听的文件描述符个数，跟内存大小有关。说白了就是创建一个红黑树，返回这一个树的树根。
• 注意：从linux2.6.8之后，size参数就被忽略了，当创建好epoll句柄之后，他就会占用一个fd值，所以我们在使用完了这个句柄之后，就要使用close函数关闭，避免占用fd的资源。

2.2、epoll控制监听

• 函数：int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)
• 参数解释：
  • 参数1：epfd：为epoll_creat的句柄 （树根）
  • 参数2：op：表示动作，用3个宏来表示：
    • EPOLL_CTL_ADD(注册新的fd到epfd)
    • EPOLL_CTL_MOD(修改已经注册的fd的监听事件)
    • EPOLL_CTL_DEL(从epfd删除一个fd)；
  • 参数3：要监听的文件操作符
  • 参数4：event：告诉内核需要监听的事件 （具体请看下面的解析）
• 作用：注册要监听的事件类型（就是要告诉这个红黑树，你要监控），这个函数能够对果实进行操作（比如说挂上果实、删除果实、修改果实，用到的是第二个参数）。它的功能很类似select模型中的监听字符集。
• 解析第4参数：

struct epoll_event 
{ 
	__uint32_t events; /* Epoll 事件*/ 
	epoll_data_t data; /* 用户数据变量 */ 
}; 

在epoll_event 结构体的第一个参数

• EPOLLIN ：表示对应的文件描述符可以读（包括对端SOCKET正常关闭）
• EPOLLOUT：表示对应的文件描述符可以写
• EPOLLPRI：表示对应的文件描述符有紧急的数据可读（这里应该表示有带外数据到来）
• EPOLLERR：表示对应的文件描述符发生错误
• EPOLLHUP：表示对应的文件描述符被挂断；
• EPOLLET： 将EPOLL设为边缘触发(Edge Triggered)模式，这是相对于水平触发(Level Triggered)来
  说的
• EPOLLONESHOT：只监听一次事件，当监听完这次事件之后，如果还需要继续监听这个socket的话，需 要再次把这个socket加入到EPOLL队列里

在epoll_event 结构体的第二个参数(注意：这是个联合体)

//下面的联合体中，一般只用到fd
typedef union epoll_data 
{
	void *ptr;
	int fd;	//文件描述符
	__uint32_t u32;
	__uint64_t u64;
} epoll_data_t;

2.3、epoll等待

• 函数：int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout)
• 参数解析
  • 参数1：epfd：为epoll_creat的句柄 （树根）
  • 参数2：events：传入epoll_event 结构变量，用来从内核得到的事件集合
  • 参数3：maxevents：告诉内核这个events有多大，但是这个值不能大于，你之前使用epoll_create(int size) 函数中的size。
  • 参数4：timeout是超时时间，这个参数可以输入三种（毫秒、0、-1），其中该参数如果是0则表示立即返回，-1表示不会超时。
  • 返回值：返回需要处理的事件数目，如果是0就表示已经超时。

2.4、epoll对文件操作符的操作模式（可忽略）

epoll对文件描述符的操作有两种模式: LT (level trigger)和ET ( edge trigger)。LT模式是默认模式，

两种区别如下:

1. LT模式:当epoll_wait检 测到描述符事件发生并 将此事件通知应用程序，应用程序可以不立即处理该事件。.下次调用epoll_wait时， 会再次响应应用程序并通知此事件。

2. ET模式:当epoll wait检 测到描述符事件发生并
   将此事件通知应用程序，应用程序必须立即处理该事件。如果不处理，下次调用epoll_wait时，不会再次响应应用程序并通知此事件。

3. ET模式在很大程度上减少了epoll事件被重复触发
   的次数，因此效率要比LT模式高。

3、epoll模型示例代码

#include 
#include 
#include 
#include 
#include 
#include 
#include 

#define MAXLINE 80
#define SERV_PORT 8000	//端口号
#define OPEN_MAX 1024	//监听个数

//出错时使用的代码
void perr_exit(char *str)
{
	 perror(str);
	 exit(1);
}

int main(void)
{
	//maxi是client的游标，listenfd用于接收服务器的套接字，connfd接收客户端套接字，sockfd用于临时套接字
	int i, j, maxi, listenfd, connfd, sockfd;
    	int nready, efd, res;
    	ssize_t n;
    	//用于信息发送接收的缓冲区
    	char buf[MAXLINE], str[INET_ADDRSTRLEN];
    	socklen_t clilen;
    	int client[OPEN_MAX];
    	struct sockaddr_in cliaddr, servaddr;
	
	struct epoll_event tep, ep[OPEN_MAX];
	
/*socket基础部分*/
	listenfd = socket(AF_INET, SOCK_STREAM, 0);
	bzero(&servaddr, sizeof(servaddr));
	servaddr.sin_family = AF_INET;
	servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
	servaddr.sin_port = htons(SERV_PORT);
	bind(listenfd, (struct sockaddr *) &servaddr, sizeof(servaddr));
	listen(listenfd, 20);
	    
	//把client[]数组初始化为-1
	for (i = 0; i < OPEN_MAX; i++)
	{
		client[i] = -1;
	}
        
        //
    	maxi = -1;
	//epoll句柄创建、初始化，监听1024个
	efd = epoll_create(OPEN_MAX);
	if (efd == -1)	//简历不成功报错退出
        	perr_exit("epoll_create");
        
        //把新建的listenfd挂到红黑树
        tep.events = EPOLLIN;  //表示对应的文件描述符可以读（包括对端SOCKET正常关闭）
     	tep.data.fd = listenfd;
    	res = epoll_ctl(efd, EPOLL_CTL_ADD, listenfd, &tep);
	if (res == -1)
        	perr_exit("epoll_ctl");
	
	//
	for ( ; ; ) 
	{
  		//epoll_wait把符合条件的果实放到ep数组中
        	nready = epoll_wait(efd, ep, OPEN_MAX, -1);//-1表示不会超时
        	if (nready == -1)
            		perr_exit("epoll_wait");
        	for (i = 0; i < nready; i++)
        	{
        		if (!(ep[i].events & EPOLLIN))  //判断tep.events是不是EPOLLIN;如果不是就跳过
                		continue;
                	//如果listenfd被读取，就代表有新的客户端要接入
                	if (ep[i].data.fd == listenfd) 
                	{
                		clilen = sizeof(cliaddr);
                		connfd = accept(listenfd, (struct sockaddr *)&cliaddr, &clilen);
                		printf("received from %s at PORT %d\n",inet_ntop(AF_INET, &cliaddr.sin_addr, str, sizeof(str)), ntohs(cliaddr.sin_port));
                		for (j = 0; j < OPEN_MAX; j++)
                		{
                    			if (client[j] < 0) 
                    			{
                        			client[j] = connfd; /* save descriptor */
                        			break;
                    			}
                    		}
                		if (j == OPEN_MAX)
                    			perr_exit("too many clients");
                		if (j > maxi)
                    			maxi = j; /* 把client[]下标往前面移动 */
                    	
                    		//把新来的客户端挂到树上
                    		tep.events = EPOLLIN; 
  				tep.data.fd = connfd;
                		res = epoll_ctl(efd, EPOLL_CTL_ADD, connfd, &tep);
                		if (res == -1)
                    			perr_exit("epoll_ctl");
                	}
			else 
			{
				//客户端被读，sockfd 接收临时客户端
        			sockfd = ep[i].data.fd;
                		n = read(sockfd, buf, MAXLINE);
                		//没有读到数据我就把这果实摘掉
                		if (n == 0) 
                		{
                			for (j = 0; j <= maxi; j++) 
                			{
                        			if (client[j] == sockfd) 
                        			{
                            				client[j] = -1;
                            				break;
                        			}
                    			}
                    			//摘掉读不到数据的客户端
                    			res = epoll_ctl(efd, EPOLL_CTL_DEL, sockfd, NULL);
                    			if (res == -1)
                        			perr_exit("epoll_ctl");
                        		//关闭该客户端
                    			close(sockfd);
                    			printf("client[%d] closed connection\n", j);
                		}
                		else 
                		{	
                			//小写转大写返回
                			for (j = 0; j < n; j++)
                        			buf[j] = toupper(buf[j]);
                    			write(sockfd, buf, n);
                		}
         		}
      		}//for (i = 0; i < nready; i++)结束
    	}//for(;;)结束
    	
    	close(listenfd);
    	close(efd);
    	return 0;
}