网络IO模型

最基本的网络IO
1 文件描述符
－socket(int domain, int type, int protocol);
－bind(int sockfd, struct sockaddr *my_addr, int addrlen);
2 服务端
－listen(int sockfd, int backlog);
－accept(int sockfd, void *addr, int *addrlen);
3 客户端
－connect(int sockfd, struct sockaddr *serv_addr, int addrlen);
4 通信
－send(int sockfd, const void *msg, int len, unsigned int flags);
－recv(int sockfd, void *buf, int len, unsigned int flags); 
Note:　什么是文件描述符？在linux中，所有的东西都可以看作是文件，它可能是一个网络连接、FIFO、管道、终端、磁盘上的文件或什么其他的东西。任何形式的IO都可以看作是在读或写一个文件描述符，文件描述符就是一个与打开的文件相关联的整数。socket就是利用文件描述符fd与其他程序通迅的方式。如fd(stdin)=0、fd(stdout)=1、fd(stderr)=2。

 

瓶颈在哪里
1 单进程、单线程
2 非多路复用
3 阻塞：accept、recv
－fcntl(sockfd, F_SETFL, O_NONBLOCK)
Note:　主要指服务端的瓶颈。多路复用是通信领域的术语，指把多个信号组合起来在一条物理信道上进行传输，在远距离传输时可大大节省电缆的安装和维护费用。这里指让一个线程或进程同时处理多个网络连接。

 

如何解决这些问题，下面逐一进行分析：
多进程模型
1 fork子进程在accept阻塞等待连接。
2 业务和网络层分离为不同进程模型。
3 负载均衡模型，多个进程绑定不同的端口。

 

多线程模型
1 主线程在accept处阻塞，当有新连接时实时创建新线程处理，处理完关闭。
2 创建线程池，都在accept处阻塞，当有新连接时notify一个线程去处理，处理完归还。
3 线程(池)关联一个线程消息队列，主线程在accept处阻塞，将新连接放入消息队列，线程(池)读取线程消息队列处理。
Note:　如何理解线程消息队列？生产者线程生产消息，放在一个空缓冲区中，供消费者线程消费，生产者生产消息，如果缓冲区满，则被阻塞，消费者消费消息，如果缓冲区空，则被阻塞。线程消息队列就是生产者消费者问题中的缓冲区，而它的生产者是不限定的，任何线程都可以作为生产者向其中进行EnQueue操作，消费线程则可能是一个，也可能是多个。因此对循环队列的任何操作都要加锁，以保证线程安全。
分析：从1到3方案逐渐优化。方案1并发数受限于线程数，线程创建、切换的开销，并发量上不去。方案2有惊群现象，当有新连接时，所有线程都被唤醒，只有一个线程处理其他线程再度休眠。方案3很好地解决了accept阻塞的问题，但还是未能解决read阻塞的问题，一个死连接（建立连接但是不发送数据的连接）就可以导致业务线程死掉。

 

多路复用模型
1 事件多路分离与分派。
2 实用的网络模型都是多路分离的(select/poll/epoll)，而且是非阻塞的。
3 Java NIO
-Selector、SocketChannel
Note:　一般地，I/O多路复用机制都依赖于一个事件多路分离器(Event Demultiplexer)。分离器对象可将来自事件源的I/O事件分离出来，并分发到对应的read/write事件处理器(Event Handler)。开发人员预先注册需要处理的事件及其事件处理器（或回调函数）；事件分离器负责将请求事件传递给事件处理器。两个与事件分离器有关的模式是Reactor和Proactor。Reactor模式采用同步IO，而Proactor采用异步IO。
NIO 有一个主要的类Selector，这个类似一个观察者，只要我们把需要探知的socketchannel告诉Selector，我们接着做别的事情，当有事件发生时，他会通知我们，传回一组SelectionKey，我们读取这些Key，就会获得我们刚刚注册过的socketchannel，然后，我们从这个Channel中读取数据，接着我们可以处理这些数据。  
Selector内部原理实际是在做一个对所注册的channel的轮询访问，不断的轮询(目前就这一个算法)，一旦轮询到一个channel有所注册的事情发生，比如数据来了，他就会站起来报告，交出一把钥匙，让我们通过这把钥匙来读取这个channel的内容。

 

select模型
1 int select(int n, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);
2 对fd_set的一些操作宏
FD_ZERO(fd_set *set) - clears a file descriptor set
FD_SET(int fd, fd_set *set) - adds fd to the set
FD_CLR(int fd, fd_set *set) - removes fd from the set
FD_ISSET(int fd, fd_set *set) - tests to see if fd is in the set
Note:　理解select模型的关键在于理解fd_set，它用每一位来标识fd是否被监听或是否发生事件。为说明方便，取fd_set长度为1字节，fd_set中的每一bit可以对应一个文件描述符fd。则1字节长的fd_set最大可以对应8个fd。
1）执行FD_ZERO(&set);则set用位表示是0000,0000。
2）若fd＝5，执行FD_SET(fd,&set);后set变为0001,0000(第5位置为1)
3）若再加入fd＝2，fd=1,则set变为0001,0011
4）执行select(6,&set,0,0,0)阻塞等待
5）若fd=1，fd=2上都发生可读事件，则select返回，此时set变为0000,0011。注意：没有事件发生的fd=5被清空。

 

select的特点
1 可监控的fd个数取决与sizeof(fd_set)的值，同是还会受限于内核的设置。
2 select每次只返回有事件的fd，没有事件的fd被清空，需另保存所有注册的fd，在每次select调用前清理fd_set，重新注册，同时取出最大的fd+1作为每一个参数。
3 需要遍历所有注册的fd判断是否有事件发生。

 

select服务端伪码
array[slect_len]; nSock=0; array[nSock++]=listen_fd; maxfd=listen_fd;
while {
   FD_ZERO(&set);
   foreach (fd in array)  {
       fd大于maxfd，则maxfd=fd
       FD_SET(fd,&set)
   }
   res=select(maxfd+1,&set,0,0,0)；
   if(FD_ISSET(listen_fd,&set)) {
       newfd=accept(listen_fd);
       array[nsock++]=newfd;
       if(--res<=0) continue
   }
   foreach 下标1开始 (fd in array)  {
       if(FD_ISSET(fd,&set))
           执行读等相关操作，如果错误或者关闭，则要删除该fd，将array中相应位置和最后一个元素互换就好，nsock减一
           if(--res<=0) continue
   }
}

 

poll模型
int poll(struct pollfd *ufds, unsigned int nfds, int timeout);
struct pollfd {
　　int fd;           /* file descriptor */
　　short events;     /* requested events */
　　short revents;    /* returned events */
};

 

poll的特点
1 fd个数不再有上限限制，可以将参数ufds想象成栈底指针，nfds是栈中元素个数，该栈可以无限制增长。
2 pollfd结构将fd信息、需要监控的事件、返回的事件分开保存，则poll返回后不会丢失fd信息和需要监控的事件信息，也就省略了select模型中前面的循环操作，但返回后的循环仍然不可避免。另外每次poll操作会自动把上次的revents清空，不需要再清理。

 

poll服务端伪码
struct pollfd fds[POLL_LEN];
unsigned int nfds=0;
fds[0].fd=server_sockfd;
fds[0].events=POLLIN|POLLPRI;
nfds++;
while {
 res=poll(fds,nfds,-1);
 if(fds[0].revents&(POLLIN|POLLPRI)) {
     执行accept并加入fds中，nfds++
     if(--res<=0) continue
 }
 循环之后的fds，if(fds[i].revents&(POLLIN|POLLERR )) {
     读操作或处理异常等
         if(--res<=0) continue
 }
}

 

epoll模型
1 int epoll_create(int size);
2 int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
－op: EPOLL_CTL_ADD、EPOLL_CTL_DEL
3 int epoll_wait(int epfd, struct epoll_event *events,int maxevents, int timeout);
Note:　epoll的设计思路，是把select/poll单个的操作拆分为1个epoll_create+多个epoll_ctl+一个epoll_wait。 由于在执行epoll_create和epoll_ctrl时，已经把用户态的信息保存到内核态了，所以之后即使反复地调用epoll_wait，也不会重复地拷贝参数，扫描文件描述符，反复地把当前进程放入/放出等待队列了。

 

epoll_event是?
typedef union epoll_data {
 void *ptr;
 int fd;
 __uint32_t u32;
 __uint64_t u64;
} epoll_data_t;
struct epoll_event {
 __uint32_t events;  /* Epoll events */
 epoll_data_t data;  /* User data variable */
};

 

epoll的特点
1 它保留了poll的两个相对与select的优点。
2 epoll_wait的参数events作为出参，直接返回了有事件发生的fd，epoll_wait的返回值既是发生事件的个数，省略了poll中返回之后的循环操作。
3 不再象select、poll一样将标识符局限于fd，epoll中可以将标识符扩大为指针，大大增加了epoll模型下的灵活性。
Note:　epoll的优点：1. 支付FD的数目大(1GB内存的机器上大约是10万左右)，epoll用红黑树来存储事件。2. 只响应活跃的FD，活跃的FD会主动callback。3. 使用mmap加速内核与用户空间的消息传递。

 

epoll服务端伪码
epollfd=epoll_create(EPOLL_LEN);
epoll_ctl(epollfd,EPOLL_CTL_ADD,server_sockfd,&ev)
struct epoll_event events[EPOLL_MAX_EVENT];
while {
 nfds=epoll_wait(epollfd,events,EPOLL_MAX_EVENT,-1);
 循环nfds，是server_sockfd则accept，否则执行响应操作
}

 

epoll工作模式
1 LT(Level Triggered)缺省，支持block和no-block socket。水平触发，只要buffer里有未被处理的事件，内核会不断通知你就绪未处理的FD。
2 ET(Edge Triggered)，只支持no-block socket。边缘触发，只在buffer大小发生变化时通知，只通知一次，控制不当有可能丢失。
3 指定socket可读、可写、ET模式
－ev.events = EPOLLIN | EPOLLOUT | EPOLLET;

 

select->poll->epoll演化路线
1 从readset、writeset等分离到将读写事件集中到统一的结构。
2 从阻塞操作前后的两次循环到之后的一次循环，再到精确返回有事件发生的fd。
3 从只能绑定fd信息，到可以绑定指针结构信息。