IO多路复用及Redis网络模型

用户空间和内核空间

目前市面上服务器大多数都采用Linux系统，这里以Linux来简单描述

在任何的Linux发行版，其系统内核都是Linux,我们的应用都需要通过Linux内核与硬件交互

为了避免用户应用与内核发生冲突，用户应用与内核是分离的:

• 进程的寻址空间会划分为两部分:内核空间、用户空间
• 用户空间只能执行受限的命令(Ring3)，而且不能直接调用系统资源，必须通过内核提供的接口来访问
• 内核空间可以执行特权命令(Ring0),调用一切系统资源

Linux系统为了提高IO效率，会在用户空间和内核空间都加入缓冲区：

• 写数据时，要把用户缓冲数据拷贝到内核缓冲区，然后写入设备
• 读数据时，要从设备读取数据到内核缓冲区，然后拷贝到用户缓冲区

阻塞IO

在《UNIX网络编程》一书中，总结归纳了5种IO模型

• 阻塞IO（Blocking IO）
• 非阻塞IO（Nonblocking IO）
• IO多路复用（IO Multiplexing）
• 信号驱动IO（Signal Driven IO）
• 异步IO（Asynchronous IO）

阻塞IO
顾名思义，阻塞IO就是两个阶段都必须阻塞等待：
阶段一:

• 1.用户进程尝试读取数据（比如网卡数据）
• 2.此时数据尚未到达，内核需要等待数据
• 3.此时用户进程也处于阻塞状态

阶段二:

• 1.数据到达并拷贝到内核缓冲区，代表已就绪
• 2.将内核数据拷贝到用户缓冲区
• 3.拷贝过程中，用户进程依然阻塞等待
• 4.拷贝完成，用户进程解除阻塞，处理数据

可以看到，阻塞IO模型中，用户进程在两个阶段都是阻塞状态。

非阻塞IO

顾名思义，非阻塞IO的recvfrom操作会立即返回结果而不是阻塞用户进程。

IO多路复用
无论是阻塞IO还是非阻塞IO，用户应用在一阶段都需要调用recvfrom来获取数据，差别在于无数据时的处理方案：

• 如果调用recvfrom时，恰好没有数据，阻塞IO会使CPU阻塞，非阻塞IO使CPU空转，都不能充分发挥CPU的作用。
• 如果调用recvfrom时，恰好有数据，则用户进程可以直接进入第二阶段，读取并处理数据

而在单线程情况下，只能依次处理IO事件，如果正在处理的IO事件恰好未就绪（数据不可读或不可写），线程就会被阻塞，所有IO事件都必须等待，性能自然会很差。

在这里举个例子，餐厅服务员点餐

服务员给顾客点餐，分两步:

• 顾客思考要吃什么（等待数据就绪）
• 顾客想好了，开始点餐（读取数据）

要提高效率有几种办法？

• 方案一：增加更多服务员（多线程）
• 方案二：不排队，谁想好了吃什么（数据就绪了），服务员就给谁点餐（用户应用就去读取数据）

那么问题来了：用户进程如何知道内核中数据是否就绪呢？

这里就需要引入操作系统的一个概念，文件描述符

文件描述符（File Descriptor）：简称FD，是一个从0 开始的无符号整数，用来关联Linux中的一个文件。在Linux中，一切皆文件，例如常规文件、视频、硬件设备等，当然也包括网络套接字（Socket）。
IO多路复用：是利用单个线程来同时监听多个FD，并在某个FD可读、可写时得到通知，从而避免无效的等待，充分利用CPU资源。

阶段一：

• 1.用户进程调用select，指定要监听的FD集合
• 2.内核监听FD对应的多个socket
  -3. 任意一个或多个socket数据就绪则返回readable
• 4.此过程中用户进程阻塞

阶段二：

• 1.用户进程找到就绪的socket
• 2.依次调用recvfrom读取数据
• 3.内核将数据拷贝到用户空间
• 用户进程处理数据

IO多路复用： 是利用单个线程来同时监听多个FD，并在某个FD可读、可写时得到通知，从而避免无效的等待，充分利用CPU资源。不过监听FD的方式、通知的方式又有多种实现，常见的有：

• select
• poll
• epoll

差异：

• select和poll只会通知用户进程有FD就绪，但不确定具体是哪个FD，需要用户进程逐个遍历FD来确认
• epoll则会在通知用户进程FD就绪的同时，把已就绪的FD写入用户空间

IO多路复用之select
select是Linux最早是由的I/O多路复用技术：

部分源码分析如下图所示:

IO多路复用之poll

IO多路复用之epoll

总结：
select模式存在的三个问题：

• 能监听的FD最大不超过1024
• 每次select都需要把所有要监听的FD都拷贝到内核空间
• 每次都要遍历所有FD来判断就绪状态

poll模式的问题：

• poll利用链表解决了select中监听FD上限的问题，但依然要遍历所有FD，如果监听较多，性能会下降

epoll模式中如何解决这些问题的？

• 基于epoll实例中的红黑树保存要监听的FD，理论上无上限，而且增删改查效率都非常高
• 每个FD只需要执行一次epoll_ctl添加到红黑树，以后每次epol_wait无需传递任何参数，无需重复拷贝FD到内核空间
• 利用ep_poll_callback机制来监听FD状态，无需遍历所有FD，因此性能不会随监听的FD数量增多而下降

IO多路复用-事件通知机制
当FD有数据可读时，我们调用epoll_wait就可以得到通知，但是事件通知的模式有两种:

• LevelTriggered：简称LT，也叫做水平触发。当FD有数据可读时，会重复通知多次，直至数据处理完成，是epoll模式的默认模式
• EdgeTriggered：简称ET，也叫做边沿触发。当fd有数据可读时，只会被通知一次，不管数据是否处理完成

举个例子：
1.假设一个客户端socket对应的FD已经注册到了epoll实例中
2.客户端socket发送了2kb的数据
3.服务端调用epoll_wait，得到通知说FD就绪
4.服务端从FD读取了1kb数据
5.回到步骤3（再次调用epoll_wait，形成循环）

基于epoll模式的web服务的基本流程图如图:

信号驱动IO(不常用)

异步IO（不常用）:

同步和异步：

Redis网络模型

Redis到底是单线程还是多线程？

• 如果仅仅聊Redis的核心业务部分(命令处理)，答案是单线程
• 如果是聊整个Redis，那摩答案就是多线程

在Redis版本迭代的过程中，在两个重要的时间节点上引入多线程的支持:

• Redis v4.0：引入多线程处理一些耗时较长的任务，比如在一些big key删除过程中，可能会导致主线程阻塞，导致耗时非常久，这时候往往会采用一种异步删除的方式，就是将要删除的key标记起来，后台开启一个线程去慢慢删除它，例如异步删除命令ulink
• Redis v6.0： 在核心网络模型中引入多线程，进一步提高对于多核CPU的利用率

思考：为什么Redis为什么要选择单线程？（面试题）

• 1.抛开持久性不谈，Redis是纯内存操作，执行速度非常快，他的性能瓶颈是网络延迟而不是执行速度，因此多线程并不会带来巨大的性能提升
• 2.多线程会导致过多的上下切换，带来不必要的开销
• 引入多线程会面临线程安全问题，必然要引入线程锁这样的安全手段，实现复杂度增高，而且性能也会大打折扣