Nginx服务器架构初探

Nginx模块化结构

核心模块，是指Nginx服务器正常运行必不可少的模块，它们提供了Nginx最基本最核心的服务，如进程管理、权限控制、错误日志记录等
标准HTTP模块，支持Nginx服务器的标准HTTP功能
可选HTTP模块，主要用于扩展标准HTTP功能，使其能够处理一些特殊的HTTP请求
邮件服务模块，主要用于支持Nginx的邮件服务
第三方模块，是为了扩展Nginx服务器应用，完成特殊功能而由第三方机构或者个人编写的可编译到Nginx中的模块。

Nginx的每个模块都基本符合单一职责原则

Nginx服务器的Web请求处理机制

一般来说，Web服务器完成并行处理请求工作的三种方式有：多进程方式、多进程方式和异步方式

多进程方式

多进程方式是指，服务器每当接收到一个客户端时，就由服务器主进程生成一个子进程出来和该客户端建立连接进行交互，直到连接断开，该子进程就结束了

多进程方式的优点在于，设计和实现相对简单，各个子进程之间相对独立，处理客户端请求的过程彼此不受到干扰，并且当一个子进程产生问题时，不容易将影响蔓延到其他进程中，这保证了提供服务的稳定性。当子线程退出时，其占用资源会被操作系统回收，也不会留下任何垃圾。

其缺点是操作系统中生成一个子进程需要进行大量内存复制等操作，在资源和时间上会产生一定的额外开销。因此，如果Web服务器接收大量并发请求，就会对系统资源造成压力，导致系统性能下降。

Apache采用“预生成进程”方式，它将生成子进程的时机提前，在客户端请求还没有到来之前就预先生成好，当请求到来时，主进程分配一个子进程和该客户端进行交互，交互完成之后，该进程也不结束，而被主进程管理起来等待下一个客户端请求的到来

多线程模式

多线程方式是指当服务器每当接收到一个客户端时，会有服务器主进程派生一个线程出来和该客户端进行交互
由于操作系统产生一个线程的开销远远小于产生一个进程的开销，所以多线程方式在很大程度上减轻了Web服务器对系统资源的要求。该方式使用线程进行任务调度，开发方面可以遵循一定的标准，这相对来说比较规范和有利于协作。
多个线程位于同一进程内，可以访问同样的内存空间，彼此之间相互影响；同时，在开发过程中不可避免地要由开发者自己对内存进行管理，其增加了出错的风险

IIS服务器使用了多线程方式对外提供服务

异步方式

同步机制：发送方发送请求之后，需要等待接收到接收方发回的响应后，才接着发送下一个请求
异步机制：发送方发送请求只有，不等待接收方响应这个请求，就继续发送下一个请求。
在同步机制中，所有的请求在服务器端得到同步，发送方和接收方对请求的处理步调是一致的；在异步机制中，所有来自发送方的请求形成一个队列，接收方处理完成后通知发送方

阻塞和非阻塞用来描述进程处理调用的方式，在网络通信中，主要指网络套接字Socket的阻塞和非阻塞方式，而Socket的实质也就是IO操作。
Socket的阻塞调用方式为，调用结果返回之前，当前线程从运行状态被挂起，一直等到调用结果返回之前，才进入就绪状态，获取CPU继续执行
Socket的非阻塞调用方式为，如果调用结果不能马上返回，当前线程也不会被挂起，而是立即返回执行下一个调用

同步阻塞方式，发送方向接收方发送请求后，一直等待响应；接收方处理请求时进行的IO操作如果不能马上得到结果，就一直等到结果返回后，才响应发送方，期间不能进行其它工作（实现简单，但效率不高）
同步非阻塞方式，发送方向接收方发送请求后，一直等待响应；接收方处理请求时进行的IO操纵如果不能马上得到结果，就立即返回，去做其他事情，但由于没有得到请求处理结果，不响应发送方，发送方一直等待。一直到IO操作完成后，接收方获得结果响应发送方后，接收方才进入下一步请求过程（实际中不使用此方式）
异步阻塞，发送方向接收方发送请求后，不用等待响应，可以接着进行其他工作；接收方处理请求时进行的IO操作如果不能马上得到结果，就一直等到返回结果后，才响应发送方，期间不能进行其他工作（实际中不使用此方式）
异步非阻塞，发送方向接收方发送请求后，不用等待响应，可以接着进行其他工作；接收方处理请求时进行的IO操作如果不能马上得到结果，也不等待，而是马上返回去做其他事情。当IO操作完成后，将完成状态和结果通知接收方，接收方再响应发送方

Nginx如何处理请求

Nginx结合多进程机制和异步机制对外提供服务。异步机制使用的是异步非阻塞方式

Nginx服务器启动后产生一个主进程和多个工作进程（可在配置文件中配置）。Ngnix服务器的所有工作进程都用于接收和处理客户端的请求。每个工作进程使用异步非阻塞方式，可以处理多个客户端的请求。当某个工作进程接收到客户端的请求以后，调用IO进行处理，如果不能立即得到返回，就去处理其他的请求；而客户端再次期间也无须等待响应，可以去处理其他的事情；当IO调用返回结果时，就会通知此工作进程；该进程得到通知，暂时挂起当前处理的事务，去响应客户端的请求

Nginx服务器的事件处理

IO调用把状态通知给工作进程的两种方式：

让工作进程在进行其他工作的过程中间隔一段时间就去检查一下IP的运行状态，如果完成，就去响应客户端，如果未完成，就继续正在进行的工作
IO调用在完成后后能主动通知工作进程
第一种在不断检查仍然在时间和资源上导致了不小的开销，最理想的为第二种方式

select/poll/epoll/kqueue等这样的系统调用就是支撑第二种方案的。这种系统调用，也称为事件模型。IO调用完全由事件驱动模型来管理，事件准备好之后就通知工作进程事件已经就绪

Nginx服务器的事件驱动模型

事件驱动概述

事件驱动就是在持续事务管理过程中，由当前时间点上出现的事件引发的调动可用资源执行相关任务，解决不断出现的问题，防止事务堆积的一种策略

事件驱动模型一般由事件收集器、事件发送器和事件处理器三部分基本单元组成
事件收集器专门负责收集所有的事件，包括来自用户的（鼠标、键盘事件等）、来自硬件的（时钟事件等）和来自软件的（操作系统、应用程序自身）。事件发送器负责将收集器收集到的事件分发到目标对象中。目标对象就是事件处理器所处的位置。事件处理器主要负责具体事件的响应工作，它往往要到实现阶段才完全确定

Nginx中的事件驱动模型

目标对象中事件处理器的几种方式：

事件发送器每传递过来一个请求，目标对象就创建一个新的进程调用事件处理器来处理请求。这种方式因为创建进程开销大导致性能低下，但实现简单
事件发送器每传递过来一个请求，目标对象就创建一个新的线程调用事件处理器来处理请求。这种方式涉及到线程同步问题，会涉及到大量锁问题，编码比较复杂
事件发送器每传递过来一个请求，目标对象将其放入一个待处理事件的列表，使用非阻塞IO方式调用事件处理器来处理请求。这种方式逻辑比前两种都复杂。

大部分网络服务器都采用第三种方式，形成了事件驱动库。事件驱动库又被称为多路IO复用方法，最常见的伪：select、poll、epoll。Nginx服务器还支持rtsig、kqueue、dev/poll和eventport

select库

各个版本Linux和Windows平台都支持的基本事件驱动模型
使用select库的一般步骤：

创建所关注事件的描述集合。对于一个描述符，可以关注读、写事件以及异常发生事件。所以要创建三类事件描述符集合，分别用来收集读事件的描述符、写事件的描述符以及异常发生事件的描述符
调用底层提供的select()函数，等待事件发生。select的阻塞与是否设置非阻塞IO是没有关系的
轮训所有事件描述符集合中的每一个事件描述符，检查是否有相应的事件发生，如果有，进行处理

如果没有指定其他事件驱动模型，Nginx自动编译该库。
使用--with-select_module和--without-select_module强制Nginx是否编译该库

poll库

Linux平台的事件驱动模型，Windows不支持。
poll和select的基本使用方式是相同的，区别在于：select需要为读事件、写事件和异常事件都分别创建一个描述符集合，因此在最后轮询的时候，需要分别轮训这三个集合。而poss库只需要创建一个集合，在每个描述符对应的结构上分别设置读事件、写事件或异常事件，最后轮询的时候，可以同时检查这三种事件是否发生。poll库是select库的优化实现

如果没有指定其他事件驱动模型，Nginx自动编译该库。
使用--with-poll_module和--without-poll_module强制Nginx是否编译该库

epoll库

epoll属于poll库的一个变种，最大的区别在于效率

epoll库通过相关调用通知内核创建一个有N个描述符的事件列表；然后，给这些描述符设置所关注的事件，并将它添加到内核的事件列表中。
完成设置之后，epoll库就开始等待内核通知事件发生了。某一事件发生后，内核将发生事件的描述符列表上报给epoll库。得到列表事件的epoll库，就可以进行事件处理了

epoll库是Linux平台上最高效的。它支持一个进程打开大数目的事件描述符，上限是系统可以打开文件的最大数目。同时，epoll库的IO效率不随描述符数目增加而线性下降，因为它只会对内核上报的“活跃”的描述符进行操作

rtsig模型

使用rtsig模型时，工作进程会通过系统内核建立一个rtsig队列用于存放标记事件发生（在Nginx服务器应用中特指客户端请求发生）的信号。每一个事件发生时，系统内核就会发生一个信号存放到rtsig队列中等待工作进程的处理。

rtsig队列有长度限制，如果超过该长度就会发生溢出。默认情况下，Linux系统事件信号队列的最大长度设置为1024。在Liunx2.6.6-mm2之后的版本之前，通过修改内核参数/proc/sys/kernel/rtsig-max来自定义该长度设置。在Liunx2.6.6-mm2之后的版本中，该参数被取消，系统各个进程分别拥有各自的事件信号队列，这个队列的大小由Linux系统的RLIMIT_SIGPENDING参数定义，在执行setrlimit()系统调用时确定该大小。Linux提供了worker+rlimit_sigpending参数用于调节这种情况下的事件信号队列长度

当rtsig队列发生溢出时，Nginx将暂停使用rtsig模型，而调用poll库处理未处理的事件，直到rtsig信号队列全部清空，然后再次启动rtsig模型，以防止新的溢出发生

编译Nginx服务器时，使用-with-rtsig_module配置选项启用rtsig模型的编译

其他事件驱动模型

kqueue模型，主要用于FreeBSD4.1及以上版本、OpenBSD2.9及以上版本、NetBSD2.0及以上版本以及Mac OS X平台上。该模型也是poll库的一个变种，其和poll库的处理方式没有本质上的区别。该模型同时支持条件触发（只要满足条件就触发一个事件）和边缘触发（当状态发生改变触发一个事件）。在这些平台下，使用该模型用于请求处理，提高Nginx服务器性能

/dev/poll模型，主要用于Solaris7 11/99及以上版本、HP/US 11.22及以上版本、IRIX6.5.15及以上版本和Tru 64 UNIX 5.1A及以上版本。它使用了虚拟的/dev/poll设备，开发人员可以将要监视的文件描述符加入这个设备，然后通过ioctl()调用来获取事件通知。在以上平台中推荐使用

eventport模型，用于支持Solaris 10及以上版本。它可以有效防止内核崩溃等情况的发生

根据不同的部署平台，选择不同的事件驱动模型以提升Nginx服务器的处理性能

设计架构概览