Nginx Hard模式

一、Nginx简介

1. Nginx 概述

Nginx是一个免费、开源、高性能、轻量级的HTTP和反向代理服务器，也是一个电子邮件（IMAP/POP3）代理服务器。其特点是能支持高并发请求处理，并且占用较少的内存资源，提供稳定的、丰富的模块库，有很高的配置灵活性。目前，几乎所有的web项目，都配有Nginx。

Nginx 由内核和一系列模块组成，内核提供Web服务的基本功能，启用网路协议、提供运行环境、创建连接，处理模块之间的交互等。Nginx的功能和操作都是通过模块来实现的，从结构上分为核心模块、基础模块和第三方模块。

• 核心模块：http模块、event模块和mail模块
• 基础模块：Http access模块，Http fastCGI模块， http proxy模块， http rewrite模块。
• 第三方模块：http upstream 模块， notice 模块、access key模块和用户自定义模块。

模块化的使得Nginx方便开发和扩展，提供了强大的定制能力。但是Nginx模块默认会编译进Nginx中，每一次模块的变化都需要重新编译，不能动态运行。

Nginx提供很多的开源版本：

• 开源版 nginx.org
• 商业版 NGINX Plus
• 淘宝网发起的Web服务器 Tengine
• 基于Nginx和Lua的Web平台 OpenResty

2、Nginx与Tomcat

Nginx可以作为静态页面web服务器，也可以支持CGI协议动态语言，比如Perl， PHP等，但是不支持java，需要与Tomcat配合才能工作。

Nginx作为一个http Server,关心的http 协议层面的传输和访问控制，客户端通过 HTTP Server 访问服务器上存储的资源（HTML 文件、图片文件等等）。通过 CGI 技术，也可以将处理过的内容通过 HTTP Server 分发，但是一个 HTTP Server 始终只是把服务器上的文件如实的通过 HTTP 协议传输给客户端。

Tomcat是一个应用服务，支持应用程序的运行，提供JSP/Http Servlet运行环境，不过Tomcat内部集成了Http Server，所以可以对外提供web服务。

3、正向代理和反向代理

反向代理：将接收到的请求，做转发到真正的服务上。

反向代理的作用：

• 保护和隐藏真正的原始服务器
• 加密和SSL加速
• 提供负载均衡
• 缓存静态资源，提高web服务的响应时间

二、Nginx如何实现高并发

1、Nginx怎么处理请求

• 首先，Nginx在启动的时候会解析配置文件，得到监听的端口和IP地址，然后再master进程初始化这个监控的socket（包括创建socket，设置addr、reuse等选项，绑定到指定的ip地址端口，持续listen）
• 然后fork多个子进程；
• 子进程竞争accept新的链接。

2、Nginx的高并发实现

        Nginx是基于事件驱动，采用异步非阻塞方式，底层应用epoll。Nginx为什么不采用多线程呢？最重要的原因是事件驱动已足以解决当前链接，此外，线程的创建会分配CPU和资源，并且多线程切换也会消耗资源，因此采用的单线程进程。

三、Nginx的负载均衡算法

轮询、权重、ip_hash， 第三方插件，url_hash

四、c10K问题

C10K指无法同时处理大量客户端网络套接字。

五、Nginx的配置

nginx.conf 配置文件主要分为三部分：全局块、events块、https块。

Nginx配置语法：

• 配置文件由指令和指令块构成
• 每条指令以分号（;）结尾，指令和参数间以空格符分隔
• 指令块以大括号{}将多条指令组织在一起
• include语句允许组合多个配置文件以提高可维护性
• 使用 # 添加注释
• 使用 $ 定义变量
• 部分指令的参数支持正则表达式

1、全局配置块

用来配置对这个server都有效的参数，比如Nginx服务运行的用户（组），worker process数，pid运行的日志目录和文件的引入等。

user xm;    # 用户xm
worker_processes 4;    # 4个核心线程
error_log /home/work/nginx/log/error.log notice;
#进程pid文件
#pid        logs/nginx.pid;

#指定进程可以打开的最大描述符：数目
##这个指令是指当一个nginx进程打开的最多文件描述符数目，理论值应该是最多打开文件数（ulimit -n）与nginx进程数相除，但是nginx分配请求并不是那么均匀，所以最好与ulimit -n 的值保持一致。总并发量超过时会返回502错误。
worker_rlimit_nofile 65535;

2、Events 块  

events 块涉及的指令主要影响 Nginx 服务器与用户的网络连接，常用的设置包括是否开启对多 work process 下的网络连接进行序列化，是否允许同时接收多个网络连接，选取哪种事件驱动模型来处理连接请求，每个 work process 可以同时支持的最大连接数等.

events {
    #参考事件模型，use [ kqueue | rtsig | epoll | /dev/poll | select | poll ]; 
    use epoll
    #单个进程最大连接数（最大连接数=连接数+进程数）
    worker_connections  1024;
    
    #keepalive 超时时间
    keepalive_timeout 60;
    
    #客户端请求头部的缓冲区大小。
    client_header_buffer_size 4k;
    
    #这个将为打开文件指定缓存，默认是没有启用的，max指定缓存数量，建议和打开文件数一致，inactive是指经过多长时间文件没被请求后删除缓存。
    open_file_cache max=65535 inactive=60s;
    #这个是指多长时间检查一次缓存的有效信息。
    open_file_cache_valid 80s;
        #open_file_cache指令中的inactive参数时间内文件的最少使用次数，如果超过这个数字，文件描述符一直是在缓存中打开的，如上例，如果有一个文件在inactive时间内一次没被使用，它将被移除。
    open_file_cache_min_uses 1;
    
    #语法:open_file_cache_errors on | off 默认值:open_file_cache_errors off 使用字段:http, server, location 这个指令指定是否在搜索一个文件是记录cache错误.
    open_file_cache_errors on;
}

3、http块

http块主要是设置代理、负载均衡、缓存等，包含http全局块，server块。

3.1 http全局块，包含文件引入，MIME-TYPE 定义、日志自定义、连接超时时间、单链接请求数上限等。

3.2 server块，每个 http 块可以包括多个 server 块，而每个 server 块就相当于一个虚拟主机。而每个 server 块也分为全局 server 块，以及可以同时包含多个 locaton 块。

• 全局server块：它描述的是一组根据不同server_name指令逻辑分割的资源，这些虚拟服务器响应HTTP请求，因此都包含在http部分。最常见的配置是本虚拟机主机的监听配置和本虚拟主机的名称或 IP 配置。

• location块：该指令用于匹配 URL，是基于 Nginx 服务器接收到的请求字符串，对虚拟主机名称 （也可以是 IP 别名）之外的字符串（例如 前面的 /uri-string）进行匹配，对特定的请求进行处理。地址定向、数据缓存和应答控制等功能，还有许多第三方模块的配置也在这里进行。

location的语法如下：location [ = | ~ | ~* | ^~] uri{}，=是精确匹配，~是区分大小写的正则匹配，~*是不区分大小写的正则匹配，^~是不包含的正则匹配。注意：location在配置文件中按照查找顺序进行正则表达式匹配，在查找到第一个正则表达式匹配之后结束查找。

http{

    #引入文件，文件扩展名与文件类型映射表
    include mime.types;

    #默认文件类型
    default_type application/octet-stream;

    #默认编码
    charset utf-8;

    #服务器名字的hash表大小
    server_names_hash_bucket_size 128;

    #客户端请求头部的缓冲区大小。
    client_header_buffer_size 32k;
     #客户请求头缓冲大小。
    large_client_header_buffers 4 64k;
    
    #允许客户端请求的最大单个文件字节数
    client_max_body_size 8m;
    
    #开启高效文件传输模式，sendfile指令指定nginx是否调用sendfile函数来输出文件，对于普通应用设为 on，如果用来进行下载等应用磁盘IO重负载应用，可设置为off，以平衡磁盘与网络I/O处理速度，降低系统的负载。注意：如果图片显示不正常把这个改成off。
    sendfile on;
    
    #开启目录列表访问，适合下载服务器，默认关闭。
    autoindex on;
    
    #此选项允许或禁止使用socke的TCP_CORK的选项，此选项仅在使用sendfile的时候使用
    tcp_nopush on;
     
    tcp_nodelay on;
    
    #长连接超时时间，单位是秒
    keepalive_timeout 120;

    #FastCGI，快速通用网关接口，是一种让客户端（web浏览器）与Web服务器（nginx等）程序进行通信（数据传输）的协议，主要用来配置如PHP，Perl，java等动态网页内容
    fastcgi_connect_timeout 300;
    fastcgi_send_timeout 300;
    fastcgi_read_timeout 300;
    fastcgi_buffer_size 64k;
    fastcgi_buffers 4 64k;
    fastcgi_busy_buffers_size 128k;
    fastcgi_temp_file_write_size 128k;
    
    #gzip模块设置
    gzip on; #开启gzip压缩输出
    gzip_min_length 1k;    #最小压缩文件大小
    gzip_buffers 4 16k;    #压缩缓冲区
    gzip_http_version 1.0; #压缩版本（默认1.1，前端如果是squid2.5请使用1.0）
    gzip_comp_level 2;     #压缩等级
    gzip_types text/plain application/x-javascript text/css application/xml;    #压缩类型，默认就已经包含textml，所以下面就不用再写了，写上去也不会有问题，但是会有一个warn。
    gzip_vary on;

    #虚拟主机的配置
    server{
         #监听端口
        listen 80;
        
        #域名可以有多个，用空格隔开
        server_name haha.net;
        #默认入口文件名称
        index index.html index.htm index.php;
        root /data/www/haha;
        
        #对******进行负载均衡
        location ~ .*.(php|php5)?$
        {
            fastcgi_pass 127.0.0.1:9000;
            fastcgi_index index.php;
            include fastcgi.conf;
        }

         #图片缓存时间设置
        location ~ .*.(gif|jpg|jpeg|png|bmp|swf)$
        {
            expires 10d;
        }
         
        #JS和CSS缓存时间设置
        location ~ .*.(js|css)?$
        {
            expires 1h;
        }
        
        #日志格式设定
        #$remote_addr与$http_x_forwarded_for用以记录客户端的ip地址；
        #$remote_user：用来记录客户端用户名称；
        #$time_local： 用来记录访问时间与时区；
        #$request： 用来记录请求的url与http协议；
        #$status： 用来记录请求状态；成功是200，
        #$body_bytes_sent ：记录发送给客户端文件主体内容大小；
        #$http_referer：用来记录从那个页面链接访问过来的；
        #$http_user_agent：记录客户浏览器的相关信息；
        #通常web服务器放在反向代理的后面，这样就不能获取到客户的IP地址了，通过$remote_add拿到的IP地址是反向代理服务器的iP地址。反向代理服务器在转发请求的http头信息中，可以增加x_forwarded_for信息，用以记录原有客户端的IP地址和原来客户端的请求的服务器地址。
        log_format access '$remote_addr - $remote_user [$time_local] "$request" '
        '$status $body_bytes_sent "$http_referer" '
        '"$http_user_agent" $http_x_forwarded_for';
         
        #定义本虚拟主机的访问日志
        access_log  /usr/local/nginx/logs/host.access.log  main;
        access_log  /usr/local/nginx/logs/host.access.404.log  log404;

        #对 "/connect-controller" 启用反向代理
        location /connect-controller {
            proxy_pass http://127.0.0.1:88; #请注意此处端口号不能与虚拟主机监听的端口号一样（也就是server监听的端口）
            proxy_redirect off;
            proxy_set_header X-Real-IP $remote_addr;
             
            #后端的Web服务器可以通过X-Forwarded-For获取用户真实IP
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
             
            #以下是一些反向代理的配置，可选。
            proxy_set_header Host $host;

            #允许客户端请求的最大单文件字节数
            client_max_body_size 10m;

            #缓冲区代理缓冲用户端请求的最大字节数，
            #如果把它设置为比较大的数值，例如256k，那么，无论使用firefox还是IE浏览器，来提交任意小于256k的图片，都很正常。如果注释该指令，使用默认的client_body_buffer_size设置，也就是操作系统页面大小的两倍，8k或者16k，问题就出现了。
            #无论使用firefox4.0还是IE8.0，提交一个比较大，200k左右的图片，都返回500 Internal Server Error错误
            client_body_buffer_size 128k;

            #表示使nginx阻止HTTP应答代码为400或者更高的应答。
            proxy_intercept_errors on;

            #后端服务器连接的超时时间_发起握手等候响应超时时间
            #nginx跟后端服务器连接超时时间(代理连接超时)
            proxy_connect_timeout 90;

            #后端服务器数据回传时间(代理发送超时)
            #后端服务器数据回传时间_就是在规定时间之内后端服务器必须传完所有的数据
            proxy_send_timeout 90;

            #连接成功后，后端服务器响应时间(代理接收超时)
            #连接成功后_等候后端服务器响应时间_其实已经进入后端的排队之中等候处理（也可以说是后端服务器处理请求的时间）
            proxy_read_timeout 90;

            #设置代理服务器（nginx）保存用户头信息的缓冲区大小
            #设置从被代理服务器读取的第一部分应答的缓冲区大小，通常情况下这部分应答中包含一个小的应答头，默认情况下这个值的大小为指令proxy_buffers中指定的一个缓冲区的大小，不过可以将其设置为更小
            proxy_buffer_size 4k;

            #proxy_buffers缓冲区，网页平均在32k以下的设置
            #设置用于读取应答（来自被代理服务器）的缓冲区数目和大小，默认情况也为分页大小，根据操作系统的不同可能是4k或者8k
            proxy_buffers 4 32k;

            #高负荷下缓冲大小（proxy_buffers*2）
            proxy_busy_buffers_size 64k;

            #设置在写入proxy_temp_path时数据的大小，预防一个工作进程在传递文件时阻塞太长
            #设定缓存文件夹大小，大于这个值，将从upstream服务器传
            proxy_temp_file_write_size 64k;
        }
        
        #本地动静分离反向代理配置
        #所有jsp的页面均交由tomcat或resin处理
        location ~ .(jsp|jspx|do)?$ {
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_pass http://127.0.0.1:8080;
        }
    }

    #负载均衡配置
    upstream haha.net {
        #upstream的负载均衡，weight是权重，权值越高被分配到的几率越大。
        server 192.168.80.121:80 weight=3;
        server 192.168.80.122:80 weight=2;
        server 192.168.80.123:80 weight=3;

        #nginx的upstream目前支持4种方式的分配
        #1、轮询（默认）
        #例如：
        #upstream bakend {
        #    server 192.168.0.14 weight=10;
        #    server 192.168.0.15 weight=10;
        #}
        #2、ip_hash
        #请求按访问iphash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题。
        #例如：
        #upstream bakend {
        #    ip_hash;
        #    server 192.168.0.14:88;
        #    server 192.168.0.15:80;
        #}
        #3、fair（第三方）
        #按后端服务器的响应时间来分配请求，响应时间短的优先分配。
        #upstream backend {
        #    server server1;
        #    server server2;
        #    fair;
        #}
        #4、url_hash（第三方）
        #按访问urlhash结果分配请求，后端服务器为缓存时比较有效。
        #例在upstream中加入hash语句，server语句中不能写入weight等其他的参数，hash_method是使用的hash算法
        #upstream backend {
        #    server squid1:3128;
        #    server squid2:3128;
        #    hash $request_uri;
        #    hash_method crc32;
        #}

        #tips:
        #upstream bakend{#定义负载均衡设备的Ip及设备状态}{
        #    ip_hash;
        #    server 127.0.0.1:9090 down;
        #    server 127.0.0.1:8080 weight=2;
        #    server 127.0.0.1:6060;
        #    server 127.0.0.1:7070 backup;
        #}
        #在需要使用负载均衡的server中增加 proxy_pass http://bakend/;

        #每个设备的状态设置为:
        #1.down表示单前的server暂时不参与负载
        #2.weight为weight越大，负载的权重就越大。
        #3.max_fails：允许请求失败的次数默认为1.当超过最大次数时，返回proxy_next_upstream模块定义的错误
        #4.fail_timeout:max_fails次失败后，暂停的时间。
        #5.backup： 其它所有的非backup机器down或者忙的时候，请求backup机器。所以这台机器压力会最轻。

        #nginx支持同时设置多组的负载均衡，用来给不用的server来使用。
        #client_body_in_file_only设置为On 可以讲client post过来的数据记录到文件中用来做debug
        #client_body_temp_path设置记录文件的目录 可以设置最多3层目录
        #location对URL进行匹配.可以进行重定向或者进行新的代理 负载均衡
    }
}

六、Nginx的高可用

单点的Nginx如果挂掉后，所有的请求都会被挂掉，不符合高可用需求。常用的解决方案有：双机热备份

通过VRRP（Virtual Router Redundancy Protocol ,虚拟路由器冗余协议），来实现Keepalived高可用服务之间的故障切换转移。

在 Keepalived服务正常工作时，主 Master节点会不断地向备节点发送（多播的方式）心跳消息，用以告诉备Backup节点自己还活着，当主 Master节点发生故障时，就无法发送心跳消息，备节点也就因此无法继续检测到来自主 Master节点的心跳了，于是调用自身的接管程序，接管主Master节点的 IP资源及服务。而当主 Master节点恢复时，备Backup节点又会释放主节点故障时自身接管的IP资源及服务，恢复到原来的备用角色。

七、Nginx的配置优化

Nginx采用master-workers模式，一个master进程管理多个worker进程，worker进程之间相互独立，进入和退出不会对别的worker造成影响，并且，worker采用进程模式，不需要加锁，省掉了锁带来的开销。

1、worker数量选取

因为worker是独立的进程，内部只有一个主线程，通过异步非阻塞的方式来处理请求，所以为了最大化发挥CPU性能，建议 worker 数和服务器的 cpu 数相等是最为适宜。

2、连接数worker_connection

一个 nginx 能建立的最大连接数，应该是 worker_connections * worker_processes。如果是支持 http1.1 的浏览器每次访问要占两个连接，所以普通的静态访 问最大并发数是： worker_connections * worker_processes /2，而如果是 HTTP 作 为反向代理来说，最大并发数量应该是 worker_connections * worker_processes/4。

参考文献：
https://juejin.im/post/5df721a3e51d45582c27c523

关于CGI和FastCGI的理解 - 天生帅才 - 博客园