nginx安装upstream_check_module模块实现自动后端健康检查

接上篇Vault机密管理工具集群配置示例,为了保证vault集群的高可用性，虽然vault提供了互相配置集群的方式，但是用java服务去调用时却只能访问其中一个地址，于是用nginx配置了负载均衡去访问，但是nginx自带的轮询模式比较简单，当其中一台机器挂掉的时候只能请求的时候先检测一遍再轮询下一个，这样就明显降低了效率。

比如像这样配置nginx自带的轮询模式

upstream vault-cluster{
    server 172.26.239.234:8200  max_fails=1 fail_timeout=10s;
    server 172.26.238.24:8200  max_fails=1 fail_timeout=10s;
    server 172.26.239.226:8200 max_fails=1 fail_timeout=10s;
　　 # max_fails=1和fail_timeout=10s 表示在单位周期为10s钟内，中达到1次连接失败，那么接将把节点标记为不可用，并等待下一个周期（同样时常为fail_timeout）再一次去请求，判断是否连接是否成功。
　　 # fail_timeout为10s,max_fails为1次。
}
server {
    listen 8299;
    location / {
      proxy_pass         http://vault-cluster;
    }
}

这种nginx自带的轮询模式，没有预警功能，只能在每次访问的时候先尝试连接一下，连接失败后在一个周期内（fail_timeout=10s）把此节点标记为不可用节点，依然能轮询到下一个可用节点，只是多了一次转发，效率上低一点。

淘宝有一个开源的实现nginx_upstream_check_module模块，通过这个模块可以实现提前预警，把可用节点标记为up，不可用节点标记为down,这样每次去请求的时候只请求可用节点就好了。

github地址：https://github.com/yaoweibin/nginx_upstream_check_module
taobao官网：http://tengine.taobao.org/document_cn/http_upstream_check_cn.html

如果github打不开，可以用https://hub.fastgit.org/克隆地址来代替，比如:https://hub.fastgit.org/yaoweibin/nginx_upstream_check_module

安装nginx_upstream_check_module

我在上面的淘宝地址下载的http://tengine.taobao.org/download_cn.html截止发文的最新版Tengine-2.3.3.tar.gz
tengine和nginx完全兼容，所以可以放心使用。

把下载好的nginx_upstream_check_module.zip和Tengine-2.3.3.tar.gz放到服务器安装目录，比如我的在/root/nginx下面

###解压
unzip nginx_upstream_check_module.zip
tar -zxvf Tengine-2.3.3.tar.gz
###新建nginx安装目录
mkdir nginx
###安装nginx
cd tengine-2.3.3/
./configure --prefix=/root/nginx/nginx
make && make install

如果安装nginx的时候报依赖问题，可以参考之前写过的一篇安装教程：ubuntu安装指定版本nginx记录
此时/root/nginx/nginx目录下会出现安装的文件
修改/root/nginx/nginx/conf/nginx.conf配置文件

user  root;
worker_processes  1;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;

    upstream vault-cluster {
        # simple round-robin（默认是简单的轮徇，加weight就是加权轮徇）
        server 172.26.239.234:8200;
        server 172.26.238.24:8200;
        server 172.26.239.226:8200;
        check interval=3000 rise=2 fall=5 timeout=1000 type=http;
        # 每隔三秒检查后端真实节点状态，成功2次为up状态，失败5次为down状态，超时时间为1秒，检查类型为http
    }
    server {
        listen       8299;
        server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
                proxy_pass http://vault-cluster;
                client_max_body_size 200m;
                #允许cros跨域访问
                add_header 'Access-Control-Allow-Origin' '*';
        }
        # 查看后端服务器实时的健康状态
        location /nstatus {
                check_status;
                access_log off;
        }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

        # proxy the PHP scripts to Apache listening on 127.0.0.1:80
        #
        #location ~ \.php$ {
        #    proxy_pass   http://127.0.0.1;
        #}

        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        #
        #location ~ \.php$ {
        #    root           html;
        #    fastcgi_pass   127.0.0.1:9000;
        #    fastcgi_index  index.php;
        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
        #    include        fastcgi_params;
        #}

        # deny access to .htaccess files, if Apache's document root
        # concurs with nginx's one
        #
        #location ~ /\.ht {
        #    deny  all;
        #}
    }


    # another virtual host using mix of IP-, name-, and port-based configuration
    #
    #server {
    #    listen       8000;
    #    listen       somename:8080;
    #    server_name  somename  alias  another.alias;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}


    # HTTPS server
    #
    #server {
    #    listen       443 ssl;
    #    server_name  localhost;

    #    ssl_certificate      cert.pem;
    #    ssl_certificate_key  cert.key;

    #    ssl_session_cache    shared:SSL:1m;
    #    ssl_session_timeout  5m;

    #    ssl_ciphers  HIGH:!aNULL:!MD5;
    #    ssl_prefer_server_ciphers  on;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}

}

注意配置文件的user一定要和你当前操作用户相匹配，我这里是root

可以看到配置文件中多了这一行：

 # 每隔三秒检查后端真实节点状态，成功2次为up状态，失败5次为down状态，超时时间为1秒，检查类型为http
check interval=3000 rise=2 fall=5 timeout=1000 type=http;

此时我们进入sbin执行./nginx启动命令是启动不成功的，会报识别不了check命令的问题，此时默认是没有安装nginx_upstream_check_module的,下面把这个模块加载进来。

cd /root/nginx/tengine-2.3.3/
./configure --prefix=/root/nginx/nginx --add-module=/root/nginx/nginx_upstream_check_module-master 
make -j2

此时make完了之后不要install,把tengine-2.3.3/objs/文件夹下的新生成的nginx文件复制覆盖到nginx安装sbin目录：

cp /root/nginx/tengine-2.3.3/objs/nginx /root/nginx/nginx/sbin/

此时再启动nginx就不会报错了

cd /root/nginx/nginx/sbin/
./nginx

此时访问我的配置地址：http://172.26.239.234:8299/nstatus就可以看到如下集群情况，up代表是可用节点，down代表不可用

nginx check_status

用nginx官网下载的最新稳定版 nginx-1.20.0 ，用同样的方式也可以用，但是上面这个图表出不来，不知道是不是版本太新的原因，有兴趣的同学可以用低版本的试一下。

更多配置参数详情可以去http://tengine.taobao.org/document_cn/http_upstream_check_cn.html，中文文档讲的很详细。