Nginx 被动健康检查和主动健康检查

Nginx 被动健康检查和主动健康检查_第1张图片

被动健康检查

关于Nginx的健康检查,简单的场景下可以直接使用ngx_http_upstream_module模块自带的被动式的健康检查,简单示例如下:

http {


# ..........省略其它


    upstream clusterA {
        server 10.68.60.100:8001 max_fails=2 fail_timeout=30s;
        server 10.68.60.101:8001 max_fails=2 fail_timeout=30s;
        server 10.68.60.110:8001 max_fails=2 fail_timeout=30s;
    }


    server {
                listen                  8080;
                server_name             clusterA;
                keepalive_timeout       60;
                proxy_set_header X-Forwarded-Host $host;
                proxy_set_header X-Forwarded-Server $host;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_set_header Host $host:$server_port;
     
                location / {
                        # 默认是60s,设置与后端服务器建立连接的超时时间。应该注意这个超时一般不可能大于75秒。
                        proxy_connect_timeout 60;
                        # 默认60s,定义从后端服务器读取响应的超时。此超时是指相邻两次读操作之间的最长时间间隔,而不是整个响应传输完成的最长时间。如果后端服务器在超时时间段内没有传输任何数据,连接将被关闭。
                        proxy_read_timeout 60;
                        # 默认60s, 定义向后端服务器传输请求的超时。此超时是指相邻两次写操作之间的最长时间间隔,而不是整个请求传输完成的最长时间。如果后端服务器在超时时间段内没有接收到任何数据,连接将被关闭。
                        proxy_send_timeout 60;
                        proxy_pass http://clusterA;
                        proxy_set_header X-Forwarded-Host $host;
                        proxy_set_header X-Forwarded-Server $host;
                        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                        proxy_set_header Host $host:$server_port;
                }


    }

关键配置项如下:

  • max_fails:默认值为1。设定Nginx与后端服务器通信的尝试失败的次数。在fail_timeout参数定义的时间段内,如果失败的次数达到此值,Nginx就认为服务器不可用。在下一个fail_timeout时间段,服务器不会再被尝试。 设为0就会停止统计尝试次数,即不对后端节点进行健康检查。认为服务器是一直可用的。

  • fail_timeout:默认值为10秒。设定服务器被认为不可用的时间段以及统计失败尝试次数的时间段。在这段时间中,服务器失败次数达到指定的尝试次数max_fails,服务器就被认为不可用。

被动式健康检查的最明显的缺点是:如果后端有不健康节点,负载均衡器需要通过先将请求发给该不健康节点时,才能发现该节点是否健康,如果不健康会将请求转发给其它后端服务,这样就会导致浪费一次转发。

主动健康检查

下面通过引入淘宝技术团队开发的nginx开源主动健康检查插件,具体操作如下:

1、下载nginx-1.14.0:

mkdir -p /opt/src
cd opt/src
wget http://nginx.org/download/nginx-1.14.0.tar.gz

2、解压:

tar -xvf nginx-1.14.0.tar.gz

3、下载主动健康检查插件:

cd opt/src
wget https://github.com/yaoweibin/nginx_upstream_check_module/archive/master.zip

4、解压:

yum install unzip -y
unzip master.zip

5、打补丁:

yum install patch -y
cd /opt/src/nginx-1.14.0
patch -p1 < /opt/src/nginx_upstream_check_module-master/check_1.14.0+.patch 

6、编译nginx:

cd /opt/src/nginx-1.14.0
yum -y install gcc pcre-devel zlib-devel openssl openssl-devel
./configure --prefix=/usr/local/nginx --add-module=/opt/src/nginx_upstream_check_module-master
make
make install

8、配置/usr/local/nginx/conf/nginx.conf:

#user  nobody;
worker_processes  1;
#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;
#pid        logs/nginx.pid;
events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;
    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';
    #access_log  logs/access.log  main;
    sendfile        on;
    #tcp_nopush     on;
    #keepalive_timeout  0;
    keepalive_timeout  60;
    #gzip  on;


    upstream clusterA {
        # simple round-robin
        # 将max_fails设置为0,不对后端服务器进行健康检查,同时使fail_timeout参数失效
        server 10.68.60.100:8001 max_fails=0 fail_timeout=120s;
        server 10.68.60.101:8001 max_fails=0 fail_timeout=120s;
        server 10.68.60.110:8001 max_fails=0 fail_timeout=120s;
        
        # 每间隔10s向后端服务发起请求,如果请求5s超时且次数达到5次则认为服务不可用
        # 如果请求次数超过2次都没有超时,则认为服务重新可用
        check interval=10000 rise=2 fall=3 timeout=5000 type=http default_down=true;
        check_http_send "GET /healthy HTTP/1.0\r\n\r\n";
        check_http_expect_alive http_2xx http_3xx;
    }


    server {
                listen                  8080;
                server_name             clusterA;
                keepalive_timeout       60;
                proxy_set_header X-Forwarded-Host $host;
                proxy_set_header X-Forwarded-Server $host;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_set_header Host $host:$server_port;
     
                location / {
                        # 默认是60s,设置与后端服务器建立连接的超时时间。应该注意这个超时一般不可能大于75秒。
                        proxy_connect_timeout 60;
                        # 默认60s,定义从后端服务器读取响应的超时。此超时是指相邻两次读操作之间的最长时间间隔,而不是整个响应传输完成的最长时间。如果后端服务器在超时时间段内没有传输任何数据,连接将被关闭。
                        proxy_read_timeout 60;
                        # 默认60s, 定义向后端服务器传输请求的超时。此超时是指相邻两次写操作之间的最长时间间隔,而不是整个请求传输完成的最长时间。如果后端服务器在超时时间段内没有接收到任何数据,连接将被关闭。
                        proxy_send_timeout 60;
                        proxy_pass http://clusterA;
                        proxy_set_header X-Forwarded-Host $host;
                        proxy_set_header X-Forwarded-Server $host;
                        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                        proxy_set_header Host $host:$server_port;
                }
                
                location /status {
                        check_status html;
                        access_log   off;
                        #allow SOME.IP.ADD.RESS;
                        #deny all;
                }
    }
}

1、check语句关键配置项说明如下:

该指令可以打开后端服务器的健康检查功能。

指令后面的参数意义是:

  • interval:向后端发送的健康检查包的间隔。

  • fall(fall_count): 如果连续失败次数达到fall_count,服务器就被认为是down。

  • rise(rise_count): 如果连续成功次数达到rise_count,服务器就被认为是up。

  • timeout: 后端健康请求的超时时间。

  • default_down: 设定初始时服务器的状态,如果是true,就说明默认是down的,如果是false,就是up的。默认值是true,也就是一开始服务器认为是不可用,要等健康检查包达到一定成功次数以后才会被认为是健康的。

  • type:健康检查包的类型,现在支持以下多种类型

    • tcp:简单的tcp连接,如果连接成功,就说明后端正常。

    • ssl_hello:发送一个初始的SSL hello包并接受服务器的SSL hello包。

    • http:发送HTTP请求,通过后端的回复包的状态来判断后端是否存活。

    • mysql: 向mysql服务器连接,通过接收服务器的greeting包来判断后端是否存活。

    • ajp:向后端发送AJP协议的Cping包,通过接收Cpong包来判断后端是否存活。

  • port: 指定后端服务器的检查端口。你可以指定不同于真实服务的后端服务器的端口,比如后端提供的是443端口的应用,你可以去检查80端口的状态来判断后端健康状况。默认是0,表示跟后端server提供真实服务的端口一样。

2、check_http_send语句关键配置项说明如下:

该指令可以配置http健康检查包发送的请求内容。为了减少传输数据量,推荐采用"HEAD"方法。

/healthy该url是你应用需要能够访问的。当采用长连接进行健康检查时,需在该指令中添加keep-alive请求头,如:"GET /healthy  HTTP/1.1\r\nConnection: keep-alive\r\n\r\n"。同时,在采用"GET"方法的情况下,请求uri的size不宜过大,确保可以在1个interval内传输完成,否则会被健康检查模块视为后端服务器或网络异常。

3、check_http_expect_alive语句关键配置项说明如下:

该指令指定HTTP回复的成功状态,默认认为2XX和3XX的状态是健康的。

支持的配置值有:[ http_2xx | http_3xx | http_4xx | http_5xx ]

4、check_status 配置项说明如下:

显示服务器的健康状态页面。该指令需要在http块中配置。

更多配置参考淘宝Nginx项目官方文档:

http://tengine.taobao.org/document_cn/http_upstream_check_cn.html

9、启动nginx:

/usr/local/nginx/sbin/nginx

10、访问健康状态URL:

# 默认html格式返回
http://ip:8080/status


# 其它返回格式
http://ip:8080/status?format=html
http://ip:8080/status?format=csv
http://ip:8080/status?format=json

Docker容器化部署方式

1、编写Dockerfile文件,内容如下:

FROM ansible/centos7-ansible








    # 创建必要的目录
RUN mkdir -p /opt/src &&\
    touch /opt/daemon.log &&\
    # 安装命令
    yum -y install patch unzip wget &&\
    cd /opt/src &&\
    # 下载nginx
    wget http://nginx.org/download/nginx-1.14.0.tar.gz &&\
    tar -xvf nginx-1.14.0.tar.gz &&\
    # 下载nginx_http_upstream_check_module
    wget https://github.com/yaoweibin/nginx_upstream_check_module/archive/master.zip &&\
    unzip master.zip &&\
    cd /opt/src/nginx-1.14.0 &&\
    patch -p1 < /opt/src/nginx_upstream_check_module-master/check_1.14.0+.patch &&\
    # 安装nginx依赖
    yum -y install gcc pcre-devel zlib-devel openssl openssl-devel &&\
    ./configure --prefix=/usr/local/nginx --add-module=/opt/src/nginx_upstream_check_module-master --with-http_stub_status_module --with-http_realip_module &&\
    make &&\
    make install &&\
    rm -rf /etc/localtime &&\
    rm -rf /opt/src/master.zip &&\
    rm -rf /opt/src/nginx-1.14.0* &&\
    cp -R /usr/share/zoneinfo/Asia/Shanghai /etc/localtime




WORKDIR /usr/local/nginx


ENTRYPOINT [ "sh", "-c", "/usr/local/nginx/sbin/nginx && tail -f /opt/daemon.log" ]

2、编写nginx.conf配置文件,内容如下:

#user  nobody;
worker_processes  1;
#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;
#pid        logs/nginx.pid;
events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;
    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';
    #access_log  logs/access.log  main;
    sendfile        on;
    #tcp_nopush     on;
    #keepalive_timeout  0;
    keepalive_timeout  60;
    #gzip  on;


    upstream clusterA {
        # simple round-robin
        # 将max_fails设置为0,不对后端服务器进行健康检查,同时使fail_timeout参数失效
        server 10.68.60.100:8001 max_fails=0 fail_timeout=120s;
        server 10.68.60.101:8001 max_fails=0 fail_timeout=120s;
        server 10.68.60.110:8001 max_fails=0 fail_timeout=120s;
        
        # 每间隔10s向后端服务发起请求,如果请求5s超时且次数达到5次则认为服务不可用
        # 如果请求次数超过2次都没有超时,则认为服务重新可用
        check interval=10000 rise=2 fall=3 timeout=5000 type=http default_down=true;
        check_http_send "GET /healthy HTTP/1.0\r\n\r\n";
        check_http_expect_alive http_2xx http_3xx;
    }


    server {
                listen                  8080;
                server_name             clusterA;
                keepalive_timeout       60;
                proxy_set_header X-Forwarded-Host $host;
                proxy_set_header X-Forwarded-Server $host;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_set_header Host $host:$server_port;
     
                location / {
                        # 默认是60s,设置与后端服务器建立连接的超时时间。应该注意这个超时一般不可能大于75秒。
                        proxy_connect_timeout 60;
                        # 默认60s,定义从后端服务器读取响应的超时。此超时是指相邻两次读操作之间的最长时间间隔,而不是整个响应传输完成的最长时间。如果后端服务器在超时时间段内没有传输任何数据,连接将被关闭。
                        proxy_read_timeout 60;
                        # 默认60s, 定义向后端服务器传输请求的超时。此超时是指相邻两次写操作之间的最长时间间隔,而不是整个请求传输完成的最长时间。如果后端服务器在超时时间段内没有接收到任何数据,连接将被关闭。
                        proxy_send_timeout 60;
                        proxy_pass http://clusterA;
                        proxy_set_header X-Forwarded-Host $host;
                        proxy_set_header X-Forwarded-Server $host;
                        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                        proxy_set_header Host $host:$server_port;
                }
                
                location /status {
                        check_status html;
                        access_log   off;
                        #allow SOME.IP.ADD.RESS;
                        #deny all;
                }
    }
}

3、构建docker镜像,并推送到私服:

# 10.68.60.103:5000 对应你自己的内部私服
docker build --network host -t 10.68.60.103:5000/nginx:1.14.0 -f Dockerfile .
docker push 10.68.60.103:5000/nginx:1.14.0

4、docker运行:

docker run -d -p 8080:8080 -v /usr/local/nginx/conf/nginx.conf:/usr/local/nginx/conf/nginx.conf 10.68.60.103:5000/nginx:1.14.0

5、访问健康状态地址:

# 默认html格式返回
http://ip:8080/status

---------- 正文结束 ----------

长按扫码关注微信公众号

Nginx 被动健康检查和主动健康检查_第2张图片

Java软件编程之家

你可能感兴趣的:(nginx,linux,java,数据库,python)