Nginx 负载均衡upstream_check_module 健康检查

大家都知道，前端nginx做反向代理，如果后端服务器宕掉的话，nginx是不能把这台real server踢出upstream的，所以还会有请求转发到后端的这台real server上面去，虽然nginx可以在localtion中启用proxy_next_upstream来解决返回给用户的错误页面，但这个还是会把请求转发给这台服务器的，然后再转发给别的服务器，这样就浪费了一次转发，这次借助与淘宝技术团队开发的nginx模快nginx_upstream_check_module来检测后方realserver的健康状态，如果后端服务器不可用，则所以的请求不转发到这台服务器。

 

nginx_upstream_check_module模块

---

nginx_upstream_check_module 是专门提供负载均衡器内节点的健康检查的外部模块，由淘宝的姚伟斌大神开发，通过它可以用来检测后端 realserver 的健康状态。如果后端 realserver 不可用，则后面的请求就不会转发到该节点上，并持续检查几点的状态。在淘宝自己的 tengine 上是自带了该模块。项目地址：https://github.com/yaoweibin/nginx_upstream_check_module 。  

在淘宝自己的 tengine 上是自带了该模块的，大家可以访问淘宝tengine的官网来获取该版本的nginx，官方地址：http://tengine.taobao.org/。

 

 

nginx_upstream_check_module模块使用(这里不介绍如何将该模块编译进nginx,只介绍使用)

---

服务治理的一个重要任务是感知服务节点变更，完成服务自动注册及异常节点的自动摘除。这就需要服务治理平台能够：及时、准确的感知service节点的健康状况。

方案概述

---

Nginx 提供了三种HTTP服务健康检查方案供用户选择：

1. TCP层默认检查方案：

   定时与后端服务建立一条tcp连接，链接建立成功则认为服务节点是健康的。

2. HTTP层默认检查方案：

   TCP层检查有一定的局限性：

   1. 很多HTTP服务是带状态的，端口处于listen状态并不能代表服务已经完成预热；

   2. 不能真实反映服务内部处理逻辑是否产生拥堵。

   3. 这时可以选择http层健康检查，会向服务发送一个http请求GET / HTTP/1.0\r\n\r\n，返回状态是2xx或3xx时认为后端服务正常。

3. 自定义方案：（nginx_upstream_check_module模块）

   可根据下文描述自定义检查方案。

 

配置参数详解

---

一个常用的健康检查配置如下：

check fall=3 interval=3000 rise=2 timeout=2000 type=http;check_http_expect_alive http_2xx http_3xx ;check_http_send "GET /checkAlive HTTP/1.0\r\n\r\n" ;

下面针对每个配置参数，进行详细介绍。

 

check：

---

check 字段参数如下：

Syntax: check interval=milliseconds [fall=count] [rise=count] [timeout=milliseconds] [default_down=true|false] [type=tcp|http|ssl_hello|mysql|ajp] [port=check_port]Default: 如果没有配置参数，默认值是：interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp

check 字段各个参数含义如下：

• interval：向后端发送的健康检查包的间隔。

• fall(fall_count): 如果连续失败次数达到fall_count，服务器就被认为是down。

• rise(rise_count): 如果连续成功次数达到rise_count，服务器就被认为是up。

• timeout: 后端健康请求的超时时间。

• default_down: 设定初始时服务器的状态，如果是true，就说明默认是down的，如果是false，就是up的。

  默认值是true，也就是一开始服务器认为是不可用，要等健康检查包达到一定成功次数以后才会被认为是健康的。

• type：健康检查包的类型，现在支持以下多种类型    

  • tcp：

    简单的tcp连接，如果连接成功，就说明后端正常。

  • ssl_hello：

    发送一个初始的SSL hello包并接受服务器的SSL hello包。

  • http：

    发送HTTP请求，通过后端的回复包的状态来判断后端是否存活。

  • mysql: 向mysql服务器连接，通过接收服务器的greeting包来判断后端是否存活。

  • ajp：

    向后端发送AJP协议的Cping包，通过接收Cpong包来判断后端是否存活。

  • port: 指定后端服务器的检查端口。

    可以指定不同于真实服务的后端服务器的端口，比如后端提供的是443端口的应用，你可以去检查80端口的状态来判断后端健康状况。

    默认是0，表示跟后端server提供真实服务的端口一样。

 

check_http_expect_alive：

---

check_http_expect_alive 指定主动健康检查时HTTP回复的成功状态：

Syntax: check_http_expect_alive [ http_2xx | http_3xx | http_4xx | http_5xx ]Default: http_2xx | http_3xx

 

check_http_send：

---

check_http_send 配置http健康检查包发送的请求内容

为了减少传输数据量，推荐采用”HEAD”方法。当采用长连接进行健康检查时，需在该指令中添加keep-alive请求头，如：”HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n”。同时，在采用”GET”方法的情况下，请求uri的size不宜过大，确保可以在1个interval内传输完成，否则会被健康检查模块视为后端服务器或网络异常。​​​​​​​

Syntax: check_http_send http_packetDefault: "GET / HTTP/1.0\r\n\r\n"

 

完整示例

---

完整示例，如下：​​​​​​​

http {    upstream cluster1 {        # simple round-robin        server 192.168.0.1:80;        server 192.168.0.2:80;        check interval=3000 rise=2 fall=5 timeout=1000 type=http;        check_http_send "HEAD / HTTP/1.0\r\n\r\n";        check_http_expect_alive http_2xx http_3xx;    }    upstream cluster2 {        # simple round-robin        server 192.168.0.3:80;        server 192.168.0.4:80;        check interval=3000 rise=2 fall=5 timeout=1000 type=http;        check_keepalive_requests 100;        check_http_send "HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n";        check_http_expect_alive http_2xx http_3xx;    }    server {        listen 80;        location /1 {            proxy_pass http://cluster1;        }        location /2 {            proxy_pass http://cluster2;        }        location /status {            check_status;            access_log   off;            allow SOME.IP.ADD.RESS;            deny all;        }    }}