LVS - 使用用Keepalived实现健康检查的示例

一、说明和准备

    Keepalived是基于VRRP协议实现的保证集群高可用的一个服务软件，运行在LVS之上，它的主要功能是实现真机的故障隔离及负载均衡器间的失败切换，用来防止单点故障

    keepalived主要有三个模块，分别是core、check和vrrp。core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查，包括常见的各种检查方式。vrrp模块是来实现VRRP协议的
    keepalived只有一个配置文件keepalived.conf，里面主要包括以下几个配置区域，分别是global_defs、static_ipaddress、static_routes、vrrp_script、vrrp_instance和virtual_server

# 安装IPVS管理模块
yum install ipvsadm -y
# 安装keepalived
yum install keepalived -y

二、配置keepalived节点

! Configuration File for keepalived

# vi /etc/keepalived/keepalived.conf

# 全局配置 主要是配置故障发生时的通知对象以及机器标识
global_defs {
    
    notification_email {
        [email protected]    # 设置报警邮件接收地址，需要开启 sendmail 服务
    }
    
    notification_email_from [email protected]    # 设置邮件的发送地址  
    smtp_server 192.168.2.241    # 设置通知的 SMTP Server 地址  
    smtp_connect_timeout 30      # 设置通知的 SMTP Server 的超时时间  
    
    router_id LVS_DEVEL_1        # 路由ID，标识本节点的字符串，邮件通知时会用到
    
}

# 自定义VRRP实例健康检查脚本 keepalived只能做到对自身问题和网络故障的监控，Script可以增加其他的监控来判定是否需要切换主备
vrrp_script chk_sshd {

    script "killall -0 sshd"    # 示例为检查sshd服务是否运行中

    interval 2         # 检查间隔时间
    weight -4          # 检查失败降低的权重

}


# VRRP实例 定义对外提供服务的VIP区域及其相关属性
vrrp_instance VI_1 {

    state MASTER           # 状态只有 MASTER 和 BACKUP 两种，并且要大写，MASTER 为工作状态，BACKUP 是备用状态
    interface eth0         # 节点固有IP(非VIP)的网卡，用来发VRRP包
    virtual_router_id 51   # 虚拟路由标识，同一个 vrrp_instance 的 MASTER 和 BACKUP 的 vitrual_router_id 需要一致
    priority 100           # 优先级，同一个 vrrp_instance 的 MASTER 优先级必须比 BACKUP 高
    advert_int 1           # MASTER 与 BACKUP 负载均衡器之间同步检查的时间间隔，单位为秒

    authentication {       # 设置认证
        auth_type PASS     # 认证方式，支持 PASS 和 HA 
        auth_pass 1111     # 证密码为明文，同一 vrrp 实例 MASTER 与 BACKUP 使用相同的密码才能正常通信
    }

    virtual_ipaddress {    # 虚拟IP地址(VIP)，可以有多个地址，每个地址占一行
        192.168.12.200
    }

    track_script {         # 自定义健康检查脚本
        chk_sshd           # 配置上面自定义的vrrp脚本调用名
    }
}

# 设置虚拟服务器
virtual_server 192.168.12.200 6500 {     # 指定虚拟IP地址和服务端口

    delay_loop 6             # 服务健康检查周期，6秒
    lb_algo rr               # 负载均衡调度算法，一般用wrr、rr、wlc
    lb_kind DR               # 负载均衡转发规则。一般包括DR,NAT,TUN 3种
    persistence_timeout 5    # 会话保持时间。把用户请求请求间隔在未超过保持时间时，一直分发到某个服务节点
    protocol TCP             # 转发协议 有TCP和UDP两种
    
    # 配置真实服务器
    real_server 192.168.2.222 6500 {    #指定IP和端口
    
        weight 1       # 权重，数值越大，权重越高 
        
        # 健康检查方式 常见有 TCP_CHECK, HTTP_GET, SSL_GET, MISC_CHECK(自定义脚本)
        TCP_CHECK {               # 通过TcpCheck方式判断RealServer的健康状态
            connect_timeout 10    # 连接超时时间
            nb_get_retry 3        # 重连次数
            delay_before_retry 3  # 重连时间间隔
            connect_port 6500     # 检测端口
        }
        
    }
    
    # 配置真实服务器
    real_server 192.168.2.222 6500 {    #指定IP和端口
    
        weight 1      # 权重，数值越大，权重越高 
        
        # 健康检查方式 常见有 TCP_CHECK, HTTP_GET, SSL_GET, MISC_CHECK(自定义脚本)
        TCP_CHECK {               # 通过TcpCheck判断RealServer的健康状态
            connect_timeout 10    # 连接超时时间
            nb_get_retry 3        # 重连次数
            delay_before_retry 3  # 重连时间间隔
            connect_port 6500     # 检测端口
        }
        
    }
    
}

三、负载补充说明

    1、DS通过启动keepalived开启调度器的负载均衡

[root@DR1 keepalived]# service keepalived start

    2、ipvs默认超时时间

#### 查看默认超时时间
[root@DR1 keepalived]# ipvsadm -L --timeout
Timeout (tcp tcpfin udp): 900 120 300
#  也就是说一条tcp的连接经过lvs后，lvs会把这台记录保存15分钟，就是因为这个时间过长，所以容易发生做好 LVS DR 之后轮询的现象并没有发生

#### 调整默认超时时间
[root@DR1 ~]# ipvsadm --set 1 2 1

    3、监测连接保持状态(2s刷新一次状态)

[root@DR1 keepalived]# watch ipvsadm -L -n -c

    4、RS实服务器参考LVS - 直接路由(DR)模式示例中真实服务器的lvs_real_dr.sh脚本部分

四、常用keepalived检查类型

    1、TCP_CHECK

    TCP_CHECK {     # 通过TcpCheck判断RealServer的健康状态
        connect_timeout 10    # 连接超时时间
        nb_get_retry 3        # 重连次数
        delay_before_retry 3  # 重连时间间隔
        connect_port 6500     # 检测端口
    }

    2、HTTP_GET

    HTTP_GET {
        url {
            path check/200.jsp  # 检查的uri地址
            digest 1362a91278f0806aa1d33e1e26d67763 # 用keepalived自带的genhash生成，/usr/bin/genhash -s rsIP -p port -u uri
        }
        connect_timeout 3   # 链接超时时间
        nb_get_retry 3   # 重连次数
        delay_before_retry 3  # 重连时间间隔
        connect_port 6500  # 检测端口
    }

    3、MISC_CHECK

        keepalived.conf配置：

    MISC_CHECK {
        misc_path "/etc/keepalived/misc_check.sh http://192.168.2.222:6500/check/200.jsp"    # 外部程序或者脚本的路径和参数
        misc_timeout 10   # 脚本执行的超时时间
        misc_dynamic    #动态权重标志。脚本返回0则检测成功权重不变，返回1表示失败权重设置为0
    }

        misc_check.sh脚本示例：

#!/bin/bash

# ./misc_check.sh http://192.168.2.222:6500/check/200.jsp

if [ $# -ne 1 ]; then
    echo "Warning: command param error."
    exit 1
else
    CHECK_URL=$1
    CMD=`/usr/bin/curl -I ${CHECK_URL} 2>/dev/null | grep "200 OK" | wc -l`
    
    if [ ${CMD} -eq 1 ]; then
            echo "Succ: Check proxy ${CHECK_URL} is succeed."
        exit 0
    
    else
        echo "Fail: check proxy ${CHECK_URL} is failed."
        exit 1
    fi
fi

五、参考资料

    http://www.cnblogs.com/liwei0526vip/p/6370103.html

    http://blog.csdn.net/traumerei/article/details/63686693

    http://outofmemory.cn/wiki/keepalived-configuration