KeepAlived实现高可用架构详解

Keepalived是一个类似于layer3,4.5交换机制的软件。
Keepalived的作用是检测服务器的状态。如果有一台web服务器宕机,或工作出现故障,Keepalived将检测到并将有故障的服务器从系统中剔除,同时使用其他服务器代替该服务器的工作。当服务器工作正常后Keepalived自动将服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的服务器。

Keepalived工作原理及简单理解
Keepalived官网

Keepalived工作原理

Keepalived对服务器运行状态和故障隔离的工作原理:

Keepalived工作在TCP/IP参考模型的三层、四层、五层(物理层,链路层)

网络层(3): Keepalived通过ICMP协议向服务器集群中的每一个节点发送一个ICMP数据包(有点类似于Ping的功能)。
如果某个节点没有返回响应数据包,那么认为该节点发生了故障,Keepalived将报告这个节点失效,并从服务器集群中剔除故障节点。
传输层(4): Keepalived在传输层里利用了TCP协议的端口连接和扫描技术来判断集群节点的端口是否正常。比如对于常见的WEB服务器80端口或者SSH服务22端口, Keepalived一旦在传输层探测到这些端口号没有数据响应和数据返回,就认为这些端口发生异常,然后强制将这些端口所对应的节点从服务器集群中剔除掉。
应用层(5): Keepalived的运行方式也更加全面化和复杂化,用户可以通过自定义Keepalived工作方式。
例如:可以通过编写程序或者脚本来运行 Keepalived,而Keepalived将根据用户的设定参数检测各种程序或者服务是否运行正常。
如果 Keepalived的检测结果和用户设定的不一致时,Keepalived将把对应的服务器从服务器集群中剔除。

KeepAlived实现高可用架构详解_第1张图片

Keepalived关联协议

健康检查失败切换是keepalived的两大核心功能!
VRRP:虚拟路由协议,公有协议
HSRP:热备份路由协议,思科私有协议
Keepalived是以VRRP协议为实现基础的,巧用VRRP协议来实现高可用性(HA)的发生。目的是解决静态路由出现的单点故障问题。

配置文件含义

vim /etc/keepalived/keepalived.conf

global_defs {	   #全局配置
   notification_email {			//配置联系人邮件地址		
   [email protected]			//地址1
   [email protected]		//地址2
   [email protected]		//地址3
   }
   notification_email_from [email protected]	 //指定邮件的发送人
   smtp_server 192.168.200.1	//邮件服务器地址
   smtp_connect_timeout 30		//连接超时时间
   router_id LVS_DEVEL-r1		//指定路由器ID号,所有服务器不能相同(用来标识路由器本身)
---->(做实验的时候需要删除)
多出的四行:
vrrp_skip_check_adv_addr      默认是不跳过检查。检查收到的VRRP通告中的所有地址可能会比较耗时。
设置此命令的意思是:如果通告与接收的上一个通告来自相同的master路由器,则不执行检查(跳过检查)。
vrrp_strict (严格遵守VRRP协议) 下列情况将会阻止启动Keepalived:  1.没有VIP地址  2.单播邻居   3.在VRRP版本2中有IPv6地址。
vrrp_garp_interval 0          interval:间隔      ==>在一个接口发送的两个免费ARP之间的延迟。可以精确到毫秒级,默认是0秒。
vrrp_gna_interval 0           在一个网卡上每组na消息之间的延迟时间,默认为0秒。
---->
}	//用来分隔定义块,因此必须成对出现。

# VRRP实例定义块
vrrp_instance VI_1 {        //VRRP协议组织名称,一个协议组对应一个名称
    state MASTER			//当前设备状态,状态为MASTER和BACKUP(单词必须大写)
    interface ens33			//对外提供服务的网络接口
    virtual_router_id 51		//虚拟路由ID号,同一组设备使用相同ID号
    priority 100			//优先级1-255(默认100)
    advert_int 1			//主备同步通知间隔(1s Vrrp通告)
    authentication {			//认证方式
        auth_type PASS		//认证类型:	密码或证书(AH)
        auth_pass 1111		//认证密码:	所有节点相同
    }
    virtual_ipaddress {		//虚拟IP地址,群集地址
        192.168.1.254		//可以设置一个,或多个,且每个地址占一行(注意:这个ip必须与我们在lvs客户端设置的vip相一致)
    }
}

# 虚拟服务器定义块
virtual_server 192.168.1.254 80 {	//`LVS群集IP和端口号(定义一个vip,可以实现多个tcp端口的负载均衡功能)`
    delay_loop 6					//健康检查时间间隔.单位是秒。
    lb_algo rr 						//LVS调度类型(rr:轮询)
    lb_kind NAT						//LVS工作模式
    persistence_timeout 50 		    //会话保持时间
    protocol TCP					//协议类型

    real_server 192.168.1.1 80 {	//`节点服务器地址,可以写连续的ip+相同端口号`
        weight 1			//权重或节点服务器优先级
        TCP_check {			//TCP服务的健康检查方式(一般为SSL_GET>https。还有一种是HTTP_GET>http)
             url {			//您可以添加多个url块
             path /          		//http服务检查的默认路径
             digest ff20ad2481f97b1754ef3e12ecd3a9cc         //https检查后的摘要信息
             status_code num 		//http检查的返回状态码
                  }
            ···
            connect_timeout 3		//连接超时时间
            nb_get_retry 3			//设置重连次数
            delay_before_retry 3	//重连间隔时间
            connect_port 80			//健康检查的服务端口
        }
    }
}

小试牛刀 (两台keepalived)

KeepAlived实现高可用架构详解_第2张图片

1.keepalived主服务器配置 (192.168.1.1)

yum -y install httpd keepalived &>/dev/null
echo 1 >/var/www/html/index.html
systemctl stop firewalld
systemctl start httpd
curl 192.168.1.1

[root@localhost ~]# vim /etc/keepalived/keepalived.conf

···
router_id LVS_DEVEL-1			#设置VRRP路由器的id,用来标识路由器本身
vrrp_instance VI_1 {
    state MASTER
    interface ens33				#对外提供服务的网络接口
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }   
    virtual_ipaddress {
        192.168.1.254			#群集IP(虚拟ip地址)
    }
}
virtual_server 192.168.1.254 443 {	#虚拟服务器地址(如果是本地httpd,则443端口就不需要改)
    delay_loop 6
    lb_algo rr					#负载均衡调度算法
    lb_kind NAT					#负载均衡转发规则
    nat_mask 255.255.255.0
    persistence_timeout 50		#会话保持时间
    protocol TCP				#转发协议

    real_server 192.168.1.1 443 {	#真实服务器(也即服务器池;IP地址可以连续写,端口号一致)
        weight 1				#权重
    }
}

其余的删除即可!!!
[root@localhost ~]# systemctl restart keepalived
[root@localhost ~]# ip ad show dev ens33

2.keepalived备份服务器配置 (192.168.1.2)

yum -y install httpd keepalived &>/dev/null
echo 2 >/var/www/html/index.html
systemctl stop firewalld
systemctl start httpd

[root@localhost ~]# vim /etc/keepalived/keepalived.conf

router_id LVS_DEVEL-2			#设置VRRP路由器的id,用来标识路由器本身
state BACKUP
interface ens33		
real_server 192.168.1.2 443 {
        weight 1				#权重
}# 其他的和主keepalived一致即可~

3.访问

[root@localhost ~]# curl 192.168.1.254
1
[root@localhost ~]# systemctl stop keepalived
[root@localhost ~]# ip ad show dev ens33	 //谁获取到192.168.1.254即代表谁提供服务~
[root@localhost ~]# curl 192.168.1.254
2

Keepalived+LVS-DR

Keepalived: (192.168.1.1 192.168.1.2)
HTTP: (192.168.1.10 192.168.1.20)
客户机 (192.168.1.3)
VIP: 192.168.1.254
KeepAlived实现高可用架构详解_第3张图片

一、配置主KeepAlived服务器 (192.168.1.1)

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# ip a show dev ens33      显示指定网卡的信息

编译安装(只安装openssl-devel也行)

yum -y install popt-devel openssl-devel kernel-devel &>/dev/null
tar -zxf keepalived-1.2.13.tar.gz -C /usr/src/
cd /usr/src/keepalived-1.2.13/
./configure --prefix=/ --with-kernel-dir=/usr/src/kernel && make && make install
cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.bak
cd

编辑主配置文件
[root@localhost ~]# vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived
global_defs {
···
   router_id LVS_DEVEL-1		# 从服务器ID不能和“主”相同
}
vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
192.168.1.254
    }
}
virtual_server 192.168.1.254 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 0
    protocol TCP

    real_server 192.168.1.10 80 {	#注意:这里的两个real_server(真实服务器)需要在同一级!
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 4
        }
    }
    real_server 192.168.1.20 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 4
        }
    }
}
···(剩下的可删除可不删除)

添加为系统服务

[root@localhost ~]# service keepalived start
Unit keepalived.service could not be found.
Reloading systemd:                                         [  确定  ]
Starting keepalived (via systemctl):                       [  确定  ]
[root@localhost ~]# chkconfig --add keepalived
[root@localhost ~]# systemctl restart keepalived
[root@localhost ~]# scp -p /etc/keepalived/keepalived.conf [email protected]:/etc/keepalived/keepalived.conf 
The authenticity of host '192.168.1.2 (192.168.1.2)' can't be established.
ECDSA key fingerprint is 59:6b:b8:21:5f:5c:3e:a4:8f:08:55:f6:9b:99:00:8a.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.1.2' (ECDSA) to the list of known hosts.
[email protected]'s password: 
keepalived.conf                                                     100% 3507     3.4KB/s   00:00 

二、配置从KeepAlived服务器 (192.168.1.2)

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# vim /etc/keepalived/keepalived.conf
global_defs {
   router_id LVS_DEVEL-2
}
vrrp_instance VI_1 {
    state BACKUP
    priority 99
    ......
 ---其他参数与主服务器保持一致----
}
[root@localhost ~]# chkconfig --add keepalived
[root@localhost ~]# systemctl start keepalived
[root@localhost ~]# ip ad show ens33
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:98:00:15 brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.2/24 brd 192.168.1.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::cab7:9ea7:25dc:f8e3/64 scope link 
       valid_lft forever preferred_lft forever

三、配置WEB节点服务器 (两台Web服务器配置类同)

firewall-cmd --zone=public --add-port=80/tcp --permanent
firewall-cmd --reload

1、配置IP地址

设置VIP

iptables -F
cp /etc/sysconfig/network-scripts/ifcfg-lo /etc/sysconfig/network-scripts/ifcfg-lo:0
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-lo:0
修改:
DEVICE=lo:0
IPADDR=192.168.1.254
NETMASK=255.255.255.255
ONBOOT=yes
[root@localhost ~]# systemctl restart network
# 添加路由
[root@localhost ~]# route add -host 192.168.1.254 dev lo:0                      	  #临时生效~
[root@localhost ~]# echo "route add -host 192.168.1.100 dev lo:0" >> /etc/rc.local    #永久生效~
使用ip route 或 route -n都可以查看到路由表~

2、调整响应参数

使KeepAlived可以找到HTTP服务器,为了让vip不接受请求和发送arp广播消息

[root@localhost ~]# echo "
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
" >>/etc/sysctl.conf
[root@localhost ~]# sysctl -p

3、配置http服务

[root@localhost ~]# yum -y install httpd &>/dev/null
WEB-1:
echo "1" > /var/www/html/index.html
WEB-2:
echo "2" > /var/www/html/index.html
想要看出效果,需要在主配置文件中添加keepalive off选项!(前提是keepalived配置文件中"会话保持时间"不为0)
sed -i "1a keepalive off" /etc/httpd/conf/httpd.conf
systemctl start httpd

四、安装并配置ipvsadm(主-从配置一样)

[root@localhost ~]# modprobe ip_vs        //添加ip_vs内核模块
[root@localhost ~]# yum -y install ipvsadm &>/dev/null
LVS调度策略可以省略,因为在我们没有手动配置规则时,keepalived会自动添加规则~
[root@localhost ~]# ipvsadm -l		 -L|-l:查看集群服务列表,包括真实服务器转发策略规则
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  localhost.localdomain:http rr
  -> 192.168.1.10:http            Route   1      0          0         
  -> 192.168.1.20:http            Route   1      0          0   

五、客户机访问

只需配置IP地址就行

[root@localhost ~]# curl 192.168.1.254
1
[root@localhost ~]# curl 192.168.1.254
2

六、主KeepAlived服务器断开,从服务器将获取到群集IP继而提供服务

[root@localhost ~]# systemctl stop keepalived
[root@localhost ~]# ip a show dev ens33
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:98:00:15 brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.2/24 brd 192.168.1.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.1.254/32 scope global ens33
       valid_lft forever preferred_lft forever

Keepalived+LVS-NAT

keepalived-lvs-nat-主备模型实现高可用负载均衡
keepalived不但具有故障冗余功能,本身对LVS群集也具有健康检查功能,我们可以通过keepalive+LVS的方式构建具有冗余+健康检查功能的群集调度。
KeepAlived实现高可用架构详解_第4张图片

---client--------LVS(主)---------LVS()----------WEB1----------WEB2--------NFS--
   2.2.2.100       eth33:2.2.2.1       eth33:2.2.2.2     
                   eth37:192.168.1.1   eth37:192.168.1.2  1.10          1.20       1.200   
外网漂移IP:2.2.2.10         (漂移就是虚拟)
内网漂移IP:192.168.1.100

一、配置LVS服务器 (主-从两台)

1、配置IP

[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-ens33 ifcfg-ens37
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens37
[root@localhost ~]# systemctl restart network

2、调整响应参数(主-从配置一样)

[root@localhost ~]# vim /etc/sysctl.conf
添加:
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
[root@localhost ~]# sysctl -p(其实只需要第一行,开启内核转发功能就行)

3、安装并配置ipvsadm(主-从配置一样)

[root@localhost ~]# modprobe ip_vs		    lsmod | grep ip_vs		//查看内核模块
[root@localhost ~]# yum -y install ipvsadm  keepalived   
以下LVS调度策略可以省略,因为在我们没有手动配置规则时,keepalived会自动添加规则~
[root@localhost ~]# ipvsadm -C
[root@localhost ~]# ipvsadm -A -t 2.2.2.10:80 -s rr
[root@localhost ~]# ipvsadm -a -t 2.2.2.10:80 -r 192.168.1.10:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 2.2.2.10:80 -r 192.168.1.20:80 -m -w 1
[root@localhost ~]# ipvsadm-save
[root@localhost ~]# systemctl enable ipvsadm

二、配置keepalived(主-从两台)

1、配置主keepalived

[root@localhost src]# cd /etc/keepalived/
[root@localhost keepalived]# cp keepalived.conf keepalived.conf.bak(真实环境下需要备份)
[root@localhost keepalived]# vim keepalived.conf
:外网群集IP地址2.2.2.10作为接收客户端访问请求的LB(负载)调度器地址使用,内网群集IP地址192.168.1.100作为内网节点服务器的网关地址使用。

router_id LVS_DEVEL-r1		//路由id号(从备ID号不同)

vrrp_instance VI_1 {
    state MASTER			//路由器状态为主设备
    interface ens33			//对外提供服务的网络接口
    virtual_router_id 10		//虚拟路由id号
    priority 100			//优先级
    advert_int 1			//心跳周期
    authentication {			//认证
        auth_type PASS			//认证类型,pass密码认证
        auth_pass 1111			//认证密码
    }
    virtual_ipaddress {			//虚拟IP(群集IP)
        2.2.2.10
    }
}

# 以下内容为复制出来的:
vrrp_instance VI_1 {
    state MASTER			//路由器状态为主设备
    interface ens37			//对外提供服务的网络接口
    virtual_router_id 10		//虚拟路由id号
    priority 100			//优先级
    advert_int 1			//心跳周期
    authentication {			//认证
        auth_type PASS			//认证类型,pass密码认证
        auth_pass 1111			//认证密码
    }
    virtual_ipaddress {			//虚拟IP(群集IP)
        192.168.1.100
    }
}

# 虚拟服务器定义块必须为以下内容才会展现出客户机访问的效果:
virtual_server 2.2.2.10 80 {
    delay_loop 15
    lb_algo rr
    lb_kind NAT
    protocol TCP
    real_server 192.168.1.10 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 4
        }
    }
    real_server 192.168.1.20 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 4
        }
    }
}

将后面的内容删除即可!
[root@localhost ~]# systemctl restart keepalived
[root@localhost ~]# ip add

2、配置从keepalived

[root@localhost ~]# systemctl enable keepalived
[root@localhost src]# cd /etc/keepalived/
[root@localhost keepalived]# cp keepalived.conf keepalived.conf.bak
[root@localhost keepalived]# vim keepalived.conf
修改:
   router_id LVS_DEVEL_R2
vrrp_instance VI_1 {
    state BACKUP
    priority 99
...............
 ---其他参数与主服务器保持一致----
注意:如果两台服务的网卡编号不同,按本地网卡编号进行监听。
}

三、配置WEB节点服务器

1、配置IP地址

[root@localhost ~]# vim /etc/*/*/*-ens33
添加:
GATEWAY=192.168.1.100

2、配置http服务

WEB-1:
[root@localhost ~]# echo "welcome to 192.168.1.101 web server" > /var/www/html/index.html
[root@localhost ~]# service httpd restart
[root@localhost ~]# chkconfig httpd on

WEB-2:
[root@localhost ~]# echo "welcome to 192.168.1.102 web server" > /var/www/html/index.html
[root@localhost ~]# service httpd restart
[root@localhost ~]# chkconfig httpd on
[root@localhost ~]# sed -i '1a keepalive off' /etc/httpd/conf/httpd.conf
想要看出效果,需要在主配置文件中添加keepalive off选项!!

四、验证:【客户端不需要网关】

一)使用ping命令(不明显,最好不要使用这个测试)

客户端:ping 2.2.2.10
断开主LVS的网卡,查看客户端的ping情况。【发现仍然可以ping通】
重启主LVS的网卡,查看客户端的ping情况。

二)客户端

1、访问:			        ==>默认是主LVS进行调度
http://2.2.2.10/
在主LVS上查看:
[root@localhost ~]# ipvsadm -Lnc

2、断开主LVS的网卡(必须是物理断开,从LVS才会获取到漂移IP地址)
客户端访问:http://2.2.2.10/
在主-从LVS上查看:
[root@localhost ~]# ipvsadm -Lnc(会在从上面看到调度过程)
在主-从LVS上查看:
[root@localhost ~]# ip addr

3、重启主LVS的网卡			==>发现虚拟IP重新回到主LVS网卡上
[root@localhost ~]# systemctl restart network
[root@localhost ~]# systemctl restart keepalived
客户端访问:http://2.2.2.10/
在主-从LVS上查看:
[root@localhost ~]# ipvsadm -Lnc
在主-从LVS上查看:
[root@localhost ~]# ip addr

Keepalived+Haproxy

通常情况下利用keepalived做热备,其中一台设置为master,一台设置为backup。当master出现异常后,backup自动切换为master。当backup成为master后,master恢复正常后会再次抢占成为master,导致不必要的主备切换。因此可以将两台keepalived初始状态均配置为backup,设置不同的优先级,优先级高的设置nopreempt解决异常恢复后再次抢占的问题。
KeepAlived实现高可用架构详解_第5张图片

[root@master etc]# cat keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
   notification_email {						//配置联系人邮件地址
     *@163.com
   }
   notification_email_from *@163.com	//指定邮件的发送人
   smtp_server mail.chinawrr.com			//邮件服务器地址
   smtp_connect_timeout 30					//连接超时时间
   router_id LVS_DEVEL						//指定路由器ID号,所有服务器不能相同(用来标识路由器本身)
}

keepalived脑裂现象

由于某些原因,导致两台keepalived高可用服务器在指定时间内,无法检测到对方存活心跳信息,从而导致互相抢占对方的资源和服务所有权,然而此时两台高可用服务器有都还存活。
可能出现的原因:

1、服务器网线松动等网络故障;
2、服务器硬件故障发生损坏现象而崩溃;
3、主备都开启了firewalld 防火墙。
4、在Keepalived+nginx 架构中,当Nginx宕机,会导致用户请求失败,但是keepalived不会进行切换,

所以需要编写一个检测nginx的存活状态的脚本,如果nginx不存活,则kill掉宕掉的nginx主机上面的keepalived。(所有的keepalived都要配置)

keepalived会定时执行脚本并对脚本执行的结果进行分析,动态调整vrrp_instance的优先级。
如果脚本执行结果为0,并且weight配置的值大于0,则优先级相应的增加
如果脚本执行结果非0,并且weight配置的值小于0,则优先级相应的减少
这里需要注意的是:
1) 优先级不会不断的提高或者降低
2) 可以编写多个检测脚本并为每个检测脚本设置不同的weight
3) 不管提高优先级还是降低优先级,最终优先级的范围是在[1,254],不会出现优先级小于等于0或者优先级大于等于255的情况
这样可以做到利用脚本检测业务进程的状态,并动态调整优先级从而实现主备切换。

vrrp_script checkHaproxy {						定义一个vrrp脚本,后续vrrp组或vrrp实例要执行某脚本时,需要从此处引用。
     script "/etc/keepalived/checkHaproxy.sh"	所有vrrp实例都会监控脚本的退出状态码~
     weight -4   				//优先级减去4(根据该权重值调整vrrp实例优先级值,默认值为0)
     timeout 5  				//脚本执行等待超时时长,超过该时长,表示脚本执行失败
     interval 2					//脚本调用时间间隔,默认1秒
     fall 2						//需要失败多少次,vrrp才进行角色状态切换(从正常切换为fault)
     rise 2						//需要成功多少次,vrrp才进行角色状态切换(从fault切换为正常)
     user USERNAME [GROUPNAME]  //脚本执行身份,group默认同username
     init_fail                  //假定脚本初始化时就处于失败状态
}

vrrp_script 里的script返回值为0时认为检测成功,其它值都会当成检测失败;

weight 为正时,脚本检测成功时此weight会加到priority上,检测失败时不加;
主失败:
主 priority < 从 priority + weight 时会切换。
主成功:
主 priority + weight > 从 priority + weight 时,主依然为主

weight 为负时,脚本检测成功时此weight不影响priority,检测失败时priority – abs (weight);
主失败:
主 priority – abs(weight) < 从priority 时会切换主从
主成功:
主 priority > 从priority 主依然为主

VRRP实例定义块

state BACKUP:在keepalived中2种模式,分别是master->backup模式和backup->backup模式。这两种模式有很大区别。
✔ 在master->backup模式下,一旦主库宕机,虚拟ip会自动漂移到从库,当主库修复后,keepalived启动后,还会把虚拟ip抢占过来,即使设置了非抢占模式(nopreempt)抢占ip的动作也会发生。
✔ 在backup->backup模式下,当主库宕机后虚拟ip会自动漂移到从库上,当原主库恢复和keepalived服务启动后,并不会抢占新主的虚拟ip,即使是优先级高于从库的优先级别,也不会发生抢占。

vrrp_instance VI_1 {
    state BACKUP	
    interface eth0							//对外提供服务的网络接口
    virtual_router_id 51					//虚拟路由ID号,同一组设备使用相同ID号
    priority 900							//优先级太高了,所以在脚本中直接杀死进程(因为他不会主备切换)
    advert_int 1							//主备同步通知间隔
    authentication {						//认证方式
        auth_type PASS						//认证类型:pass密码或证书(AH)
        auth_pass 1111						//认证密码。所有节点相同
    }
    unicast_src_ip 192.168.1.2				//如果两节点的上联交换机禁用了组播,则只能采用vrrp单播通告的方式
    unicast_peer {
        192.168.1.2
    }
这里特别注意,在配置的时候unicast_src_ip和unicast_peer一定要手动配置,否则会出现漂移ip挂载两台服务器上的情况,这是因为在服务器网络环境中,路由交换层禁用了ARP的广播限制,造成KEEPALIVE主备协议无法通过广播的方式进行通信,造成主备两台服务器都强占HAVIP地址,出现同时两台服务器都有VIP地址的情况出现,必须通过配置来指定IP的两台服务器间进行通讯。
    virtual_ipaddress {						//虚拟IP地址,群集地址
        192.168.1.254 #dev ens32 	       //可以设置一个或多个且每个地址占一行(注意这个ip必须与我们在lvs客户端设置的vip相一致)
    }
    track_script {
        checkHaproxy
    }
}

配置脚本的原因!

keepalived使用脚本进行健康检查时的相关配置项。例如keepalived+haproxy实现haproxy的高可用。
keepalived分为vrrp实例的心跳检查和后端服务的健康检查。如果要配置后端服务,则后端服务只能是LVS。但vrrp能独立于lvs存在,例如keepalive结合haproxy、mysql等服务实现它们的高可用。
vrrp实例的心跳检查 (lvs,haproxy,mysql…)
(1).除了Haproxy,vrrp只能通过脚本来实现vrrp的健康检查,并通过vrrp实例脚本结束keepalived进程来中断该实例的心跳通告。此时virtual server部分的配置需省略。
(2).对于LVS,无需使用任何脚本,因为所有keepalived节点会同时对后端服务进行健康检查,并同时从LVS规则中剔除下线的服务。如果所有后端服务都不健康,那就没有必要切换keepalived。
后端RS的健康检查 (只能是LVS)
(1).一般采用TCP_CHECK、HTTP_GET、SSL_GET进行健康检查。
(2).但也能自写脚本进行后端服务的健康检查,这种模式称为MISC_CHECK。

[root@master etc]# cat keepalived/checkHaproxy.sh 			//检查HA服务器的状态
#!/bin/bash
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then
    /bin/systemctl restart haproxy.service 			
fi
sleep 1
checkItem=`/bin/systemctl is-active  haproxy.service`
if [  $checkItem != "active" ]; then
   /data/servers/keepalived/etc/rc.d/init.d/keepalived stop					//如果haproxy服务没启动就关闭keepalived
fi	 "可以在检测脚本中增加杀掉keepalived进程(或者停用keepalived服务)的方式,做到业务进程出现问题时完成主备切换"

扩展

配置文件

》VRRP synchronization group(s)
    # 分别表示切换为主/备/出错(例如监控的eth0坏了)时所执行的脚本。
    # 要为脚本传递参数时,使用引号包围整个脚本和参数
    notify_master /path/to_master.sh [username [groupname]]
    notify_backup /path/to_backup.sh [username [groupname]]
    notify_fault "/path/fault.sh VG_1" [username [groupname]]

    # notify表示只要状态切换都会调用的脚本,且该脚本是在以上三个脚本执行之后再调用的
    # keepalived会自动传递四个参数,因此不要手动为脚本传递参数。
    # $1 = "GROUP"|"INSTANCE"
    # $2 = vrrp组名称或vrrp实例名
    # $3 = 切换的目标状态(MASTER/BACKUP/FAULT)
    # $4 = 优先级数值(priority value)
    notify /path/notify.sh [username [groupname]]
    
》VRRP instance(s)部分
# 监控接口,当某接口down掉时,切换为fault状态    
   track_interface {
      eth0
      eth1
      eth2 weight <-254..254>
      ...
    }
    # notify_master/backup/fault/stop分别表示切换为主、备、出错(例如监控的eth0坏了)、vrrp停止时所执行的脚本
    # 要为脚本传递参数时,使用引号包围整个脚本和参数
    notify_master <STRING>|<QUOTED-STRING> [username [groupname]]
    notify_backup <STRING>|<QUOTED-STRING> [username [groupname]]
    notify_fault  <STRING>|<QUOTED-STRING> [username [groupname]]
    notify_stop  <STRING> |<QUOTED-STRING> [username [groupname]]   # executed when stopping vrrp
    # notify表示只要状态切换都会调用的脚本,并且该脚本是在以上三个脚本执行之后再调用的
    notify <STRING>|<QUOTED-STRING> [username [groupname]]
    
》Virtual server(s)部分
    ·投票被选举成功或失败时执行的脚本
    quorum_up   <字符串>|<引证-STRING>
    quorum_down <字符串>|<QUOTED-STRING>

    real_server <IPADDR> <PORT>
       {
           ·当健康检查的后端rs上线、下线时执行的脚本
           notify_up <STRING>|<QUOTED-STRING>
           notify_down <STRING>|<QUOTED-STRING>

           # MISC健康检查类型,该类型通过自定义脚本来检查后端健康状况
           MISC_CHECK
           {
               # 执行哪个脚本来判断后端是否健康
               misc_path <STRING>|<QUOTED-STRING>
               # Script execution timeout
               misc_timeout <INT>

               # 指定一个随机延迟时间,防止同时检查所有后端,指定为0时表示禁止该功能。
               # 默认启动该功能,默认最大间隔为delay_loop的值。
               warmup <INT>

               # 如果指定该选项,则根据健康检查脚本的退出状态码动态调整权重值
               # 退出状态码为:
               # 0:    表示检查成功,不做任何权重修改
               # 1:	   表示检查失败
               # 2-255:表示检查成功,但权重值减2,例如(状态码为255,则设置权重为253)
               misc_dynamic

               # 指定运行后端健康检查脚本的身份,不指定group时将默认使用username
               user USERNAME [GROUPNAME]
           }
       }
    }

脚本

#!/bin/bash				//检测一个进程是否运行: killall -0 process-name
if ! killall -0 haproxy &>/dev/null;then
    serivce haproxy restart
    sleep 1
    if ! killall -0 haproxy &>/dev/null;then
        service keepalived stop
    fi
fi

Young should eat more bitter, if you are not strong, no one can grow up for you!

你可能感兴趣的:(Linux,服务器,运维,网络,负载均衡,linux)