Keepalived是一个类似于layer3,4.5交换机制的软件。
Keepalived的作用是检测服务器的状态
。如果有一台web服务器宕机,或工作出现故障,Keepalived将检测到并将有故障的服务器从系统中剔除,同时使用其他服务器代替该服务器的工作。当服务器工作正常后Keepalived自动将服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的服务器。
Keepalived工作原理及简单理解
Keepalived官网
Keepalived对服务器运行状态和故障隔离的工作原理:
Keepalived工作在TCP/IP参考模型的三层、四层、五层(物理层,链路层)
网络层(3)
: Keepalived通过ICMP协议向服务器集群中的每一个节点发送一个ICMP数据包(有点类似于Ping的功能)。
如果某个节点没有返回响应数据包,那么认为该节点发生了故障,Keepalived将报告这个节点失效,并从服务器集群中剔除故障节点。
传输层(4)
: Keepalived在传输层里利用了TCP协议的端口连接和扫描技术来判断集群节点的端口是否正常。比如对于常见的WEB服务器80端口或者SSH服务22端口, Keepalived一旦在传输层探测到这些端口号没有数据响应和数据返回,就认为这些端口发生异常,然后强制将这些端口所对应的节点从服务器集群中剔除掉。
应用层(5)
: Keepalived的运行方式也更加全面化和复杂化,用户可以通过自定义Keepalived工作方式。
例如:可以通过编写程序或者脚本来运行 Keepalived,而Keepalived将根据用户的设定参数检测各种程序或者服务是否运行正常。
如果 Keepalived的检测结果和用户设定的不一致时,Keepalived将把对应的服务器从服务器集群中剔除。
健康检查
和失败切换
是keepalived的两大核心功能!
VRRP:虚拟路由协议,公有协议
HSRP:热备份路由协议,思科私有协议
Keepalived是以VRRP协议为实现基础的,巧用VRRP协议来实现高可用性(HA)的发生。目的是解决静态路由出现的单点故障问题。
vim /etc/keepalived/keepalived.conf
global_defs { #全局配置
notification_email { //配置联系人邮件地址
[email protected] //地址1
[email protected] //地址2
[email protected] //地址3
}
notification_email_from [email protected] //指定邮件的发送人
smtp_server 192.168.200.1 //邮件服务器地址
smtp_connect_timeout 30 //连接超时时间
router_id LVS_DEVEL-r1 //指定路由器ID号,所有服务器不能相同(用来标识路由器本身)
---->(做实验的时候需要删除)
多出的四行:
vrrp_skip_check_adv_addr 默认是不跳过检查。检查收到的VRRP通告中的所有地址可能会比较耗时。
设置此命令的意思是:如果通告与接收的上一个通告来自相同的master路由器,则不执行检查(跳过检查)。
vrrp_strict (严格遵守VRRP协议) 下列情况将会阻止启动Keepalived: 1.没有VIP地址 2.单播邻居 3.在VRRP版本2中有IPv6地址。
vrrp_garp_interval 0 interval:间隔 ==>在一个接口发送的两个免费ARP之间的延迟。可以精确到毫秒级,默认是0秒。
vrrp_gna_interval 0 在一个网卡上每组na消息之间的延迟时间,默认为0秒。
---->
} //用来分隔定义块,因此必须成对出现。
# VRRP实例定义块
vrrp_instance VI_1 { //VRRP协议组织名称,一个协议组对应一个名称
state MASTER //当前设备状态,状态为MASTER和BACKUP(单词必须大写)
interface ens33 //对外提供服务的网络接口
virtual_router_id 51 //虚拟路由ID号,同一组设备使用相同ID号
priority 100 //优先级1-255(默认100)
advert_int 1 //主备同步通知间隔(1s Vrrp通告)
authentication { //认证方式
auth_type PASS //认证类型: 密码或证书(AH)
auth_pass 1111 //认证密码: 所有节点相同
}
virtual_ipaddress { //虚拟IP地址,群集地址
192.168.1.254 //可以设置一个,或多个,且每个地址占一行(注意:这个ip必须与我们在lvs客户端设置的vip相一致)
}
}
# 虚拟服务器定义块
virtual_server 192.168.1.254 80 { //`LVS群集IP和端口号(定义一个vip,可以实现多个tcp端口的负载均衡功能)`
delay_loop 6 //健康检查时间间隔.单位是秒。
lb_algo rr //LVS调度类型(rr:轮询)
lb_kind NAT //LVS工作模式
persistence_timeout 50 //会话保持时间
protocol TCP //协议类型
real_server 192.168.1.1 80 { //`节点服务器地址,可以写连续的ip+相同端口号`
weight 1 //权重或节点服务器优先级
TCP_check { //TCP服务的健康检查方式(一般为SSL_GET>https。还有一种是HTTP_GET>http)
url { //您可以添加多个url块
path / //http服务检查的默认路径
digest ff20ad2481f97b1754ef3e12ecd3a9cc //https检查后的摘要信息
status_code num //http检查的返回状态码
}
···
connect_timeout 3 //连接超时时间
nb_get_retry 3 //设置重连次数
delay_before_retry 3 //重连间隔时间
connect_port 80 //健康检查的服务端口
}
}
}
yum -y install httpd keepalived &>/dev/null
echo 1 >/var/www/html/index.html
systemctl stop firewalld
systemctl start httpd
curl 192.168.1.1
[root@localhost ~]# vim /etc/keepalived/keepalived.conf
···
router_id LVS_DEVEL-1 #设置VRRP路由器的id,用来标识路由器本身
vrrp_instance VI_1 {
state MASTER
interface ens33 #对外提供服务的网络接口
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.254 #群集IP(虚拟ip地址)
}
}
virtual_server 192.168.1.254 443 { #虚拟服务器地址(如果是本地httpd,则443端口就不需要改)
delay_loop 6
lb_algo rr #负载均衡调度算法
lb_kind NAT #负载均衡转发规则
nat_mask 255.255.255.0
persistence_timeout 50 #会话保持时间
protocol TCP #转发协议
real_server 192.168.1.1 443 { #真实服务器(也即服务器池;IP地址可以连续写,端口号一致)
weight 1 #权重
}
}
其余的删除即可!!!
[root@localhost ~]# systemctl restart keepalived
[root@localhost ~]# ip ad show dev ens33
yum -y install httpd keepalived &>/dev/null
echo 2 >/var/www/html/index.html
systemctl stop firewalld
systemctl start httpd
[root@localhost ~]# vim /etc/keepalived/keepalived.conf
router_id LVS_DEVEL-2 #设置VRRP路由器的id,用来标识路由器本身
state BACKUP
interface ens33
real_server 192.168.1.2 443 {
weight 1 #权重
}# 其他的和主keepalived一致即可~
[root@localhost ~]# curl 192.168.1.254
1
[root@localhost ~]# systemctl stop keepalived
[root@localhost ~]# ip ad show dev ens33 //谁获取到192.168.1.254即代表谁提供服务~
[root@localhost ~]# curl 192.168.1.254
2
Keepalived: (192.168.1.1 192.168.1.2)
HTTP: (192.168.1.10 192.168.1.20)
客户机 (192.168.1.3)
VIP: 192.168.1.254
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# ip a show dev ens33 显示指定网卡的信息
编译安装(只安装openssl-devel也行)
yum -y install popt-devel openssl-devel kernel-devel &>/dev/null
tar -zxf keepalived-1.2.13.tar.gz -C /usr/src/
cd /usr/src/keepalived-1.2.13/
./configure --prefix=/ --with-kernel-dir=/usr/src/kernel && make && make install
cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.bak
cd
编辑主配置文件
[root@localhost ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
···
router_id LVS_DEVEL-1 # 从服务器ID不能和“主”相同
}
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.254
}
}
virtual_server 192.168.1.254 80 {
delay_loop 6
lb_algo rr
lb_kind DR
nat_mask 255.255.255.0
persistence_timeout 0
protocol TCP
real_server 192.168.1.10 80 { #注意:这里的两个real_server(真实服务器)需要在同一级!
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 4
}
}
real_server 192.168.1.20 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 4
}
}
}
···(剩下的可删除可不删除)
添加为系统服务
[root@localhost ~]# service keepalived start
Unit keepalived.service could not be found.
Reloading systemd: [ 确定 ]
Starting keepalived (via systemctl): [ 确定 ]
[root@localhost ~]# chkconfig --add keepalived
[root@localhost ~]# systemctl restart keepalived
[root@localhost ~]# scp -p /etc/keepalived/keepalived.conf [email protected]:/etc/keepalived/keepalived.conf
The authenticity of host '192.168.1.2 (192.168.1.2)' can't be established.
ECDSA key fingerprint is 59:6b:b8:21:5f:5c:3e:a4:8f:08:55:f6:9b:99:00:8a.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.1.2' (ECDSA) to the list of known hosts.
[email protected]'s password:
keepalived.conf 100% 3507 3.4KB/s 00:00
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# vim /etc/keepalived/keepalived.conf
global_defs {
router_id LVS_DEVEL-2
}
vrrp_instance VI_1 {
state BACKUP
priority 99
......
---其他参数与主服务器保持一致----
}
[root@localhost ~]# chkconfig --add keepalived
[root@localhost ~]# systemctl start keepalived
[root@localhost ~]# ip ad show ens33
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:98:00:15 brd ff:ff:ff:ff:ff:ff
inet 192.168.1.2/24 brd 192.168.1.255 scope global ens33
valid_lft forever preferred_lft forever
inet6 fe80::cab7:9ea7:25dc:f8e3/64 scope link
valid_lft forever preferred_lft forever
firewall-cmd --zone=public --add-port=80/tcp --permanent
firewall-cmd --reload
设置VIP
iptables -F
cp /etc/sysconfig/network-scripts/ifcfg-lo /etc/sysconfig/network-scripts/ifcfg-lo:0
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-lo:0
修改:
DEVICE=lo:0
IPADDR=192.168.1.254
NETMASK=255.255.255.255
ONBOOT=yes
[root@localhost ~]# systemctl restart network
# 添加路由
[root@localhost ~]# route add -host 192.168.1.254 dev lo:0 #临时生效~
[root@localhost ~]# echo "route add -host 192.168.1.100 dev lo:0" >> /etc/rc.local #永久生效~
使用ip route 或 route -n都可以查看到路由表~
使KeepAlived可以找到HTTP服务器,为了让vip不接受请求和发送arp广播消息
[root@localhost ~]# echo "
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
" >>/etc/sysctl.conf
[root@localhost ~]# sysctl -p
[root@localhost ~]# yum -y install httpd &>/dev/null
WEB-1:
echo "1" > /var/www/html/index.html
WEB-2:
echo "2" > /var/www/html/index.html
想要看出效果,需要在主配置文件中添加keepalive off选项!(前提是keepalived配置文件中"会话保持时间"不为0)
sed -i "1a keepalive off" /etc/httpd/conf/httpd.conf
systemctl start httpd
[root@localhost ~]# modprobe ip_vs //添加ip_vs内核模块
[root@localhost ~]# yum -y install ipvsadm &>/dev/null
LVS调度策略可以省略,因为在我们没有手动配置规则时,keepalived会自动添加规则~
[root@localhost ~]# ipvsadm -l -L|-l:查看集群服务列表,包括真实服务器转发策略规则
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP localhost.localdomain:http rr
-> 192.168.1.10:http Route 1 0 0
-> 192.168.1.20:http Route 1 0 0
只需配置IP地址就行
[root@localhost ~]# curl 192.168.1.254
1
[root@localhost ~]# curl 192.168.1.254
2
[root@localhost ~]# systemctl stop keepalived
[root@localhost ~]# ip a show dev ens33
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:98:00:15 brd ff:ff:ff:ff:ff:ff
inet 192.168.1.2/24 brd 192.168.1.255 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.1.254/32 scope global ens33
valid_lft forever preferred_lft forever
keepalived-lvs-nat-主备模型实现高可用负载均衡
keepalived不但具有故障冗余功能,本身对LVS群集也具有健康检查功能,我们可以通过keepalive+LVS的方式构建具有冗余+健康检查功能的群集调度。
---client--------LVS(主)---------LVS(从)----------WEB1----------WEB2--------NFS--
2.2.2.100 eth33:2.2.2.1 eth33:2.2.2.2
eth37:192.168.1.1 eth37:192.168.1.2 1.10 1.20 1.200
外网漂移IP:2.2.2.10 (漂移就是虚拟)
内网漂移IP:192.168.1.100
[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-ens33 ifcfg-ens37
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens37
[root@localhost ~]# systemctl restart network
[root@localhost ~]# vim /etc/sysctl.conf
添加:
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
[root@localhost ~]# sysctl -p(其实只需要第一行,开启内核转发功能就行)
[root@localhost ~]# modprobe ip_vs lsmod | grep ip_vs //查看内核模块
[root@localhost ~]# yum -y install ipvsadm keepalived
以下LVS调度策略可以省略,因为在我们没有手动配置规则时,keepalived会自动添加规则~
[root@localhost ~]# ipvsadm -C
[root@localhost ~]# ipvsadm -A -t 2.2.2.10:80 -s rr
[root@localhost ~]# ipvsadm -a -t 2.2.2.10:80 -r 192.168.1.10:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 2.2.2.10:80 -r 192.168.1.20:80 -m -w 1
[root@localhost ~]# ipvsadm-save
[root@localhost ~]# systemctl enable ipvsadm
[root@localhost src]# cd /etc/keepalived/
[root@localhost keepalived]# cp keepalived.conf keepalived.conf.bak(真实环境下需要备份)
[root@localhost keepalived]# vim keepalived.conf
注
:外网群集IP地址2.2.2.10作为接收客户端访问请求的LB(负载)调度器地址使用,内网群集IP地址192.168.1.100作为内网节点服务器的网关地址使用。
router_id LVS_DEVEL-r1 //路由id号(从备ID号不同)
vrrp_instance VI_1 {
state MASTER //路由器状态为主设备
interface ens33 //对外提供服务的网络接口
virtual_router_id 10 //虚拟路由id号
priority 100 //优先级
advert_int 1 //心跳周期
authentication { //认证
auth_type PASS //认证类型,pass密码认证
auth_pass 1111 //认证密码
}
virtual_ipaddress { //虚拟IP(群集IP)
2.2.2.10
}
}
# 以下内容为复制出来的:
vrrp_instance VI_1 {
state MASTER //路由器状态为主设备
interface ens37 //对外提供服务的网络接口
virtual_router_id 10 //虚拟路由id号
priority 100 //优先级
advert_int 1 //心跳周期
authentication { //认证
auth_type PASS //认证类型,pass密码认证
auth_pass 1111 //认证密码
}
virtual_ipaddress { //虚拟IP(群集IP)
192.168.1.100
}
}
# 虚拟服务器定义块必须为以下内容才会展现出客户机访问的效果:
virtual_server 2.2.2.10 80 {
delay_loop 15
lb_algo rr
lb_kind NAT
protocol TCP
real_server 192.168.1.10 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 4
}
}
real_server 192.168.1.20 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 4
}
}
}
将后面的内容删除即可!
[root@localhost ~]# systemctl restart keepalived
[root@localhost ~]# ip add
[root@localhost ~]# systemctl enable keepalived
[root@localhost src]# cd /etc/keepalived/
[root@localhost keepalived]# cp keepalived.conf keepalived.conf.bak
[root@localhost keepalived]# vim keepalived.conf
修改:
router_id LVS_DEVEL_R2
vrrp_instance VI_1 {
state BACKUP
priority 99
...............
---其他参数与主服务器保持一致----
注意:如果两台服务的网卡编号不同,按本地网卡编号进行监听。
}
1、配置IP地址
[root@localhost ~]# vim /etc/*/*/*-ens33
添加:
GATEWAY=192.168.1.100
2、配置http服务
WEB-1:
[root@localhost ~]# echo "welcome to 192.168.1.101 web server" > /var/www/html/index.html
[root@localhost ~]# service httpd restart
[root@localhost ~]# chkconfig httpd on
WEB-2:
[root@localhost ~]# echo "welcome to 192.168.1.102 web server" > /var/www/html/index.html
[root@localhost ~]# service httpd restart
[root@localhost ~]# chkconfig httpd on
[root@localhost ~]# sed -i '1a keepalive off' /etc/httpd/conf/httpd.conf
想要看出效果,需要在主配置文件中添加keepalive off选项!!
一)使用ping命令(不明显,最好不要使用这个测试)
客户端:ping 2.2.2.10
断开主LVS的网卡,查看客户端的ping情况。【发现仍然可以ping通】
重启主LVS的网卡,查看客户端的ping情况。
二)客户端
1、访问: ==>默认是主LVS进行调度
http://2.2.2.10/
在主LVS上查看:
[root@localhost ~]# ipvsadm -Lnc
2、断开主LVS的网卡(必须是物理断开,从LVS才会获取到漂移IP地址)
客户端访问:http://2.2.2.10/
在主-从LVS上查看:
[root@localhost ~]# ipvsadm -Lnc(会在从上面看到调度过程)
在主-从LVS上查看:
[root@localhost ~]# ip addr
3、重启主LVS的网卡 ==>发现虚拟IP重新回到主LVS网卡上
[root@localhost ~]# systemctl restart network
[root@localhost ~]# systemctl restart keepalived
客户端访问:http://2.2.2.10/
在主-从LVS上查看:
[root@localhost ~]# ipvsadm -Lnc
在主-从LVS上查看:
[root@localhost ~]# ip addr
通常情况下利用keepalived做热备,其中一台设置为master,一台设置为backup。当master出现异常后,backup自动切换为master。当backup成为master后,master恢复正常后会再次抢占成为master,导致不必要的主备切换。因此可以将两台keepalived初始状态均配置为backup,设置不同的优先级,优先级高的设置nopreempt解决异常恢复后再次抢占的问题。
[root@master etc]# cat keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email { //配置联系人邮件地址
*@163.com
}
notification_email_from *@163.com //指定邮件的发送人
smtp_server mail.chinawrr.com //邮件服务器地址
smtp_connect_timeout 30 //连接超时时间
router_id LVS_DEVEL //指定路由器ID号,所有服务器不能相同(用来标识路由器本身)
}
由于某些原因,导致两台keepalived高可用服务器在指定时间内,无法检测到对方存活心跳信息,从而导致互相抢占对方的资源和服务所有权,然而此时两台高可用服务器有都还存活。
可能出现的原因:
1、服务器网线松动等网络故障;
2、服务器硬件故障发生损坏现象而崩溃;
3、主备都开启了firewalld 防火墙。
4、在Keepalived+nginx 架构中,当Nginx宕机,会导致用户请求失败,但是keepalived不会进行切换,
所以需要编写一个检测nginx的存活状态的脚本,如果nginx不存活,则kill掉宕掉的nginx主机上面的keepalived。(所有的keepalived都要配置)
keepalived会定时执行脚本并对脚本执行的结果进行分析,动态调整vrrp_instance的优先级。
如果脚本执行结果为0,并且weight配置的值大于0,则优先级相应的增加
如果脚本执行结果非0,并且weight配置的值小于0,则优先级相应的减少
这里需要注意的是:
1) 优先级不会不断的提高或者降低
2) 可以编写多个检测脚本并为每个检测脚本设置不同的weight
3) 不管提高优先级还是降低优先级,最终优先级的范围是在[1,254],不会出现优先级小于等于0或者优先级大于等于255的情况
这样可以做到利用脚本检测业务进程的状态,并动态调整优先级从而实现主备切换。
vrrp_script checkHaproxy { 定义一个vrrp脚本,后续vrrp组或vrrp实例要执行某脚本时,需要从此处引用。
script "/etc/keepalived/checkHaproxy.sh" 所有vrrp实例都会监控脚本的退出状态码~
weight -4 //优先级减去4(根据该权重值调整vrrp实例优先级值,默认值为0)
timeout 5 //脚本执行等待超时时长,超过该时长,表示脚本执行失败
interval 2 //脚本调用时间间隔,默认1秒
fall 2 //需要失败多少次,vrrp才进行角色状态切换(从正常切换为fault)
rise 2 //需要成功多少次,vrrp才进行角色状态切换(从fault切换为正常)
user USERNAME [GROUPNAME] //脚本执行身份,group默认同username
init_fail //假定脚本初始化时就处于失败状态
}
vrrp_script 里的script返回值为0时认为检测成功,其它值都会当成检测失败;
weight 为正时,脚本检测成功时此weight会加到priority上,检测失败时不加;
主失败:
主 priority < 从 priority + weight 时会切换。
主成功:
主 priority + weight > 从 priority + weight 时,主依然为主weight 为负时,脚本检测成功时此weight不影响priority,检测失败时priority – abs (weight);
主失败:
主 priority – abs(weight) < 从priority 时会切换主从
主成功:
主 priority > 从priority 主依然为主
state BACKUP:在keepalived中2种模式,分别是master->backup
模式和backup->backup
模式。这两种模式有很大区别。
✔ 在master->backup模式下,一旦主库宕机,虚拟ip会自动漂移到从库,当主库修复后,keepalived启动后,还会把虚拟ip抢占过来,即使设置了非抢占模式(nopreempt)抢占ip的动作也会发生。
✔ 在backup->backup模式下,当主库宕机后虚拟ip会自动漂移到从库上,当原主库恢复和keepalived服务启动后,并不会抢占新主的虚拟ip,即使是优先级高于从库的优先级别,也不会发生抢占。
vrrp_instance VI_1 {
state BACKUP
interface eth0 //对外提供服务的网络接口
virtual_router_id 51 //虚拟路由ID号,同一组设备使用相同ID号
priority 900 //优先级太高了,所以在脚本中直接杀死进程(因为他不会主备切换)
advert_int 1 //主备同步通知间隔
authentication { //认证方式
auth_type PASS //认证类型:pass密码或证书(AH)
auth_pass 1111 //认证密码。所有节点相同
}
unicast_src_ip 192.168.1.2 //如果两节点的上联交换机禁用了组播,则只能采用vrrp单播通告的方式
unicast_peer {
192.168.1.2
}
这里特别注意,在配置的时候unicast_src_ip和unicast_peer一定要手动配置,否则会出现漂移ip挂载两台服务器上的情况,这是因为在服务器网络环境中,路由交换层禁用了ARP的广播限制,造成KEEPALIVE主备协议无法通过广播的方式进行通信,造成主备两台服务器都强占HAVIP地址,出现同时两台服务器都有VIP地址的情况出现,必须通过配置来指定IP的两台服务器间进行通讯。
virtual_ipaddress { //虚拟IP地址,群集地址
192.168.1.254 #dev ens32 //可以设置一个或多个且每个地址占一行(注意这个ip必须与我们在lvs客户端设置的vip相一致)
}
track_script {
checkHaproxy
}
}
配置脚本的原因!
keepalived使用脚本进行健康检查时的相关配置项。例如keepalived+haproxy实现haproxy的高可用。
keepalived分为vrrp实例的心跳检查和后端服务的健康检查。如果要配置后端服务,则后端服务只能是LVS。但vrrp能独立于lvs存在,例如keepalive结合haproxy、mysql等服务实现它们的高可用。
vrrp实例的心跳检查 (lvs,haproxy,mysql…)
(1).除了Haproxy,vrrp只能通过脚本
来实现vrrp的健康检查,并通过vrrp实例脚本结束keepalived进程来中断该实例的心跳通告。此时virtual server部分的配置需省略。
(2).对于LVS,无需使用任何脚本,因为所有keepalived节点会同时对后端服务进行健康检查,并同时从LVS规则中剔除下线的服务。如果所有后端服务都不健康,那就没有必要切换keepalived。
后端RS的健康检查 (只能是LVS)
(1).一般采用TCP_CHECK、HTTP_GET、SSL_GET进行健康检查。
(2).但也能自写脚本进行后端服务的健康检查,这种模式称为MISC_CHECK。
[root@master etc]# cat keepalived/checkHaproxy.sh //检查HA服务器的状态
#!/bin/bash
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then
/bin/systemctl restart haproxy.service
fi
sleep 1
checkItem=`/bin/systemctl is-active haproxy.service`
if [ $checkItem != "active" ]; then
/data/servers/keepalived/etc/rc.d/init.d/keepalived stop //如果haproxy服务没启动就关闭keepalived
fi "可以在检测脚本中增加杀掉keepalived进程(或者停用keepalived服务)的方式,做到业务进程出现问题时完成主备切换"
配置文件
》VRRP synchronization group(s)
# 分别表示切换为主/备/出错(例如监控的eth0坏了)时所执行的脚本。
# 要为脚本传递参数时,使用引号包围整个脚本和参数
notify_master /path/to_master.sh [username [groupname]]
notify_backup /path/to_backup.sh [username [groupname]]
notify_fault "/path/fault.sh VG_1" [username [groupname]]
# notify表示只要状态切换都会调用的脚本,且该脚本是在以上三个脚本执行之后再调用的
# keepalived会自动传递四个参数,因此不要手动为脚本传递参数。
# $1 = "GROUP"|"INSTANCE"
# $2 = vrrp组名称或vrrp实例名
# $3 = 切换的目标状态(MASTER/BACKUP/FAULT)
# $4 = 优先级数值(priority value)
notify /path/notify.sh [username [groupname]]
》VRRP instance(s)部分
# 监控接口,当某接口down掉时,切换为fault状态
track_interface {
eth0
eth1
eth2 weight <-254..254>
...
}
# notify_master/backup/fault/stop分别表示切换为主、备、出错(例如监控的eth0坏了)、vrrp停止时所执行的脚本
# 要为脚本传递参数时,使用引号包围整个脚本和参数
notify_master <STRING>|<QUOTED-STRING> [username [groupname]]
notify_backup <STRING>|<QUOTED-STRING> [username [groupname]]
notify_fault <STRING>|<QUOTED-STRING> [username [groupname]]
notify_stop <STRING> |<QUOTED-STRING> [username [groupname]] # executed when stopping vrrp
# notify表示只要状态切换都会调用的脚本,并且该脚本是在以上三个脚本执行之后再调用的
notify <STRING>|<QUOTED-STRING> [username [groupname]]
》Virtual server(s)部分
·投票被选举成功或失败时执行的脚本
quorum_up <字符串>|<引证-STRING>
quorum_down <字符串>|<QUOTED-STRING>
real_server <IPADDR> <PORT>
{
·当健康检查的后端rs上线、下线时执行的脚本
notify_up <STRING>|<QUOTED-STRING>
notify_down <STRING>|<QUOTED-STRING>
# MISC健康检查类型,该类型通过自定义脚本来检查后端健康状况
MISC_CHECK
{
# 执行哪个脚本来判断后端是否健康
misc_path <STRING>|<QUOTED-STRING>
# Script execution timeout
misc_timeout <INT>
# 指定一个随机延迟时间,防止同时检查所有后端,指定为0时表示禁止该功能。
# 默认启动该功能,默认最大间隔为delay_loop的值。
warmup <INT>
# 如果指定该选项,则根据健康检查脚本的退出状态码动态调整权重值
# 退出状态码为:
# 0: 表示检查成功,不做任何权重修改
# 1: 表示检查失败
# 2-255:表示检查成功,但权重值减2,例如(状态码为255,则设置权重为253)
misc_dynamic
# 指定运行后端健康检查脚本的身份,不指定group时将默认使用username
user USERNAME [GROUPNAME]
}
}
}
脚本
#!/bin/bash //检测一个进程是否运行: killall -0 process-name
if ! killall -0 haproxy &>/dev/null;then
serivce haproxy restart
sleep 1
if ! killall -0 haproxy &>/dev/null;then
service keepalived stop
fi
fi
Young should eat more bitter, if you are not strong, no one can grow up for you!