LVS+Keepalived 高可用群集
目录
一、Keepalived工具介绍
二、Keepalived实现原理剖析
2.1VRRP （虚拟路由冗余协议）
三、Keepalived案例讲解编辑
四、LVS+Keepalived 高可用群集的搭建
4.1 部署2台web服务器
4.1.1 第一台web节点服务器（172.16.10.10/24），VIP：172.16.10.21/32
4.1.2 第二台web节点服务器（172.16.10.20/24），VIP：172.16.10.21/32
4.2 部署2台负载调度器
小贴士：
五、keepalived 一种典型性的故障现象：脑裂
六、总结
一、Keepalived工具介绍
专为LVS和HA设计的一款健康检查工具
支持故障自动切换(Failover)
支持节点健康状态检查(Health Checking)
官方网站: http://www.keepalived.orgl
二、Keepalived实现原理剖析
Keepalived采用VRRP热备份协议实现Linux服务器的多机热备功能
二、Keepalived实现原理剖析
-
Keepalived采用VRRP热备份协议实现Linux服务器的多机热备功能
2.1VRRP （虚拟路由冗余协议）
是针对路由器的一种备份解决方案
由多台路由器组成一个热备组，通过共用的虚拟IP地址对外提供服务
每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态
若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务
三、Keepalived案例讲解
-
Keepalived可实现多机热备,每个热备组可有多台服务器
-
双机热备的故障切换是由虚拟P地址的漂移来实现,适用于各种应用服务器
-
Keepalived配置目录位于/etc/keepalived/
-
配置Keepalived master服务器
keepalived.conf是主配置文件
global_defs {...}区段指定全局参数
vrrp_instance 实例名称{...}区段指定VRRP热备参数
注释文字以"∵"符号开头
目录samples，提供了许多配置样例作为参考常用配置选项
router_id HA_TEST_R1:本路由器(服务器)的名称、主备名称要不一样
vrrp_instance Vl_1∶定义VRRP热备实例
state MASTER:热备状态,MASTER表示主服务器
interface ens33:承载VIP地址的物理接口
virtual_router_id 1 :虚拟路由器的ID号,每个热备组保持一致
priority 100:优先级,数值越大优先级越高
advert_int 1:通告间隔秒数(心跳频率)
auth_type PASS:认证类型
auth_pass 123456:密码字串
virtual_ipaddress { vip}:指定漂移地址(VIP),可以有多个- 配置Keepalived slave服务器
Keepalived备份服务器的配置与master的配置有三个选项不同
router_id:设为自有名称
state:设为BACKUP
priority:值低于主服务器其他选项与master相同
- 测试双机热备的效果
router_id:设为自有名称
state:设为BACKUP
priority:值低于主服务器四、LVS+Keepalived 高可用群集的搭建
环境
主DR 服务器：172.16.10.101
备DR 服务器：172.16.10.200
Web 服务器1：172.16.10.10
Web 服务器2：172.16.10.20
4.1 部署2台web服务器
4.1.1 第一台web节点服务器（172.16.10.10/24），VIP：172.16.10.21/32
1、#关闭防火墙
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
2、#安装httpd，开启服务
[root@localhost ~]# mount /dev/sr0 /mnt //挂载光盘
mount: /dev/sr0 写保护，将以只读方式挂载
[root@localhost ~]# yum install httpd -y //安装httpd服务
[root@localhost ~]# systemctl start httpd //开启httpd服务
3、#配置虚拟IP地址（VIP:172.16.10.21），添加虚接口lo:0。
#此地址仅用作发送We响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。
#因此使用虚接口lo:0来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。
[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vim ifcfg-lo:0 //设置虚接口lo:0
DEVICE=lo:0
IPADDR=172.16.10.21
NETMASK=255.255.255.255 //子网掩码必须全为1（即32个1）
ONBOOT=yes
[root@localhost network-scripts]# ifup lo:0 //启动虚接口
[root@localhost network-scripts]# ifconfig lo:0 //查看虚接口的信息
4、#添加路由记录，dev指定出站网卡
[root@localhost ~]# route add -host 172.16.10.21 dev lo:0
[root@localhost ~]# route -n //以数字形式显示路由信息
#可以将添加路由的命令写入开机自启配置文件中，每次开机后自动执行
[root@localhost ~]# vim /etc/rc.local
/sbin/route add -host 172.16.10.21 dev lo:0
[root@localhost ~]# chmod +x /etc/rc.d/rc.local
5、#调整内核的ARP响应参数
#arp_ignore=1，使本机只响应目的IP为本地物理网卡IP的ARP请求。
#arp_announce=2，使本机系统采用发送接口的IP作为ARP请求报文源地址。
[root@localhost ~]# vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@localhost ~]# sysctl -p //刷新配置，读取修改后的配置
6、#创建站点文件
[root@localhost ~]# echo "zyy is a boy" > /var/www/html/index.html
[root@localhost ~]# cat /var/www/html/index.html
zyy is a boy
添加VIP地址
添加路由记录，指定出站网卡
4.1.2 第二台web节点服务器（172.16.10.20/24），VIP：172.16.10.21/32
1、#关闭防火墙
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
2、#安装httpd，开启服务
[root@localhost ~]# mount /dev/sr0 /mnt //挂载光盘
mount: /dev/sr0 写保护，将以只读方式挂载
[root@localhost ~]# yum install httpd -y //安装httpd服务
[root@localhost ~]# systemctl start httpd //开启httpd服务
3、#配置虚拟IP地址（VIP:172.16.10.21），添加虚接口lo:0。
#此地址仅用作发送We响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。
#因此使用虚接口lo:0来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。
[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vim ifcfg-lo:0 //设置虚接口lo:0
DEVICE=lo:0
IPADDR=172.16.10.21
NETMASK=255.255.255.255 //子网掩码必须全为1（即32个1）
ONBOOT=yes
[root@localhost network-scripts]# ifup lo:0 //启动虚接口
[root@localhost network-scripts]# ifconfig lo:0 //查看虚接口的信息
4、#添加路由记录，dev指定出站网卡
[root@localhost ~]# route add -host 172.16.10.21 dev lo:0
[root@localhost ~]# route -n //以数字形式显示路由信息
#可以将添加路由的命令写入开机自启配置文件中，每次开机后自动执行
[root@localhost ~]# vim /etc/rc.local
/sbin/route add -host 172.16.10.21 dev lo:0
[root@localhost ~]# chmod +x /etc/rc.d/rc.local
5、#调整内核的ARP响应参数
#arp_ignore=1，使本机只响应目的IP为本地物理网卡IP的ARP请求。
#arp_announce=2，使本机系统采用发送接口的IP作为ARP请求报文源地址。
[root@localhost ~]# vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@localhost ~]# sysctl -p //刷新配置，读取修改后的配置
6、#创建站点文件
[root@localhost ~]# echo "gzl is a girl" > /var/www/html/index.html
[root@localhost ~]# cat /var/www/html/index.html
gzl is a girl
4.2 部署2台负载调度器
主DR调度器：172.16.10.101/24
备DR调度器：172.16.10.200/24
两台调度器配置步骤相同，配置文件的参数有所不同。
1、#关闭防火墙和selinux
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
2、#安装ipvsadm工具和keepalived工具，加载ip_vs模块
[root@localhost ~]# yum -y install ipvsadm keepalived
[root@localhost ~]# modprobe ip_vs //加载ip_vs模块
[root@localhost ~]# cat /proc/net/ip_vs //查看ip_vs模块的版本
3、#找到keeplived配置文件，进行备份（主、备DR 服务器上都要设置）
[root@localhost ~]# rpm -qc keepalived
/etc/keepalived/keepalived.conf //配置文件位置
/etc/sysconfig/keepalived
[root@localhost ~]# cd /etc/keepalived/
[root@localhost keepalived]# cp keepalived.conf keepalived.conf.bak //备份配置文件
[root@localhost keepalived]# ls
keepalived.conf keepalived.conf.bak
4、#修改keeplived配置文件（主、备DR 服务器上都要设置）
[root@localhost keepalived]# vim keepalived.conf
......
#定义全局参数
global_defs {
smtp_server 127.0.0.1 #修改这一行，将邮件服务指向本地
router_id LVS_01 #指定服务器的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
#vrrp_skip_check_adv_addr
#vrrp_strict
#vrrp_garp_interval 0
#vrrp_gna_interval 0
#将以上四行vrrp的配置注释掉， 取消严格遵守VRRP协议功能，否则VIP无法被连接
}
#定义VRRP热备实例参数
vrrp_instance VI_1 {
state MASTER #指定热备状态，主为MASTER，备为BACKUP。但真正的主备是用优先级区分。
interface ens33 #指定承载vip地址的物理接口
virtual_router_id 51 #指定虚拟路由器的ID号，每个热备组保持一致。默认为51
#nopreempt #如果设置非抢占模式，两个节点state必须为bakcup，并加上配置nopreempt
priority 100 #指定优先级，数值越大优先级越高，这里设置主为100，备为90
advert_int 1 #通告间隔秒数(心跳频率)
authentication { #定义认证信息,每个热备组保持一致
auth_type PASS #认证类型
auth_pass abc123 #指定验证密码，主备服务器保持一致
}
virtual_ipaddress { #指定群集vip地址
172.16.10.21
}
}
#指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 172.16.10.21 80 {
delay_loop 6 #健康检查的间隔时间(秒)
lb_algo rr #指定调度算法，轮询(rr)
lb_kind DR #指定群集工作模式，直接路由(DR)
persistence_timeout 0 #连接保持时间(秒)
protocol TCP #应用服务采用的是 TCP协议
real_server 172.16.10.10 80 { #添加第一个Web节点的地址、端口
weight 1 #节点的权重
# SSL_GET { #注释掉这个健康检查的方式，默认SSL_GET，我们采用TCP_CHECK
#url {
# path /
# digest ff20ad2481f97b1754ef3e12ecd3a9cc
# }
# url {
# path /mrtg/
# digest 9b3a0c85a887a256d6939da88aabd8cd
TCP_CHECK { #采用TCP_CHECK健康检查的方式
connect_port 80 #添加检查的目标端口
connect_timeout 3 #添加连接超时(秒)
nb_get_retry 3 #添加重试次数
delay_before_retry 3 #添加重试间隔
}
}
real_server 172.16.10.20 80 { #添加第二个Web节点的地址、端口
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
##删除后面多余的配置##
5、#启动eepalived服务
[root@localhost keepalived]# systemctl start keepalived
[root@localhost keepalived]# ip addr #查看虚拟网卡vip
6、#保存调度策略，启动 ipvsadm 服务
[root@localhost keepalived]# ipvsadm-save > /etc/sysconfig/ipvsadm
[root@localhost keepalived]# systemctl start ipvsadm
[root@localhost keepalived]# ipvsadm -ln //查看调度策略
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.16.10.21:80 rr persistent 50
-> 172.16.10.10:80 Route 1 0 0
-> 172.16.10.20:80 Route 1 0 0
#如没有VIP 的分发策略，则重启 keepalived 服务，systemctl restart keepalived
7、#调整 proc 响应参数，关闭Linux内核的重定向参数响应。
#由于LVS负载调度器和各节点需要共用VIP地址，需要关闭icmp的重定向，关闭路由转发功能，不充当路由器
[root@localhost keepalived]# vim /etc/sysctl.conf
[root@localhost keepalived]# sysctl -p //刷新配置，读取修改后的配置
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
8、#主调度器将配置文件传给备调度器。
[root@localhost keepalived]# scp keepalived.conf 172.16.10.200:`pwd`
9、#备调度器修改配置文件，修改为"router_id LVS_02"、"state BACKUP"、"priority 90"，其他参数和主调度器保持一致。
[root@localhost]# vim keepalived.conf
global_defs {
......
router_id LVS_02 #指定服务器的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
}
vrrp_instance VI_1 {
......
state BACKUP #指定热备状态，主为MASTER，备为BACKUP。
priority 90 #指定优先级，数值越大优先级越高，这里设置主为100，备为90
.......
}
用客户机访问VIP查看
小贴士：
keepalived是通过ip命令自动生成VIP的。
当主调度器进行工作时，则在主调度器中通过ip命令生成VIP。当备调度器工作时，则在备调度器中生成VIP。
五、keepalived 一种典型性的故障现象：脑裂
脑裂现象：
主备调度器通过内网交换机连接，如果交换机挂了，则此时主调度器仍存活，但备份调度器收不到主调度器的VRRP信息，备调度器就会工作，两台调度器就会同时工作，出现脑裂现象。
主备调度器同时工作，如果web是无状态应用，那么客户端无论从哪一个调度器进行访问，页面内容相同。但如果是有状态应用，则两台调度器同时工作，会导致客户端显示的页面资源不一致。
解决脑裂问题的方法：
1、主备调度器多连一条线，即使交换机挂了，这两个还可以通信。
2、通过第三方监控软件，当发现两台调度器同时工作，则杀掉主调度器。
3、自己写一个脚本，例如crontab和while死循环执行，当监控到备调度器工作了，就杀掉主调度器的keepalived服务。
六、总结
Keepalived通过什么判断哪台主机为主服务器，通过什么方式配置浮动IP？
Keepalived首先做初始化先检查state状态，master为主服务器，backup为备服务器。
然后再对比所有服务器的priority，谁的优先级高谁是最终的主服务器。
优先级高的服务器会通过ip命令，为自己配置一个提前定义好的浮动IP地址。
keepalived的抢占与非抢占模式：
抢占模式即MASTER从故障中恢复后，会将VIP从BACKUP节点中抢占过来。非抢占模式即MASTER恢复后，不抢占BACKUP升级为MASTER后的VIP。
非抢占式俩节点的state必须都设置为bakcup，且必须配置nopreempt。
注意： 这样配置后，我们要注意启动服务的顺序，优先启动的获取master权限，与优先级没有关系了。