LVS+Keepalived高可用群集实战部署
文章目录
- 1 LVS+Keepalived
-
- 1.1 LVS---Linux 虚拟服务器
- 1.2 keepalived 及其工作原理
- 1.3 Keepalived 体系主要模块及其作用
- 2 Keepalived 实现原理剖析
- 3 LVS+Keepalived 高可用群集部署
-
- 3.1 环境配置
- 3.1 配置主备负载调度器（192.168.16.16、192.168.16.18相同）
-
- 3.1.1 配置 keeplived（主、备DR服务器上都要设置）
- 3.1.2 启动 ipvsadm 服务
- 3.1.3 调整 proc 响应参数，关闭 Linux 内核的重定向参数响应
- 3.2 部署 NFS 共享服务器
- 3.3 配置节点服务器（两台相同）
- 3.5 客户机访问
- 总结
1 LVS+Keepalived
1.1 LVS—Linux 虚拟服务器
Linux 虚拟服务器(Linux Virtual Server)：LVS 实际上相当于基于 IP 地址的虚拟化应用， 为基于 IP 地址和内容请求分发的负载均衡提出了一种高效的解决方法
1.2 keepalived 及其工作原理
Keepalived 是一个基于 VRRP 协议来实现的 LVS 服务高可用方案，可以解决静态路由出现的单点故障问题。
Keepalived 工具支持故障自动切换（Failover）；支持节点健康状态检查（Health Checking）
判断 LVS 负载调度器、节点服务器的可用性，当 master 主机出现故障及时切换到 backup 节点保证业务正常，当 master 故障主机恢复后将其重新加入群集并且业务重新切换回 master 节点。
在一个 LVS 服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器，但是对外表现为一个虚拟 IP，主服务器会发送 VRRP 通告信息给备份服务器，当备份服务器收不到 VRRP 消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟 IP，继续提供服务，从而保证了高可用性。
1.3 Keepalived 体系主要模块及其作用
keepalived体系架构中主要有三个模块，分别是 core、check 和 vrrp
- core 模块：为 keepalived 的核心，负责主进程的启动、维护及全局配置文件的加载和解析。
- vrrp 模块：是来实现 VRRP 协议的。
- check 模块：负责健康检查，常见的方式有端口检查及URL检查。
2 Keepalived 实现原理剖析
-
keepalived 采用 VRRP 热备份协议实现 Linux 服务器的多机热备功能
-
VRRP（虚拟路由冗余协议）是针对路由器的一种备份解决方案。
-
由多台路由器组成一个热备份组，通过共用的虚拟IP地址对外提供服务
-
每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态
-
若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务
3 LVS+Keepalived 高可用群集部署
3.1 环境配置
| 主机 | 操作系统 | IP地址 | 软件/安装包/工具 |
|---|---|---|---|
| 主DR服务器 | CentOS7 | 192.168.16.16 | ipvsadm、keepalived |
| 备DR服务器 | CentOS7 | 192.168.16.18 | ipvsadm、keepalived |
| NFS服务器 | CentOS7 | 192.168.16.20 | rpcbind、nfs-utils |
| Web 服务器1 | CentOS7 | 192.168.16.22 | rpcbind、nfs-utils、httpd |
| Web 服务器1 | CentOS7 | 192.168.16.24 | rpcbind、nfs-utils、httpd |
| VIP | 192.168.16.100 | —— | |
| 客户机 | Window7 | 192.168.16.200 | —— |
3.1 配置主备负载调度器（192.168.16.16、192.168.16.18相同）
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
yum -y install ipvsadm keepalived
modprobe ip_vs #加载ip_vs模块
cat /proc/net/ip_vs #查看ip_vs版本信息
3.1.1 配置 keeplived（主、备DR服务器上都要设置）
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf
......
global_defs { #定义全局参数
10行修改，邮件服务指向本地
smtp_server 127.0.0.1
注释掉后面四行
12行修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
router_id LVS_01
14行修改，vrrp_strict：严格遵守VRRP协议。下列情况将会阻止启动Keepalived：1. 没有VIP地址。2. 单播邻居。3. 在VRRP版本2中有IPv6地址。
#vrrp_strict #加注释
}
vrrp_instance VI_1 { #定义VRRP热备实例参数
20行修改，指定热备状态，主为MASTER，备为BACKUP
state MASTER
21行修改，指定承载vip地址的物理接口
interface ens33
22行修改，指定虚拟路由器的ID号，每个热备组保持一致
virtual_router_id 10
23行修改，指定优先级，数值越大优先级越高，主为100，备为99
priority 100
advert_int 1 #通告间隔秒数(心跳频率)
authentication { #定义认证信息,每个热备组保持一致
auth_type PASS #认证类型
27行修改，指定验证密码，主备服务器保持一致
auth_pass 121212
}
virtual_ipaddress { #指定群集vip地址
192.168.16.100
}
}
34行修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.16.100 80 {
delay_loop 6 #健康检查的间隔时间(秒)
lb_algo rr #指定调度算法，轮询(rr)
37行修改，指定群集工作模式，直接路由(DR)
lb_algo rr
lb_kind DR
persistence_timeout 50 #连接保持时间(秒)
protocol TCP #应用服务采用的是 TCP协议
41行修改，指定第一个Web节点的地址、端口
real_server 192.168.16.22 80 {
weight 1 #节点的权重
43行删除，添加以下健康检查方式
TCP_CHECK {
connect_port 80 #添加检查的目标端口
connect_timeout 3 #添加连接超时(秒)
nb_get_retry 3 #添加重试次数
delay_before_retry 3 #添加重试间隔
}
}
real_server 192.168.16.24 80 { #添加第二个 Web节点的地址、端口
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
删除后面多余的配置
systemctl start keepalived #启动服务
ip addr show dev ens33 #查看虚拟网卡vip
scp keepalived. conf 192.168.16.18: `pwd`
3.1.2 启动 ipvsadm 服务
------------192.168.16.16-----------
ipvsadm-save > /etc/sysconfig/ipvsadm #保存负载分配策略
systemctl start ipvsadm #开启服务，开启前需保存
ipvsadm -C #清空分配策略
ipvsadm -A -t 192.168.16.16:80 -s rr #这里指定的虚拟IP为ens33网卡ip，重启keepliaved后会自动绑定虚拟网卡
ipvsadm -a -t 192.168.16.16:80 -r 192.168.16.22:80 -g
ipvsadm -a -t 192.168.16.16:80 -r 192.168.16.24:80 -g
ipvsadm #启用策略
ipvsadm -ln #如没有VIP 的分发策略，则重启 keepalived 服务，systemctl restart keepalived
------------192.168.16.18-----------
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm
ipvsadm -ln
3.1.3 调整 proc 响应参数，关闭 Linux 内核的重定向参数响应
vim /etc/sysctl.conf #修改linux内核配置
#关闭重定向功能
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
sysctl -p #加载/etc/sysctl.conf配置参数
3.2 部署 NFS 共享服务器
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
yum -y install nfs-utils rpcbind
systemctl start rpcbind.service
systemctl start nfs.service
systemctl enable nfs.service
systemctl enable rpcbind.service
mkdir /opt/kgc
mkdir /opt/roro
chmod 777 /opt/kgc
chmod 777 /opt/roro
vim /etc/exports
/opt/lic 192.168.16.0/24(rw,sync)
/opt/kiki 192.168.16.0/24(rw,sync)
exportfs -rv
3.3 配置节点服务器（两台相同）
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
yum -y install httpd
systemctl start httpd
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.16.100
NETMASK=255.255.255.255
service network restart 或 systemctl restart network
ifup lo:0
ifconfig lo:0
route add -host 192.168.16.100 dev lo:0
vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
sysctl -p
Web-Server1（192.168.16.22）
showmount -e 192.168.16.22
mount.nfs 192.168.16.22:/opt/kgc /var/www/html
echo 'this is kgc web!' > /var/www/html/index.html
Web-Server2（192.168.16.24）
mount.nfs 192.168.16.24:/opt/roro /var/www/html
echo 'this is roro web!' > /var/www/html/index.html
3.5 客户机访问
访问192.168.16.100，隔一段时间进行刷新，轮询显示
将主调度服务器keepalived服务关闭，再次验证，仍然可以访问到页面
systemctl stop keepalived
总结
Keepalived通过什么判断哪台主机为主服务器,通过什么方式配置浮动IP？
答案:
Keepalived首先做初始化先检查state状态，master为主服务器，backup为备服务器。
然后再对比所有服务器的priority，谁的优先级高谁是最终的主服务器。
优先级高的服务器会通过ip命令为自己的电脑配置一个提前定义好的浮动IP地址。
keepalived的抢占与非抢占模式：
抢占模式即MASTER从故障中恢复后，会将VIP从BACKUP节点中抢占过来。非抢占模式即MASTER恢复后不抢占BACKUP升级为MASTER后的VIP
非抢占式俩节点state必须为bakcup，且必须配置nopreempt。
注意：这样配置后，我们要注意启动服务的顺序，优先启动的获取master权限，与优先级没有关系了。