LVS+Keepalived 群集部署
目录
前言：
一、Keepalived 概述
1.1 keepalived 服务重要功能
1.1.1 管理 LVS 负载均衡软件
1.1.2 支持故障自动切换（Failover）
1.1.3 实现 LVS 集群中节点的健康检查（Health Checking）
1.1.4 实现 LVS 负载调度器、节点服务器的高可用性（HA）
1.2 keepalived 高可用故障切换转移原理
1.3 VRRP通信原理
1.4 keepalived 体系主要模块及其作用
1.5 Keepalived服务的工作原理
二、keepalived脑裂及解决办法
2.1 keepalived脑裂
2.2 脑裂的原因
2.3 应对策略
三、LVS + DR + Keepalived 高可用集群构建
3.1 集群概述
3.2 架构图示例
3.3 案例配置
3.4 正式部署
3.4.1 配置负载调度器（主、备相同；192.168.223.9；192.168.223.10）
3.4.2 配置节点服务器（192.168.223.11；192.168.223.12）
3.4.3 测试验证
四、总结
前言：
企业应用中，单台服务器承担应用存在单点故障的危险，单点故障一旦发生，企业服务将发生中断，造成极大的危害和损失。Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。
一、Keepalived 概述
keepalived 软件起初是专为 LVS 负载均衡软件设计的，用来管理并监控 LVS 集群中各个服务节点的状态，后来又加入了可以实现高可用的 VRRP 功能。因此，keepalived 除了能够管理 LVS 集群外，还可以为其他服务（例如：Nginx、Haproxy、MySQL等）实现高可用。
keepalived 软件主要是通过 VRRP 协议实现高可用功能的。VRRP 是 Virtual Router Redundancy Protocol（虚拟路由器冗余协议）的缩写，VRRP 出现的目的就是为了解决静态路由单点故障的问题，它能够保证当个别节点宕机时，整个网络可以不间断地运行。
所以，keepalived 一方面具有配置管理 LVS 的功能，同时还具有对 LVS 下面节点进行健康检查的功能，另一方面也可实现系统网络服务的高可用。
1.1 keepalived 服务重要功能
1.1.1 管理 LVS 负载均衡软件
早期的LVS软件，需要通过命令行或脚本实现管理，并且没有针对LVS节点的健康检查功能。为了解决LVS的这些使用不便问题，Keepalived诞生了，可以说，Keepalived软件起初是专为解决LVS的问题而诞生的。因此，Keepalived和LVS的感情很深，他们的关系如同夫妻一样，可以紧密地结合，愉快地工作。Keepalived可以通过读取自身的配置文件，实现通过更底层的接口直接管理LVS的配置以及控制服务的启动，停止功能，这使得LVS的应用更加简单方便了。
1.1.2 支持故障自动切换（Failover）
Keepalived可以实现任意两台主机之间，例如Master和Backup主机之间的故障转移和自动切换，这个主机可以是普通的不能停机的业务服务器，也可以是LVS负载均衡，Nginx反向代理这样的服务器。
Keepalived高可用功能实现的简单原理为，两台主机同时安装好Keepalived软件并启动服务，开始正常工作时，由角色为Master的主机获得所有资源并对用户提供服务，角色为Backup的主机作为Master主机的热备；当角色为Master的主机失效或出现故障时，角色为Backup的主机将自动接管Master主机的所有工作，包括接管VIP资源及相应资源服务；而当角色为Master的主机故障修复后，又会自动接管回它原来处理的工作，角色为Backup的主机则同时释放Master主机失效时它接管的工作，此时，两台主机将恢复到最初启动时各自的原始角色及工作状态。
Keepalived软件的官方站点是http://www.keepalived.org
1.1.3 实现 LVS 集群中节点的健康检查（Health Checking）
Keepalived可以通过在自身的Keepalived.conf文件里配置LVS的节点IP和相关参数实现对LVS的直接管理；除此之外，当LVS集群中的某一个甚至是几个节点服务器同时发生故障无法提供服务时，Keepalived服务会自动将失效的节点服务器从LVS的正常转发队列中清除出去，并将请求调度到别的正常节点服务器上，从而保证最终用户的访问不受影响；当故障的节点服务器被修复以后，Keepalived服务又会自动地把它们加入到正常转发队列中，对客户提供服务。
1.1.4 实现 LVS 负载调度器、节点服务器的高可用性（HA）
一般企业集群需要满足的三个特点：负载均衡、健康检查、故障切换，使用 LVS + Keepalived 完全可以满足需求。
1.2 keepalived 高可用故障切换转移原理
keepalived 高可用服务对集群之间的故障切换转移，是通过 VRRP（虚拟路由器冗余协议）来实现的。
在 keepalived 服务正常工作时，主（Master）节点会不断地向备（Backup）节点发送（多播的方式）心跳消息，用以告诉备节点自己还活看，当主节点发生故障时，就无法发送心跳消息，备节点也就因此无法继续检测到来自主节点的心跳了，于是调用自身的接管程序，接管主节点的 IP 资源及服务。而当主节点恢复时，备节点又会释放主节点故障时自身接管的 IP 资源及服务，恢复到原来的备用角色。
1.3 VRRP通信原理
- VRRP也就是虚拟路由冗余协议，它的出现就是为了解决静态路由的单点故障。
- VRRP是通过一种竞选协议机制来将路由任务交给某台VRRP路由器的。
- VRRP用IP多播的方式（默认多播地址（224.0.0.18））实现高可用之间通信。
- 工作时主节点发包，备节点接包，当备节点接收不到主节点发的数据包的时候，就启动接管程序接管主节点的资源。备节点可以有多个，通过优先级竞选，但一般Keepalived系统运维工作中都是一对。
- VRRP使用了加密协议加密数据，但Keepalived官方目前还是推荐用明文的方式配置认证类型和密码。
1.4 keepalived 体系主要模块及其作用
| keepalived 的主要模块 | 作用 |
| core 模块 | 为 keepalived 的核心，负责主进程的启动、维护及全局配置文件的加载和解析 |
| vrrp 模块 | 是来实现 VRRP 协议的 |
| check 模块 | 负责健康检查，常见的方式有端口检查及 UR L检查 |
1.5 Keepalived服务的工作原理
Keepalived高可用之间是通过VRRP进行通信的，VRRP是通过竞选机制来确定主备的，主的优先级高于备，因此，工作时主会优先获得所有的资源，备节点处于等待状态，当主挂了的时候，备节点就会接管主节点的资源，然后顶替主节点对外提供服务。
在Keepalived服务之间，只有作为主的服务器会一直发送VRRP广播包，告诉备它还活着，此时备不会抢占主，当主不可用时，即备监听不到主发送的广播包时，就会启动相关服务接管资源，保证业务的连续性。接管速度最快可以小于1秒。
二、keepalived脑裂及解决办法
2.1 keepalived脑裂
在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、2边“服务”都起不来了；或者2边“服务”都起来了，但同时读写“共享存储”，导致数据损坏（常见如数据库轮询着的联机日志出错）。
2.2 脑裂的原因
- 高可用服务器对之间心跳线链路发生故障，导致无法正常通信。如心跳线坏了（包括断了，老化）。
- 因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）。
- 因心跳线间连接的设备故障（网卡及交换机）。
- 因仲裁的机器出问题（采用仲裁的方案）。
- 高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输。
- Keepalived配置里同一 VRRP实例如果 virtual_router_id两端参数配置不一致也会导致裂脑问题发生。
- vrrp实例名字不一致、优先级一致。
2.3 应对策略
- 添加冗余的心跳线，例如：双线条线（心跳线也HA），尽量减少“裂脑”发生几率
- 启用磁盘锁。正在服务一方锁住共享磁盘，“裂脑”发生时，让对方完全“抢不走”共享磁盘资源。但使用锁磁盘也会有一个不小的问题，如果占用共享盘的一方不主动“解锁”，另一方就永远得不到共享磁盘。现实中假如服务节点突然死机或崩溃，就不可能执行解锁命令。后备节点也就接管不了共享资源和应用服务。于是有人在HA中设计了“智能”锁。即：正在服务的一方只在发现心跳线全部断开（察觉不到对端）时才启用磁盘锁。平时就不上锁了。
- 设置仲裁机制。例如设置参考IP（如网关IP），当心跳线完全断开时，2个节点都各自ping一下参考IP，不通则表明断点就出在本端。不仅“心跳”、还兼对外“服务”的本端网络链路断了，即使启动（或继续）应用服务也没有用了，那就主动放弃竞争，让能够ping通参考IP的一端去起服务。更保险一些，ping不通参考IP的一方干脆就自我重启，以彻底释放有可能还占用着的那些共享资源。
- 利用脚本检测、报警。
vim check_keepalived.sh
#!/bin/bash
$ip=192.168.233.9
while true
do
if [ `ip a show ens33 |grep $ip|wc -l` -ne 0 ]
then echo "keepalived is error!"
else echo "keepalived is OK !"
fi
done三、LVS + DR + Keepalived 高可用集群构建
3.1 集群概述
- keepalived 的设计目标是构建高可用的 LVS 负载均衡集群，可以调用 ipvsadm 工具来创建虚拟服务器、管理服务器池，而不仅仅用作双机热备。
- 使用 keepalived 构建 LVS 集群更加简便易用，主要优势在于：对 LVS 负载调度器实现热备切换，提高可用性；对服务器池中的节点进行健康检查，自动移除失效节点，恢复后再重新加入。
- 案列将以 DR 模式的 LVS 集群为基础，增加一台从负载调度器，使用 keepalived 实现主、从调度器的热备，搭建兼有负载均衡、高可用性两种能力的 LVS 集群架构。
- 使用 keepalived 构建 LVS 集群时，也需要用到 ipvsadm 管理工具，但大部分工作会由 keepalived 自动完成，不需要手动执行 ipvsadm （除了查看和监控集群以外）。
3.2 架构图示例
3.3 案例配置
| 服务器 | IP |
| 主 DR 服务器 | 192.168.223.9 |
| 从 DR 服务器 | 192.168.223.10 |
| VIP | 192.168.223.200 |
| Web 服务器 1 | 192.168.223.11 |
| Web 服务器 2 | 192.168.223.12 |
| NFS 服务器 | 案例非必要，在此没有配置 |
| Win10 客户端 | 192.168.223.100 |
3.4 正式部署
3.4.1 配置负载调度器（主、备相同；192.168.223.9；192.168.223.10）
systemctl stop firewalld.service
setenforce 0
yum -y install ipvsadm keepalived
modprobe ip_vs
cat /proc/net/ip_vs
(1)配置keeplived（主、备DR 服务器上都要设置）
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf
......
global_defs { #定义全局参数
--10行--修改，邮件服务指向本地
smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
router_id LVS_01
}
vrrp_instance VI_1 { #定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUP
state MASTER
--21行--修改，指定承载vip地址的物理接口
interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致
virtual_router_id 10
--23行--修改，指定优先级，数值越大优先级越高，主为100，备为99
priority 100
advert_int 1 #通告间隔秒数(心跳频率)
authentication { #定义认证信息,每个热备组保持一致
auth_type PASS #认证类型
--27行--修改，指定验证密码，主备服务器保持一致
auth_pass 123456
}
virtual_ipaddress { #指定群集vip地址
192.168.223.200
}
}
--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.223.200 80 {
delay_loop 6 #健康检查的间隔时间(秒)
lb_algo rr #指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)
lb_kind DR
persistence_timeout 50 #连接保持时间(秒)
protocol TCP #应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口
real_server 192.168.223.11 80 {
weight 1 #节点的权重
--45行--删除，添加以下健康检查方式
TCP_CHECK {
connect_port 80 #添加检查的目标端口
connect_timeout 3 #添加连接超时(秒)
nb_get_retry 3 #添加重试次数
delay_before_retry 3 #添加重试间隔
}
}
real_server 192.168.223.12 80 { #添加第二个 Web节点的地址、端口
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
##删除后面多余的配置##
}
systemctl start keepalived
ip addr show dev ens33 #查看虚拟网卡vip
(2)配置分发策略（#keepalived配置好后，可以不用再配ipvsadm 分发策略）
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm
ipvsadm -C
ipvsadm -A -t 192.168.223.200:80 -s rr
ipvsadm -a -t 192.168.223.200:80 -r 192.168.223.11:80 -g
ipvsadm -a -t 192.168.223.200:80 -r 192.168.223.12:80 -g
ipvsadm
ipvsadm -ln
ipvsadm-save > /etc/sysconfig/ipvsadm
#如果没有vip的分发策略。则重启keepalived 服务
(3) 调整内核 proc 响应参数，关闭linux内核的重定向参数响应
vim /etc/sysctl.conf
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
sysctl -p
注：记得也要在备用DR 服务器进行相关操作，其中需要修改的配置文件内容如下图，其它地方保持不变
先将配置的文件远程复制过去进行修改
3.4.2 配置节点服务器（192.168.223.11；192.168.223.12）
systemctl stop firewalld
setenforce 0
yum -y install httpd
systemctl start httpd
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.116.200
NETMASK=255.255.255.255
service network restart 或 systemctl restart network
ifup lo:0
ifconfig lo:0
route add -host 192.168.116.200 dev lo:0
vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
sysctl -p
--192.168.223.11---
echo "lichen shayebuhui" > /var/www/html/index.html
--192.168.223.12---
echo "zhangbin youshoujiuxing" > /var/www/html/index.htmlweb 服务器 1
web 服务器 2 的配置与服务器1 一样
3.4.3 测试验证
在客户端访问 http://192.168.223.200/ ，默认网关指向 192.168.223.200
再在主服务器关闭 keepalived 服务后在测试,systemctl stop keepalived
四、总结
1.keepalived的主要功能和工作原理
2.keepalived主从服务器的区别
3.构建负载均衡、高可用群集
4.介绍了脑裂是什么，怎么出现的，怎么解决