LVS+Keepalived 群集部署

引言

Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。

一、Keepalived 概述

• keepalived 软件起初是专为 LVS 负载均衡软件设计的，用来管理并监控 LVS集群中各个服务节点的状态，后来又加入了可以实现高可用的 VRRP 功能。因此，keepalived 除了能够管理 LVS集群外，还可以为其他服务（例如：Nginx、Haproxy、MySQL等）实现高可用。

• keepalived 软件主要是通过 VRRP 协议实现高可用功能的。VRRP 是 Virtual Router Redundancy Protocol（虚拟路由器冗余协议）的缩写，VRRP出现的目的就是为了解决静态路由单点故障的问题，它能够保证当个别节点宕机时，整个网络可以不间断地运行。

所以，keepalived 一方面具有配置管理 LVS 的功能，同时还具有对 LVS 下面节点进行健康检查的功能，另一方面也可实现系统网络服务的高可用。

1、什么是Keepalived

Keepalived是一款专为LVS和HA设计的一款健康检查工具：支持故障自动切换、支持节点健康状态检查
官方地址：www.keepalived.org

2、Keepalived工作原理

• Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题
• 在一个LVS服务集群中通常有**主服务器（MASTER）和备份服务器（BACKUP）**两种角色的服务器，但是对外表现为个虚拟IP，主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。
• 在Keepalived服务之间，只有作为主的服务器会一直发送VRRP广播包，告诉备它还活着，此时备不会抢占主，当主不可用时，即备监听不到主发送的广播包时，就会启动相关服务接管资源，保证业务的连续性。接管速度最快可以小于1秒。

3、keepalived 体系主要模块及其作用

keepalived体系架构中主要有三个模块，分别是core、check和vrrp。

1. core模块:为keepalived的核心，负责主进程的启动、维护及全局配置文件的加载和解析。
2. vrrp模块:是来实现VRRP协议的。
3. check模块:负责健康检查，常见的方式有端口检查及URL检查。

4、keepalived 服务重要功能

4.1 管理 LVS 负载均衡软件

Keepalived可以通过读取自身的配置文件，实现通过更底层的接口直接管理LVS的配置以及控制服务的启动，停止功能。

4.2 支持故障自动切换（Failover）

Keepalived可以实现任意两台主机之间，例如Master和Backup主机之间的故障转移和自动切换，这个主机可以是普通的不能停机的业务服务器，也可以是LVS负载均衡，Nginx反向代理这样的服务器。

Keepalived高可用功能实现的简单原理为，两台主机同时安装好Keepalived软件并启动服务，开始正常工作时，由角色为Master的主机获得所有资源并对用户提供服务，角色为Backup的主机作为Master主机的热备；当角色为Master的主机失效或出现故障时，角色为Backup的主机将自动接管Master主机的所有工作，包括接管VIP资源及相应资源服务；而当角色为Master的主机故障修复后，又会自动接管回它原来处理的工作，角色为Backup的主机则同时释放Master主机失效时它接管的工作，此时，两台主机将恢复到最初启动时各自的原始角色及工作状态。

Keepalived软件的官方站点是http://www.keepalived.org

4.3 实现 LVS 集群中节点的健康检查（Health Checking）

Keepalived可以通过在自身的Keepalived.conf文件里配置LVS的节点IP和相关参数实现对LVS的直接管理；除此之外，当LVS集群中的某一个甚至是几个节点服务器同时发生故障无法提供服务时，Keepalived服务会自动将失效的节点服务器从LVS的正常转发队列中清除出去，并将请求调度到别的正常节点服务器上，从而保证最终用户的访问不受影响；当故障的节点服务器被修复以后，Keepalived服务又会自动地把它们加入到正常转发队列中，对客户提供服务。

4.4 实现 LVS 负载调度器、节点服务器的高可用性（HA）

一般企业集群需要满足的三个特点：负载均衡、健康检查、故障切换，使用 LVS + Keepalived 完全可以满足需求。

5、keepalived 高可用故障切换转移原理

keepalived 高可用服务对集群之间的故障切换转移，是通过 VRRP（虚拟路由器冗余协议）来实现的。
  在 keepalived 服务正常工作时，主（Master）节点会不断地向备（Backup）节点发送（多播的方式）心跳消息，用以告诉备节点自己还活看，当主节点发生故障时，就无法发送心跳消息，备节点也就因此无法继续检测到来自主节点的心跳了，于是调用自身的接管程序，接管主节点的 IP 资源及服务。而当主节点恢复时，备节点又会释放主节点故障时自身接管的 IP 资源及服务，恢复到原来的备用角色。

5、VRRP通信原理

1. VRRP也就是虚拟路由冗余协议，它的出现就是为了解决静态路由的单点故障。
2. VRRP是通过一种竞选协议机制来将路由任务交给某台VRRP路由器的。
3. VRRP用IP多播的方式（默认多播地址（224.0.0.18））实现高可用之间通信。
4. 工作时主节点发包，备节点接包，当备节点接收不到主节点发的数据包的时候，就启动接管程序接管主节点的资源。备节点可以有多个，通过优先级竞选，但一般Keepalived系统运维工作中都是一对。
5. VRRP使用了加密协议加密数据，但Keepalived官方目前还是推荐用明文的方式配置认证类型和密码。

二、keepalived脑裂及解决办法

1、keepalived脑裂

在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、2边“服务”都起不来了；或者2边“服务”都起来了，但同时读写“共享存储”，导致数据损坏（常见如数据库轮询着的联机日志出错）。

2、脑裂的原因

1. 高可用服务器对之间心跳线链路发生故障，导致无法正常通信。如心跳线坏了（包括断了，老化）。
2. 因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）。
3. 因心跳线间连接的设备故障（网卡及交换机）。
4. 因仲裁的机器出问题（采用仲裁的方案）。
5. 高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输。
6. Keepalived配置里同一 VRRP实例如果 virtual_router_id两端参数配置不一致也会导致裂脑问题发生。
7. vrrp实例名字不一致、优先级一致。

3、应对策略

1. 添加冗余的心跳线，例如：双线条线（心跳线也HA），尽量减少“裂脑”发生几率
2. 启用磁盘锁。正在服务一方锁住共享磁盘，“裂脑”发生时，让对方完全“抢不走”共享磁盘资源。但使用锁磁盘也会有一个不小的问题，如果占用共享盘的一方不主动“解锁”，另一方就永远得不到共享磁盘。现实中假如服务节点突然死机或崩溃，就不可能执行解锁命令。后备节点也就接管不了共享资源和应用服务。于是有人在HA中设计了“智能”锁。即：正在服务的一方只在发现心跳线全部断开（察觉不到对端）时才启用磁盘锁。平时就不上锁了。
3. 设置仲裁机制。例如设置参考IP（如网关IP），当心跳线完全断开时，2个节点都各自ping一下参考IP，不通则表明断点就出在本端。不仅“心跳”、还兼对外“服务”的本端网络链路断了，即使启动（或继续）应用服务也没有用了，那就主动放弃竞争，让能够ping通参考IP的一端去起服务。更保险一些，ping不通参考IP的一方干脆就自我重启，以彻底释放有可能还占用着的那些共享资源。
4. 利用脚本检测、报警。

vim check_keepalived.sh
 
#!/bin/bash
$ip=192.168.233.9
while true
do
if [ `ip a show ens33 |grep $ip|wc -l` -ne 0 ]
then    echo "keepalived is error!"
else    echo "keepalived is OK !"
fi
done

三、部署LVS+Keepalived 群集

1、环境准备

主机	IP地址
主DR 服务器	192.168.109.11
备DR 服务器	192.168.109.12
Web 服务器1	192.168.109.13
Web 服务器2	192.168.109.14
客户端	192.168.109.100
vip	192.168.109.110

2、配置主负载调度器（主：192.168.109.11）

2.1 关闭防火墙

systemctl stop firewalld.service
setenforce 0

2.2 安装ipvsadm和keepalived

yum -y install ipvsadm keepalived

2.3 添加模块并查看

modprobe ip_vs            #加载ip_vs模块
cat /proc/net/ip_vs

2.4 调整 proc 响应参数，关闭Linux 内核的重定向参数响应

#调整proce响应参数，关闭Linux内核的重定向参数响应
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
sysctl -p

2.5 修改配置文件keeplived.conf

#修改配置文件keeplived.conf
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
 
vim keepalived.conf
......
global_defs {						#定义全局参数
--10行--修改，邮件服务指向本地
	smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
	router_id LVS_01
--14行--注释掉，取消严格遵守VRRP协议功能，否则VIP无法被连接
	#vrrp_strict
}
 
vrrp_instance VI_1 {				#定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUP
    state MASTER
--21行--修改，指定承载vip地址的物理接口
    interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致	
    virtual_router_id 10
	#nopreempt		#如果设置非抢占模式，两个节点state必须为bakcup，并加上配置 nopreempt
--23行--修改，指定优先级，数值越大优先级越高，这里设置主为100，备为90
    priority 100
    advert_int 1					#通告间隔秒数(心跳频率)
    authentication {				#定义认证信息,每个热备组保持一致
		auth_type PASS				#认证类型
--27行--修改，指定验证密码，主备服务器保持一致
        auth_pass 123456
    }
    virtual_ipaddress {				#指定群集vip地址
        192.168.109.110
    }
}
 
--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.109.110 80 {
    delay_loop 6					#健康检查的间隔时间(秒)
    lb_algo rr						#指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)
    lb_kind DR
    persistence_timeout 0			#连接保持时间(秒)
    protocol TCP					#应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口
    real_server 192.168.109.13 80 {
        weight 1					#节点的权重
--45行--删除，添加以下健康检查方式		
        TCP_CHECK {
			connect_port 80			#添加检查的目标端口
			connect_timeout 3		#添加连接超时(秒)
			nb_get_retry 3			#添加重试次数
			delay_before_retry 3	#添加重试间隔
		}
	}
 
	real_server 192.168.109.14 80 {		#添加第二个 Web节点的地址、端口
        weight 1
        TCP_CHECK {
			connect_port 80
			connect_timeout 3
			nb_get_retry 3
			delay_before_retry 3
		}
	}
##删除后面多余的配置##
}

2.6 配置vip(虚拟IP)

cd /etc/sysconfig/network-scripts
cp ifcfg-ens33 ifcfg-ens33:0

2.7 开启keepalived服务,查看虚拟IP

systemctl start keepalived
ip addr

2.8 配置负载分配策略

ipvsadm-save > /etc/sysconfig/ipvsadm
ipvsadm -C
ipvsadm -A -t 192.168.109.110:80 -s rr
ipvsadm -a -t 192.168.109.110:80 -r 192.168.109.13:80 -g
ipvsadm -a -t 192.168.109.110:80 -r 192.168.109.14:80 -g
systemctl start ipvsadm
ipvsadm
ipvsadm -ln
#如没有VIP 的分发策略，则重启 keepalived 服务，systemctl restart keepalived
systemctl restart keepalived.service

3、 配置负载调度器（备：192.168.109.12）

3.1 关闭防火墙，安装ipvsadm和keepalived服务

systemctl stop firewalld.service
setenforce 0
yum -y install ipvsadm keepalived

3.2 异地传输

主、备配置文件配置基本一样，为了方便，可以把主负载调度器的配置文件传到备负载调度器

cd /etc/keepalived/
scp keepalived.conf [email protected]:/etc/keepalived/

3.3 修改keepalived.conf配置文件

3.4 调整proc响应参数，关闭Linux内核的重定向参数响应

vim /etc/sysctl.conf
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

sysctl –p

3.5添加模块并查看

modprobe ip_vs
cat /proc/net/ip_vs

3.6配置vip(虚拟IP)

cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens33:0
vim ifcfg-ens33:0
systemctl restart network
ifup ens33:0
ifconfig ens33:0

3.7 开启keepalived服务,查看虚拟IP

systemctl start keepalived
ip addr

3.8 配置负载分配策略

ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm
ipvsadm –C
ipvsadm -A -t 192.168.109.110:80 -s rr
ipvsadm -a -t 192.168.109.110:80 -r 192.168.109.13:80 –g
ipvsadm -a -t 192.168.109.110:80 -r 192.168.109.14:80 –g
ipvsadm
ipvsadm -ln

4、 配置节点服务器(Web1:192.168.109.13、Web2:192.168.109.14)

4.1 关闭防火墙

systemctl stop firewalld
setenforce 0

4.2 安装并开启httpd服务

yum -y install httpd
systemctl start httpd

4.3 配置站点文件

Web1

cd /var/www/html/
echo "lichen youshoujiuxing" > index.html

Web2

cd /var/www/html/
echo "zhangbin shayebuhui" > index.html

4.4 配置虚拟vip

cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0

vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.109.110
NETMASK=255.255.255.255
 
systemctl restart network
ifup lo:0
ifconfig lo:0

4.5 调整proc响应参数

vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

4.6 设置路由

route add -host 192.168.58.110 dev lo:0
route –n

5、客户端访问，验证结果

6、断开主DR服务器的keepalived测试

systemctl stop keepalived 
ip addr show dev ens33

四、总结

集群满足的三个特点：负载均衡，健康检查，故障切换

1. 对于节点服务器：健康检查如果发现有故障的节点就会将其隔离或者提出集群。待其恢复后在重新加入集群当中。
2. 负载均衡器：健康检查会定时检查主机的状态（包括主机和服务状态）如果主故障就会自动切换到备主机上，待主的恢复重新在让主承载业务请求。