集群基础5——keepalived对apache高可用
文章目录
- 一、基本了解
- 二、配置文件参数释义
-
- 2.1 默认配置文件
- 2.2 定制配置文件
-
- 2.2.1 vrrp_instance段配置参数
- 2.2.2 vrrp_script段配置参数
- 2.2.3 real_server段配置参数
- 2.2.4 tcp_check段配置参数
- 三、keepalived对apache高可用
-
- 3.1 环境说明
- 3.2 安装服务
- 3.3 配置主服务器
- 3.4 配置备服务器
- 3.5 手动验证
- 3.6 设置不抢占master
- 3.7 设置脚本自动检测
一、基本了解
什么是keepalived？
- Keepalived 软件起初是为了管理监控LVS集群系统中的各个服务节点状态而设计的，后来又加入了可以实现高可用的VRRP功能。
- 通过VRRP协议实现高可用功能，可以解决静态路由单点故障问题，保证服务个别节点宕机时，整个网络可以不间断地运行，以此保证业务的正常工作。常用高可用服务nginx、haproxy、mysql、rabbitmq等。
- 官网
keepalived核心功能：
- 管理LVS负载均衡软件。
- 实现LVS集群节点的健康检查。
- 作为系统网络服务的高可用性（failover）
keepalived高可用故障转移原理：
- 通过 VRRP (Virtual Router Redundancy Protocol ，虚拟路由器冗余协议）来实现。
- 在 Keepalived 服务正常工作时，主节点会不断地以多播方式向备节点发送心跳消息，告诉备节点自己还活看。
- 当主节点发生故障时，就无法发送心跳消息，备节点就无法继续检测到来自主节点的心跳了，于是调用自身的接管程序，接管主节点的 IP 资源及服务。
- 当主节点恢复时，备节点又会释放主节点故障时自身接管的IP资源及服务，恢复到原来的备用角色。
VRRP协议：
- VRRP，全称 Virtual Router Redundancy Protocol ，为虚拟路由冗余协议 。VRRP的出现是为了解决静态踣甶的单点故障问题，是通过一种竞选机制来将路由的任务交给某台VRRP路由器。
- 采用用IP多播的方式（默认多播地址（224.0_0.18))实现高可用对之间通信。
- 工作时主节点发包，备节点接包，当备节点接收不到主节点发的数据包时，就启动接管程序接管主节点的资源。备节点可以有多个，通过优先级竞选，但一般 Keepalived系统运维工作中都是一对。
- VRRP使用了加密协议加密数据，但Keepalived官方目前还是推荐用明文的方式配置认证类型和密码。
工作原理：
- Keepalived高可用是通过 VRRP 进行通信， VRRP通过竞选机制来确定主备，主的优先级高于备，所以工作时主会优先获得所有的资源，备节点处于等待状态。当主挂了的时候，备节点就会接管主节点的资源，然后顶替主节点对外提供服务。
- 在 Keepalived 服务之间，只有作为主的服务器会一直发送 VRRP 广播包，告诉备它还活着，此时备不会枪占主，当主不可用时，此时备监听不到主发送的广播包，就会启动相关服务接管资源，保证业务的连续性，接管速度最快可以小于1秒。
keepalived高可用架构图：
二、配置文件参数释义
2.1 默认配置文件
- keepalived主配置文件是 /etc/keepalived/keepalived.conf。
[root@master ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
########################################################################
//全局配置
global_defs {
notification_email { //定义报警收件人邮件地址。
[email protected]
[email protected]
[email protected]
}
notification_email_from [email protected] //定义报警发件人邮箱
smtp_server 192.168.200.1 //邮箱服务器地址
smtp_connect_timeout 30 //定义邮箱超时时间
router_id LVS_DEVEL //定义路由标识信息，同局域网内唯一
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
########################################################################
//定义实例
vrrp_instance VI_1 { //实例名，可以定义多个。当有多个实例时，虚拟路由id必须不一样。
state MASTER //指定keepalived节点的初始状态，可选值为MASTER|BACKUP
interface eth0 //VRRP实例绑定的网卡接口，根据实际情况写。
virtual_router_id 51 //自定义虚拟路由ID，同一集群要一致，不同集群必须不同值。
priority 100 //定义优先级，按优先级来决定主备角色，值越大则越优先。
nopreempt //设置不抢占，当主节点宕机恢复后，不会再默认的去抢占master了
advert_int 1 //主给备发送心跳包的间隔时间
authentication { //配置认证
auth_type PASS //认证方式，此处为密码
auth_pass 1111 //同一集群中的keepalived配置里的此处必须一致，推荐使用8位随机数
}
virtual_ipaddress { //配置要使用的VIP地址，当有多个网卡时可以指定网卡名称。
192.168.50.200
}
}
########################################################################
//配置虚拟服务器
virtual_server 192.168.50.200 80 { //VIP+后端服务监听端口。
delay_loop 6 //健康检查的时间间隔
lb_algo rr //lvs调度算法
lb_kind NAT //lvs模式，NAT模式可转发端口
persistence_timeout 50 //数据落盘持久化超时时间，单位是秒
protocol TCP //4层协议
sorry_server 192.168.50.200 80 //定义备用服务器，当所有RS都故障时用sorry_server来响应客户端
real_server 192.168.50.158 80 { //定义第一个后端服务器信息。
weight 1 //给服务器指定权重，默认为1
HTTP_GET {
url {
path /testurl/test.jsp //指定要检查的URL路径
digest 640205b7b0fc66c1ea91c463fac6334d //摘要信息
}
url {
path /testurl2/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
url {
path /testurl3/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
connect_timeout 3 //连接超时时间
nb_get_retry 3 //get尝试次数
delay_before_retry 3 //在尝试之前延迟多长时间
}
}
real_server 192.168.50.159 80 { //定义第二个后端服务器信息。
weight 1
HTTP_GET {
url {
path /testurl/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334c
}
url {
path /testurl2/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334c
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
2.2 定制配置文件
- 上面默认的主配置文件都是默认字段，也可以根据实际情况添加相关参数，这就是定制主配置文件。
2.2.1 vrrp_instance段配置参数
| 参数 | 释义 | 备注 |
|---|---|---|
| nopreempt | 设置不抢占。默认是抢占的，当高优先级的机器恢复后，会抢占优先级低的机器成为MASTER。 而不抢占，即使优先级高的机器已经上线，也仍然允许低优先级的机器继续成为MASTER。 如果要使用这个功能，则初始化状态必须为BACKUP。 |
一般有多个backup主机时，设置在backup上。 |
| preempt_delay | 设置抢占延迟。单位是秒，范围是0~1000，默认是0。 发现低优先级的MASTER后多少秒开始抢占。 |
不常用 |
2.2.2 vrrp_script段配置参数
- 作用是添加一个周期性执行的脚本，不需要再人工的停止keepalived服务。脚本的退出状态码会被调用它的所有的VRRP Instance记录。
- 注意，至少有一个VRRP实例调用它并且优先级不能为0。优先级范围是1-254.
//添加以下格式，并在括号内自定义需要的参数。
vrrp_script {
...
}
| 选项 | 释义 | 备注 |
|---|---|---|
| script “/path/to/somewhere” | 指定脚本路径。 | |
| interval < INTEGER > | 指定脚本执行的间隔。单位是秒。默认为1s。 | |
| timeout < INTEGER > | 指定在多少秒后，脚本被认为执行失败。 | |
| weight <-254 ~ 254> | 调整优先级。默认为2。 | 1. 若脚本执行成功(退出状态码为0)，weight大于0，则priority增加。 2. 若脚本执行失败(退出状态码为非0)，weight小于0，则priority减少。 3. 其他情况下，priority不变。 |
| rise < INTEGER > | 执行成功多少次才认为是成功。 | |
| fall < INTEGER > | 执行失败多少次才认为失败。 | |
| user < USERNAME > [GROUPNAME] | 运行脚本的用户和组。 | |
| init_fail | 假设脚本初始状态是失败状态。 |
2.2.3 real_server段配置参数
| 选项 | 释义 |
|---|---|
| weight < INT > | 给服务器指定权重。默认是1 |
| inhibit_on_failure | 当服务器健康检查失败时，将其weight设置为0，而不是从Virtual Server中移除 |
| notify_up < STRING > | 当服务器健康检查成功时，执行的脚本 |
| notify_down < STRING > | 当服务器健康检查失败时，执行的脚本 |
| uthreshold < INT > | 到这台服务器的最大连接数 |
| lthreshold < INT > | 到这台服务器的最小连接数 |
2.2.4 tcp_check段配置参数
| 选项 | 释义 |
|---|---|
| connect_ip < IP ADDRESS> | 连接的IP地址。默认是real server的ip地址 |
| connect_port < PORT > | 连接的端口。默认是real server的端口 |
| bindto < IP ADDRESS> | 发起连接的接口的地址。 |
| bind_port < PORT > | 发起连接的源端口。 |
| connect_timeout < INT > | 连接超时时间。默认是5s。 |
| fwmark < INTEGER > | 使用fwmark对所有出去的检查数据包进行标记。 |
| warmup < INT > | 指定一个随机延迟，最大为N秒。可防止网络阻塞。如果为0，则关闭该功能。 |
| retry < INIT > | 重试次数。默认是1次。 |
| delay_before_retry < INT > | 默认是1秒。在重试之前延迟多少秒。 |
三、keepalived对apache高可用
- 手动验证：主上的服务必须是运行状态，备上的服务必须是停止状态，否则无法通过VIP访问到数据包。
3.1 环境说明
| 主机名 | IP | 安装服务 |
|---|---|---|
| master | 192.168.161.131 | keepalived、apache |
| backup | 192.168.161.132 | keepalived、apache |
3.2 安装服务
1.安装apache，参考文章。
2.安装keepalived服务，两台机器都安装。
yum -y install keepalived
3.3 配置主服务器
1.先备份文件。
cp /etc/keepalived/keepalived.conf{,-bak}
2.修改主配置文件。
cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
router_id lb01 //主备不能一样。
}
vrrp_instance VI_1 {
state MASTER //主备不能一样
interface ens33 //根据实际情况修改网卡。
virtual_router_id 51 //主备必须一样。
priority 100 //主>备
advert_int 1
authentication {
auth_type PASS
auth_pass qingjun //主备必须一样。
}
virtual_ipaddress {
192.168.161.200 //自定义VIP
}
}
virtual_server 192.168.161.200 80 { //DR模式不能转端口。
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 50
protocol TCP
real_server 192.168.161.131 80 { //后端服务器1访问IP:PORT
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.161.132 80 { //后端服务器2访问IP:PORT
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
3.启动服务。
systemctl enable --now keepalived
3.4 配置备服务器
1.先备份文件。
cp /etc/keepalived/keepalived.conf{,-bak}
2.修改主配置文件。
cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
router_id lb02 //主备不能一样。
}
vrrp_instance VI_1 {
state BACKUP //主备不能一样。
interface ens33 //根据实际情况修改网卡名称。
virtual_router_id 51 //主备必须一样。
priority 99 //备<主
advert_int 1
authentication {
auth_type PASS
auth_pass qingjun //主备必须一样。
}
virtual_ipaddress {
192.168.161.200 //自定义VIP
}
}
virtual_server 192.168.161.200 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 50
protocol TCP
real_server 192.168.161.131 80 { //后端服务器1访问IP:PORT
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.161.132 80 { //后端服务器2访问IP:PORT
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
3.启动服务。
systemctl enable --now keepalived
3.5 手动验证
1.当主备程序同时运行时，VIP无法访问。
2.停止备程序，运行主程序，VIP访问主。
3.停止主keepalived服务，VIP流向备；停止主程序，VIP才能访问到备。
4.主恢复，VIP默认回到主机。（因为keepalived默认就是主机恢复抢占master。）
3.6 设置不抢占master
- 上面验证了，当master挂掉恢复后，会把VIP抢回来。
- 当master挂掉后恢复后不会抢占VIP，备机宕机后才会把VIP抢回来，设置参数nopreempt。
1.修改master配置文件，此时VIP在主机上。
//主配置文件添加这个参数，重启keepalived服务。
vim /etc/keepalived/keepalived.conf
nopreempt
2.主keepalived停掉后，VIP流向备机。
3.主keepalived服务恢复，VIP仍然在备机上。
4.备keepalived服务停掉后，VIP才会回到主。
3.7 设置脚本自动检测
- 上面我们通过手动停止服务来演示了keepalived的功能： 主备上的程序不能同时运行，否则VIP不知道访问谁，所以需要停掉一方的keepalived服务，VIP才能顺利流向另一侧。
- 在项目中我们需要设置脚本自动检测程序。当主keepalived正常时，需要停止备上的程序；当主keepalived服务异常时，VIP会跑到备，此时需要停止主的程序。
1.关闭主备的抢占模式，去掉上卖弄那个参数。关闭主备的apache服务。
2.主上设置2个脚本。
//创建脚本存放目录。
mkdir /scripts
//第一个脚本。检查主上的httpd服务是否在运行，若没有运行则停止keepalived，让VIP流向备。
cat > /scripts/check_httpd.sh << 'EOF'
#!/bin/bash
httpd_status=$(ps -ef|grep -Ev "grep|$0"|grep '\bhttpd\b'|wc -l)
if [ $httpd_status -lt 1 ];then
systemctl stop keepalived
fi
EOF
chmod +x /scripts/check_httpd.sh
//第二个脚本。当检测本机为master时，若服务没起来会启动服务；若为backup时，若服务在运行则停止服务。
cat > /scripts/notify.sh << 'EOF'
#!/bin/bash
VIP=$2
sendmail (){
subject="${VIP}'s server keepalived state is translate"
content="`date +'%F %T'`: `hostname`'s state change to master"
echo $content | mail -s "$subject" [email protected]
}
case "$1" in
master)
httpd_status=$(ps -ef|grep -Ev "grep|$0"|grep '\bhttpd\b'|wc -l)
if [ $httpd_status -lt 1 ];then
systemctl start httpd
fi
sendmail
;;
backup)
httpd_status=$(ps -ef|grep -Ev "grep|$0"|grep '\bhttpd\b'|wc -l)
if [ $httpd_status -gt 0 ];then
systemctl stop httpd
fi
;;
*)
echo "Usage:$0 master|backup VIP"
;;
esac
EOF
chmod +x /scripts/notify.sh
3.在备上设置一个脚本。
//创建脚本存放目录。
mkdir /scripts
//与主的那个检测脚本一摸一样。当检测本机为master时，若服务没起来会启动服务；若为backup时，若服务在运行则停止服务。
cat > /scripts/notify.sh << 'EOF'
#!/bin/bash
VIP=$2
sendmail (){
subject="${VIP}'s server keepalived state is translate"
content="`date +'%F %T'`: `hostname`'s state change to master"
echo $content | mail -s "$subject" [email protected]
}
case "$1" in
master)
httpd_status=$(ps -ef|grep -Ev "grep|$0"|grep '\bhttpd\b'|wc -l)
if [ $httpd_status -lt 1 ];then
systemctl start httpd
fi
sendmail
;;
backup)
httpd_status=$(ps -ef|grep -Ev "grep|$0"|grep '\bhttpd\b'|wc -l)
if [ $httpd_status -gt 0 ];then
systemctl stop httpd
fi
;;
*)
echo "Usage:$0 master|backup VIP"
;;
esac
EOF
chmod +x /scripts/notify.sh
4.修改主配置文件，指定检测脚本。
cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
router_id lb01
}
//全局设置，指定检测主的脚本。
vrrp_script httpd_check {
script "/scripts/check_httpd.sh"
interval 1
weight -20
}
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass qingjun
}
virtual_ipaddress {
192.168.161.200
}
track_script { //追踪检测主的脚本，根据主的状态执行notify.sh脚本。
httpd_check
}
notify_master "/scripts/notify.sh master 192.168.161.200" /指定VIP。
notify_backup "/scripts/notify.sh backup 192.168.161.200"
}
virtual_server 192.168.161.200 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 50
protocol TCP
real_server 192.168.161.131 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.161.132 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
//重启keepalived。
systemctl restart keepalived
5.修改备配置文件，指定追踪检测主服务状态脚本。
cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
router_id lb02
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 51
priority 99
advert_int 1
authentication {
auth_type PASS
auth_pass qingjun
}
virtual_ipaddress {
192.168.161.200
}
track_script { //追踪检测主的脚本，根据主的状态执行notify.sh脚本。
httpd_check
}
notify_master "/scripts/notify.sh master 192.168.161.200" //指定VIP。
notify_backup "/scripts/notify.sh backup 192.168.161.200"
}
virtual_server 192.168.161.200 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 50
protocol TCP
real_server 192.168.161.131 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.161.132 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
//重启keepalived。
systemctl restart keepalived
6.验证。
