26：Linux高可用负载均衡集群

Linux高可用负载均衡集群

集群介绍

集群功能划分：

1：高可用：
    高可用集群通常为两台服务器，一台工作，另外一台作为冗余，
    当提供服务的机器宕机，冗余将接替继续提供服务
    实现高可用的开源软件有：heartbeat、keepalived

2：负载均衡
    负载均衡集群，需要有一台服务器作为分发器，它负责把用户的请求分发给后端的服务器处理，
    在这个集群里,除了分发器外，就是给用户提供服务的服务器了，这些服务器数量至少为2
    实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx，商业的有F5、Netscaler 

keepalived介绍：

在这里我们使用keepalived来实现高可用集群，因为heartbeat在centos6上有一些问题，影响实验效果

keepalived通过VRRP（Virtual Router Redundancy Protocl）来实现高可用。
在这个协议里会将多台功能相同的路由器组成一个小组，
这个小组里会有1个master角色和N（N>=1）个backup角色。
master会通过组播的形式向各个backup发送VRRP协议的数据包，
当backup收不到master发来的VRRP数据包时，就会认为master宕机了。
此时就需要根据各个backup的优先级来决定谁成为新的mater。

Keepalived要有三个模块，分别是core、check和vrrp。
其中core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析，
check模块负责健康检查，
vrrp模块是来实现VRRP协议的。

用keepalived配置高可用集群

实验环境准备：

最少需要两台虚拟机
Master：
    系统：CentOS7.4 最小化安装
    IP：10.1.1.61
    主机名：master
    yum安装好两个软件包：keepalived、nginx
    关闭防火墙和selinux

Backup：
    系统：CentOS7.4 最小化安装
    IP：10.1.1.62
    主机名：backup
    yum安装好两个软件包：keepalived、nginx
    关闭防火墙和selinux

将nginx默认主页的内容修改为各自的ip

# Master
[root@master ~]# echo '10.1.1.61' > /usr/share/nginx/html/index.html
[root@master ~]# nginx
[root@master ~]# curl 10.1.1.61
10.1.1.61

# Backup
[root@backup ~]# echo '10.1.1.62' > /usr/share/nginx/html/index.html
[root@backup ~]# nginx 
[root@backup ~]# curl 10.1.1.62
10.1.1.62

Master配置

修改的keepalived配置文件/etc/keepalived/keepalived.conf

# 设定vip为100，具体配置如下
global_defs {
   notification_email {
     [email protected]
   }
   notification_email_from [email protected]
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"
    interval 3
}

vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456
    }
    virtual_ipaddress {
        10.1.1.60
    }

    track_script {
        chk_nginx
    }
}

编辑nginx监控脚本 /usr/local/sbin/check_ng.sh 内容如下

#!/bin/bash
#  时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#  计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#  如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#  如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
    /etc/init.d/nginx start
    n2=`ps -C nginx --no-heading|wc -l`
    if [ $n2 -eq "0"  ]; then
        echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
        systemctl stop keepalived
    fi
fi

最后给脚本755权限，再启动keepalived

[root@master ~]> chmod 755 /usr/local/sbin/check_ng.sh
[root@master ~]> systemctl start keepalived
[root@master ~]# ps -ef | grep keep
root       3182      1  0 15:29 ?        00:00:00 /usr/sbin/keepalived -D
root       3183   3182  0 15:29 ?        00:00:00 /usr/sbin/keepalived -D
root       3184   3182  0 15:29 ?        00:00:00 /usr/sbin/keepalived -D

Backup机配置

修改keepalived配置文件/etc/keepalived/keepalived.conf

global_defs {
   notification_email {
     [email protected]
   }
   notification_email_from [email protected]
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"
    interval 3
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456
    }
    virtual_ipaddress {
        10.1.1.60
    }

    track_script {
        chk_nginx
    }
}

编辑监控nginx脚本 /usr/local/sbin/check_ng.sh 内容如下

#!/bin/bash
#  时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#  计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#  如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#  如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
    /etc/init.d/nginx start
    n2=`ps -C nginx --no-heading|wc -l`
    if [ $n2 -eq "0"  ]; then
        echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
        systemctl stop keepalived
    fi
fi

给脚本755权限，再启动keepalived

[root@backup ~]# chmod 755 /usr/local/sbin/chech_ng.sh 
[root@backup ~]# systemctl start keepalived
[root@backup ~]# ps -ef | grep keepalived
root      10994      1  0 15:31 ?        00:00:00 /usr/sbin/keepalived -D
root      10995  10994  0 15:31 ?        00:00:00 /usr/sbin/keepalived -D
root      10996  10994  0 15:31 ?        00:00:00 /usr/sbin/keepalived -D

keepalived配置文件说明：

# 1：全局定义 global definitions 部分
global_defs {
   notification_email {
     aming@aminglinux.com
   }
   notification_email_from root@aminglinux.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   #前面是定义邮件相关的配置，当出现故障时可以给指定的邮箱发送邮件
   #下面这一行是定义服务器的路由标识的，在同一局域网内这个表示是唯一的
   router_id LVS_DEVEL  
} #大括号用来分隔去看，需要成对出现，如果漏掉了也不会出错，但是得不到想要的结果

# 2：检测模块，可以通过制定的脚本来检测对应的服务是否正常
vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"  # 指定自定义检测nginx服务的脚本
    interval 3 # 检测的间隔时间
}

# 3：VRRP实例定义区块
# 这部分主要用来定义具体服务去实例配置，包括Keepalived主备状态、接口、优先级、认证方式和IP等信息。


vrrp_instance VI_1 {
# 上面这行定义了一个vrrp_instance实例，名字是VI_1，MASTER和BACKUP的实例名必须相同，可以定义多个实例
    state BACKUP  
    # state表示当前实例的状态，MASTER为正式工作状态，BACKUP为备用状态。
    interface ens33
    # interface ：指定网卡名称，CentOS一般都是ens开头
    virtual_router_id 51
    # virtual_router_id 表示虚拟路由ID表示，这个表示最好是一个数字，
    # 如果一个配置文件中有多个vrrp_instance实例，则不能出现相同的vrtual_router_id，
    # 但是MASTER和BACKUP配置中相同实例的virtual_router_id必须一致，否则会出现脑裂问题。
    priority 90
    # priority 为优先级，指定的数字越大，表示实例的优先级越高，
    # 在同一个vrrp_instance实例中 MASTER的优先级配置要高于BACKUP
    advert_int 1
    # advert_int 为同步通知间隔。MASTER与BACKUP之间通信检查的时间间隔，单位为妙，默认为1

    authentication { 
    # authentication 为权限认证配置块，包含认证类型，和认证密码
        auth_type PASS
        # auth_type 为认证类型，有PASS和AH两种认证类型，一般使用PASS，验证密码为明文的方式
        auth_pass 123456
        # auth_pass  指定认证的密码， BACKUP必须和MASTER一致才能通信
    }
    virtual_ipaddress {
    # virtual_ipaddress 虚拟IP地址配置，通常称之为VIP。可以配置多个IP
    # 每个IP占一行，这里的虚拟IP就是在工作中需要和域名绑定的IP。
    # 即和配置对应的高可用服务监听的ip要保持一致（这里的高可用服务是Nginx 也可以是其他服务）
        10.1.1.60
        # 指定的虚拟ip
    }

    track_script {  #加载指定的服务检测区块。
        chk_nginx
    }
}

测试效果

# 先查看MASTER和BACKUP的网卡状态
# 注只能用 ip addrress 查看才能看到MASTER和BACKUP的具体的差别

# MASTER：
[root@master ~]# ip address show ens33
2: ens33:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:09:51:04 brd ff:ff:ff:ff:ff:ff
    inet 10.1.1.61/24 brd 10.1.1.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 10.1.1.60/32 scope global ens33    #这一行就是Keepalived服务设置的VIP了
       valid_lft forever preferred_lft forever
    inet6 fe80::73d1:f0bd:e404:d27d/64 scope link 
       valid_lft forever preferred_lft forever

# BACKUP：
[root@backup ~]# ip address show ens33
2: ens33:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:92:e2:80 brd ff:ff:ff:ff:ff:ff
    inet 10.1.1.62/24 brd 10.1.1.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::f860:8d99:5ffa:9f8f/64 scope link 
       valid_lft forever preferred_lft forever

# MASTER和BACKUP用curl请求访问10.1.1.60，结果都是10.1.1.61
[root@master ~]# curl 10.1.1.60
10.1.1.61

[root@backup ~]# curl 10.1.1.60
10.1.1.61

# 现在模拟故障，将MASTER的Keepalived服务关闭掉
[root@master ~]# systemctl stop keepalived
[root@master ~]# ps -ef | grep keepalived | grep -v grep
# 没有输出，表示keepalive服务d已经关闭了

# 再次查看MASTER和BACKUP的网卡状态
# MASTER：
[root@master ~]# ip address show ens33
2: ens33:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:09:51:04 brd ff:ff:ff:ff:ff:ff
    inet 10.1.1.61/24 brd 10.1.1.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::73d1:f0bd:e404:d27d/64 scope link 
       valid_lft forever preferred_lft forever

# BACKUP：
[root@backup ~]# ip address show ens33
2: ens33:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:92:e2:80 brd ff:ff:ff:ff:ff:ff
    inet 10.1.1.62/24 brd 10.1.1.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 10.1.1.60/32 scope global ens33     #10.1.1.60这个IP被自动设置到了BACKUP的网卡上面
       valid_lft forever preferred_lft forever
    inet6 fe80::f860:8d99:5ffa:9f8f/64 scope link 
       valid_lft forever preferred_lft forever

# 现在MASTER与BACKUP访问10.1.1.60,的结果都是10.1.1.62了
[root@master ~]# curl 10.1.1.60
10.1.1.62

[root@backup ~]# curl 10.1.1.60
10.1.1.62

# 将MASTER的keepalived服务开启然后访问10.1.1.60，结果又变回10.1.1.61了
[root@master ~]# systemctl start keepalived
[root@master ~]# curl 10.1.1.60
10.1.1.61

[root@backup ~]# curl 10.1.1.60
10.1.1.61

负载均衡集群介绍

主流开源软件LVS、keepalived、haproxy、nginx等

其中LVS属于4层（网络OSI 7层模型），
nginx属于7层，
haproxy既可以认为是4层，也可以当做7层使用

keepalived的负载均衡功能其实就是lvs
lvs这种4层的负载均衡是可以分发除80外的其他端口通信的，比如MySQL的，
而nginx仅仅支持http，https，mail，
haproxy也支持MySQL这种

相比较来说，LVS这种4层的更稳定，能承受更多的请求，
而nginx这种7层的更加灵活，能实现更多的个性化需求

LVS介绍

LVS是由国人章文嵩开发,流行度不亚于apache的httpd，
基于TCP/IP做的路由和转发，稳定性和效率很高

LVS最新版本基于Linux内核2.6，有好多年不更新了
LVS有三种常见的模式：NAT、DR、IP Tunnel

LVS架构中有一个核心角色叫做分发器（Load balance），它用来分发用户的请求，
还有诸多处理用户请求的服务器（Real Server，简称rs）

LVS NAT模式介绍：

这种模式借助iptables的nat表来实现
用户的请求到分发器后，通过预设的iptables规则，把请求的数据包转发到后端的rs上去
rs需要设定网关为分发器的内网ip
用户请求的数据包和返回给用户的数据包全部经过分发器，所以分发器成为瓶颈
在nat模式中，只需要分发器有公网ip即可，所以比较节省公网ip资源

LVS IP Tunnel模式介绍

这种模式，需要有一个公共的IP配置在分发器和所有rs上，我们把它叫做vip

客户端请求的目标IP为vip，分发器接收到请求数据包后，
会对数据包做一个加工，会把目标IP改为rs的IP，这样数据包就到了rs上

rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己

LVS DR 模式介绍

这种模式，也需要有一个公共的IP配置在分发器和所有rs上，也就是vip

和IP Tunnel不同的是，它会把数据包的MAC地址修改为rs的MAC地址

rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己

LVS调度算法

Round-Robin  rr         # 轮询算法，均衡的将用户请求分发到每一个rs上
Weight Round-Robin wrr  # 加权轮询 ，带权重的轮循，依照指定的权重比来分发请求
Least-Connection lc     # 最小连接 ，将请求分发到连接数比较少的rs上
Weight Least-Connection wlc             # 带权重的最小连接，
Locality-Based Least Connections lblc   # 基于局部性的最小连接 
Locality-Based Least Connections with Replication  lblcr  # 带复制的基于局部性最小连接 
Destination Hashing dh  # 目标地址散列调度 
Source Hashing  sh      # 源地址散列调度 

LVS相关术语

1. DS：Director Server。指的是前端负载均衡器节点。
2. RS：Real Server。后端真实的工作服务器。
3. VIP：向外部直接面向用户请求，作为用户请求的目标的IP地址。
4. DIP：Director Server IP，主要用于和内部主机通讯的IP地址。
5. RIP：Real Server IP，后端服务器的IP地址。
6. CIP：Client IP，访问客户端的IP地址。

LVS NAT模式搭建

实验环境准备

# 实验需要三台机器
# 三台都需要关闭firewalld服务， 并且安装iptables-serives服务，
# 启动iptables服务，并清空iptables规则

# 分发器，也叫调度器（简写为dir）
    主机名：dir
    内网网卡IP：192.168.10.10 VMware网卡模式调整为LAN区段模式，与rs在同一个LAN区段
    外网网卡IP：10.1.1.28     VMware网卡模式为桥接，也可以NAT或者仅主机模式
# Real Server 1
    主机名：rs1
    内网：192.168.10.11    VMware网卡模式调整为LAN区段模式，与dir在同一个LAN区段
    设置网关为：192.168.10.10
# Real Server 2
    主机名：rs2
    内网：192.168.10.12    VMware网卡模式调整为LAN区段模式，与dir在同一个LAN区段
    设置网关为：192.168.10.10

在dir上关闭Firewalld 安装iptables-service和ipvsadm

# 关闭防火墙
[root@dir ~]> systemctl stop firewalld
[root@dir ~]> systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

# 安装 ipvsdam， ipvsadm是类似于iptables的工具，用于设置LVS的规则
[root@dir ~]> yum install -y ipvsadm

在dir上编写LVS脚本，vim /usr/local/sbin/lvs_nat.sh 内容如下

#! /bin/bash
# director 服务器上开启路由转发功能
echo 1 > /proc/sys/net/ipv4/ip_forward
# 关闭icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
# 注意区分网卡名字，阿铭的两个网卡分别为ens33和ens37
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects
# director 设置nat防火墙
systemctl start iptables
iptables -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.10.0/24  -j MASQUERADE
# director设置ipvsadm
IPVSADM='/usr/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t 192.168.147.144:80 -s rr  
$IPVSADM -a -t 192.168.147.144:80 -r 192.168.10.11:80 -m -w 1
$IPVSADM -a -t 192.168.147.144:80 -r 192.168.10.12:80 -m -w 1

# 编辑完脚本就执行这个脚本

ipvsadm选项说明

-C  清除内核虚拟服务器表中的所有记录
-A  在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器
-a  在内核虚拟服务器表的一条记录里添加一条新的 rs 服务器记录。
-t  指定虚拟服务器提供的是 tcp 的服务，格式为：vip:port -r rip:port
-r  指定 rs 服务器ip
-m  指定 LVS 的工作模式为NAT 模式

-p  持久稳固的服务。这个选项的意思是来自同一个客户的多次请求，将被同一台rs处理。timeout 的默认值为300 秒。
-g  指定LVS 的工作模式为DR模式（也是LVS 默认的模式）
-i  指定LVS 的工作模式为隧道模式

rs机设置

# 两台rs上都安装nginx，关闭firewalld，安装iptables-services，
# 启动iptables 并清空iptables规则

# 将两台rs的默认主页的内容修改为各自的ip
[root@rs1 ~]# echo '192.168.10.11' > /usr/share/nginx/html/index.html

[root@rs2 ~]# echo '192.168.10.12' > /usr/share/nginx/html/index.html

测试效果

curl请求访问10.1.1.28，多访问几次看结果差异

# rr算法 ，均匀分配rs处理访问请求
[root@dir ~]> curl 10.1.1.28
192.168.10.12
[root@dir ~]> curl 10.1.1.28
192.168.10.11
[root@dir ~]> curl 10.1.1.28
192.168.10.12
[root@dir ~]> curl 10.1.1.28

# wrr 算法，   192.168.10.11 权重为3
[root@dir ~]> curl 10.1.1.28
192.168.10.11
[root@dir ~]> curl 10.1.1.28
192.168.10.11
[root@dir ~]> curl 10.1.1.28
192.168.10.11
[root@dir ~]> curl 10.1.1.28
192.168.10.12

# 其他算法不好模拟就不做演示了。

DR模式搭建

准备实验环境

# 实验需要三台机器
# 三台都需要关闭firewalld服务， 并且安装iptables-serives服务，
# 启动iptables服务，并清空iptables规则

# 分发器，也叫调度器（简写为dir）
    主机名：dir
    IP：10.1.1.28     VMware网卡模式为桥接，也可以NAT  VMware只保留一个网卡

# Real Server 1
    主机名：rs1
    IP：10.1.1.30     VMware网卡模式改为桥接，也可以NA
    修改nginx默认主页的内容为10.1.1.30

# Real Server 2
    主机名：rs2
    IP：10.1.1.31     VMware网卡模式改为桥接，也可以NAT
    修改nginx默认主页的内容为10.1.1.31

# DR模式比NAT模式多了一个VIP，虚拟IP  ，分发器和 rs 都需要绑定这个VIP
    VIP：10.1.1.100

编写 dir 服务器的LVS脚本 vim /usr/local/sbin/lvs_dr.sh

#! /bin/bash
#开启转发
echo 1 > /proc/sys/net/ipv4/ip_forward
# 设置变量
ipv=/usr/sbin/ipvsadm
vip=10.1.1.100
rs1=10.1.1.30
rs2=10.1.1.31

# 绑定VIP ，注意这里的网卡名字，需要用自己的网卡名
ifdown ens33
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
#设置路由
route add -host $vip dev ens33:2
# 配置LVS规则
$ipv -C
$ipv -A -t $vip:80 -s wrr              # 加权轮循模式的LVS虚拟服务器
$ipv -a -t $vip:80 -r $rs1:80 -g -w 2  # -g 使用DR模式，-t 指定的IP为VIP ，权重为2
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

执行/usr/local/sbin/lvs_dr.sh 脚本 ，使用ipvsadm -ln 命令查看ipvsadm规则

[root@dir ~]> sh /usr/local/sbin/lvs_dr.sh

[root@dir ~]> ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.1.1.100:80 wrr
  -> 10.1.1.30:80                 Route   2      0          0         
  -> 10.1.1.31:80                 Route   1      0          0   

编写 rs 的脚本 vim /usr/local/sbin/lvs_rs.sh # 内容如下

#/bin/bash
vip=10.1.1.100
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

# 编辑完分别在两台 rs 上执行这个脚本

测试效果

# 这个测试只能再拿一台虚拟机来模拟客户端请求访问，
# 因为缓存，连接数的原因 在浏览器上测试的效果不理想
[root@lvs-test ~]# curl 10.1.1.100
10.1.1.30
[root@lvs-test ~]# curl 10.1.1.100
10.1.1.30
[root@lvs-test ~]# curl 10.1.1.100
10.1.1.31

# 2:1的权重轮循算法测试结果OK

keepalived + LVS

当单独使用LVS负载的时候，如果其中一台 rs 宕机了，就会出问题

所以就需要使用到keepalived+LVS的架构了

keepalived有一个比较好的功能，可以在 rs 宕机时，不再把请求转发过去

keepalived + LVS实验环境说明：

完整架构需要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用，

但keepalived本身也有负载均衡的功能，所以本次实验可以只安装一台keepalived

keepalived内置了ipvsadm的功能，所以不需要再安装ipvsadm包，也不用编写和执行那个lvs_dir的脚本

 三台机器分别为：
 dir 10.1.1.28（安装keepalived）
 rs1 10.1.1.30
 rs2 10.1.1.31

 vip 10.1.1.100

编辑keepalived配置文件 vim /etc/keepalived/keepalived.conf 内容如下

vrrp_instance VI_1 {
    #备用服务器上为 BACKUP
    state MASTER
    #绑定vip的网卡为ens33，网卡名可能不一样，这里需要你改一下
    interface ens33
    virtual_router_id 51
    #备用服务器上为90
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456
    }
    virtual_ipaddress {
        10.1.1.100
    }
}
virtual_server 10.1.1.100 80 {
    #(每隔10秒查询realserver状态)
    delay_loop 10
    #(lvs 算法)
    lb_algo wrr
    #(DR模式)
    lb_kind DR
    #(同一IP的连接60秒内被分配到同一台realserver)
    persistence_timeout 60
    #(用TCP协议检查realserver状态)
    protocol TCP

    real_server 10.1.1.30 80 {
        #(权重)
        weight 2
        TCP_CHECK {
        #(10秒无响应超时)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
    real_server 10.1.1.31 80 {
        weight 1
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}

##注意根据自己的ip来配置

清空之前的ipvsadm规则和VIP

ipvsadm -C
systemctl restart network 

#最好每个主机都执行一遍

两台rs上，依然要执行/usr/local/sbin/lvs_rs.sh脚本

sh /usr/local/sbin/lvs_rs.sh

然后启动keepalived

systemctl start keepalived

测试效果

# 启动keepalived
[root@dir ~]> systemctl start keepalived
[root@dir ~]> ps -ef | grep keep
root       4816      1  0 00:47 ?        00:00:00 /usr/sbin/keepalived -D
root       4817   4816  0 00:47 ?        00:00:00 /usr/sbin/keepalived -D
root       4818   4816  0 00:47 ?        00:00:00 /usr/sbin/keepalived -D
root       4822   3874  0 00:47 pts/1    00:00:00 grep --color=auto keep

#查看ipvsadm规则，可以看到目前有两台 rs
[root@dir ~]> ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.1.1.100:80 wrr persistent 60
  -> 10.1.1.30:80                 Route   2      0          0         
  -> 10.1.1.31:80                 Route   1      0          0   

# 模拟故障将 rs1 的 nginx 服务关闭
[root@rs1 ~]# nginx -s stop

#再次查看 dir 上的 ipvsadm 规则，只有一台 rs 的规则了。 可能需要过几秒钟才会有变化
[root@dir ~]> ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.1.1.100:80 wrr persistent 60
  -> 10.1.1.31:80                 Route   1      0          0  

# 再将 rs1 的 nginx 服务开启
[root@dir ~]> nginx
[root@rs1 ~]# ps -ef | grep nginx
root       3522      1  0 00:54 ?        00:00:00 nginx: master process nginx
nginx      3523   3522  0 00:54 ?        00:00:00 nginx: worker process
nginx      3524   3522  0 00:54 ?        00:00:00 nginx: worker process
nginx      3525   3522  0 00:54 ?        00:00:00 nginx: worker process
nginx      3526   3522  0 00:54 ?        00:00:00 nginx: worker process

# 在查看 dir 的 ipvsadm规则，可以看到又有了两台 rs
[root@dir ~]> ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.1.1.100:80 wrr persistent 60
  -> 10.1.1.30:80                 Route   2      0          0         
  -> 10.1.1.31:80                 Route   1      0          0  

扩展阅读

heartbeat和keepalived比较

DRBD工作原理和配置

mysql+keepalived

lvs 三种模式详解

lvs几种算法

关于arp_ignore和 arp_announce

lvs原理相关的

haproxy+keepalived

nginx、lvs、haproxy比较

keepalived中自定义脚本 vrrp_script

lvs dr模式只使用一个公网ip的实现方法