Keepalived + LVS-DR 集群

Keepalived 介绍

keepalived 是一个类似于 layer3、4 & 5交换机的软件，也就是我们平时说的第 3 层、第 4 层 和第 5 层 交换，keepalived 的作用是检测 web 服务器的状态，如果有一台 web 服务器死机，或工作出现故障，Keepalived 将检测到，并将有故障的 web 服务器从系统中剔除，当 web 服务器工作正常后 Keepalived 自动将web 服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web 服务器。

http://www.keepalived.org/

• OSI 七层

• OSI 七层相关协议

Keepalived 工作原理

Layer3,4&5 工作在 IP/TCP 协议栈的 IP 层， TCP 层，及应用层 。

Layer3： Keepalived 使用 Layer3 的方式工作式时， Keepalived 会定期向服务器群中的服务器发送一个 ICMP 的数据包（既我们平时用的 Ping 程序） , 如果发现某台服务的 IP 地址没有激活，Keepalived 便报告这台服务器失效，并将它从服务器群中剔除，这种情况的典型例子是某台服务器被非法关机。 Layer3 的方式是以服务器的 IP 地址是否有效作为服务器工作正常与否的标准。

Layer4: 主要以 TCP 端口的状态来决定服务器工作正常与否。如 web server 的服务端口一般是80，如果 Keepalived 检测到 80 端口没有启动，则 Keepalived 将把这台服务器从服务器群中删除。

Layer5： Layer5 就是工作在具体的应用层了，比 Layer3,Layer4 要复杂一点，在网络上占用的带宽也要大一些。 Keepalived 将根据用户的设定检查服务器程序的运行是否正常，如果与用户的设定不相符，则 Keepalived 将把服务器从服务器群中剔除。

Keepalived 作用 与 构建

1）管理 VIP    VIP 会在 LVS 之间漂移

2）监控 LVS 分发器

运行在主分发的 Keepalived 会以组播的形式向网络中宣告自己，即主分发器还活着，备用节点能收到。当备用节点，在一个时间单位中收不到组播，备用节点会认为主 LVS 挂了，开始接手主分发器工作，把 VIP 配给自己。

3）管理 RS

---

Keepalived构建LVS-DR模式的高可用集群

• 网络划分

机器名称	机器 IP	网关	机器作用
zh73	DIP:192.168.1. 134/24 VIP:192.168.1.66/24	192.168.1.1	主 LVS
zh74	DIP:192.168.1.133/24 VIP:192.168.1.66/24	192.168.1.1	备 LVS
zh75	192.168.1.140/24	192.168.1.1	RS2	WEB1
zh76	192.168.1.128/24	192.168.1.1	RS1	WEB2

• 网络拓扑

安装 ipvsadm

[root@zh73 ~]# yum -y install ipvsadm

安装完成不需要做任何配置，启动方式由keepalived控制

安装 keepalived

[root@zh73 ~]# tar zxvf keepalived-1.2.13.tar.gz
[root@zh73 ~]# keepalived-1.2.13

[root@zh73 keepalived-1.2.13]# yum -y install gcc openssl-devel libnfnetlink-devel
 #  安装依赖


[root@zh73 keepalived-1.2.13]#  ./configure --prefix=/usr/local/keepalived
.....
Keepalived configuration
------------------------
Keepalived version       : 1.2.13
Compiler                 : gcc
Compiler flags           : -g -O2
Extra Lib                : -lssl -lcrypto -lcrypt 
Use IPVS Framework       : Yes
IPVS sync daemon support : Yes
IPVS use libnl           : No
fwmark socket support    : Yes
Use VRRP Framework       : Yes
Use VRRP VMAC            : Yes
SNMP support             : No
SHA1 support             : No
Use Debug flags          : No

[root@zh73 keepalived-1.2.13]# make && make install

VRRP 和 HSRP 区别

虚拟路由冗余协议(Virtual Router Redundancy Protocol，简称VRRP)是由IETF提出的解决局域网中配置静态网关出现单点失效现象的路由协议。使用组播方式通信。

VRRP是一种路由容错协议，也可以叫做备份路由协议。一个局域网络内的所有主机都设置缺省路由（默认网关），当网内主机发出的目的地址不在本网段时，报文将被通过缺省路由发往外部路由器，从而实现了主机与外部网络的通信。当缺省路由器down掉（即端口关闭）之后，内部主机将无法与外部通信，如果路由器设置了VRRP时，那么这时，虚拟路由将启用备份路由器，从而实现全网通信。

HSRP：热备份路由器协议（HSRP）的设计目标是支持特定情况下 IP 流量失败转移不会引起混乱、并允许主机使用单路由器，以及即使在实际第一跳路由器使用失败的情形下仍能维护路由器间的连通性。换句话说，当源主机不能动态知道第一跳路由器的 IP 地址时，HSRP 协议能够保护第一跳路由器不出故障，是CISCO的私有协议！该协议中含有多台路由器，对应一个HSRP组。该组中只有一个路由器承担转发用户流量的职责，这就是活动路由器。当活动路由器失效后，备份路由器将承担该职责，成为新的活动路由器。这就是热备份的原理

---

HSRP和VRRP的区别：HSRP是cisco的专有协议.在Cisco的HSRP之后, internet工程任务小组(internet  engineering task force,IETF)也制定一种路由冗余协议:虚拟路由冗余协议(Virtual  Router  Redundancy  Protocol,VRRP),目前包括Csico在内的主流厂商均在其产品中支持VRRP协议！VRRP和HSRP也有很多不同。VRRP和HSRP 的一个主要的区别在安全方面：它允许参与VRRP组的设备间建立认证机制 。另一个主要区别 ：VRRP中只有三种状态 ---- 初始状态（Initialize）、主状态（Master）、备份状态（Backup），而HSRP 有六种状态。其余在报文类型 、报文格式和通过TCP而非UDP发送的报文方面也有所不同.

配置 IP  

建立 启动脚本

[root@zh73 ~]# cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/

#  如果不知道脚本的位置

[root@zh73 ~]# grep "chkconfig" /usr/local/keepalived/etc/* -R –color
/usr/local/keepalived/etc/rc.d/init.d/keepalived:# chkconfig: - 21 79

[root@zh73 ~]# chmod +x /etc/init.d/keepalived
因为我们使用非默认路径（/usr/local）安装 keepalived, 故需要修改几处路径，以保证 keepalived 能正常启劢, 需要修改的文件如下:

[root@zh73 ~]# vim /etc/init.d/keepalived

#. /etc/sysconfig/keepalived                            #此行注释

. /usr/local/keepalived/etc/sysconfig/keepalived    	      #此两行添加

export PATH="$PATH:/usr/local/keepalived/sbin"   #将 keepavlied 主程序所在路径导入到环境变量 PATH 中

[root@zh73 ~]#  vim /usr/local/keepalived/etc/sysconfig/keepalived
KEEPALIVED_OPTIONS="-D" 
#改为
KEEPALIVED_OPTIONS="-D -f /usr/local/keepalived/etc/keepalived/keepalived.conf"
#修改指定 keepalived 要加载的配置文件，设置正确的服务启动参数

配置 Keepalived+LVS-DR 模式

主 LVS 节点  zh73 配置

[root@zh73 keepalived]# cp keepalived.conf keepalived.conf.bak
[root@zh73 keepalived]# cat keepalived.conf
global_defs {
   notification_email {
     root@localhost                         #默认三个地址，修改可用地址
   }
   notification_email_from root@localhost
   smtp_server localhost
   smtp_connect_timeout 30
   router_id zh73                       #标识当前节点名字，两个节点的此项需要不相同。
}
#默认的配置文件中，使用第三方 smtp 服务器，但这在现实中几乎没有意义，发不出邮件，我们将其挃定为 localhost, 我们也可以将通知信息的发送交给本地 sendmail 服务处理。 

vrrp_instance apache {  #定义一个实例，一个集群就是一个实例。 默认VI_1 可以随意改
    state MASTER        #指定 A 节点为主节点 备用节点上设置为 BACKUP 即可 
    interface ens33         #绑定虚拟 IP 的网络接口 
    virtual_router_id 51    #VRRP 组名，两个节点的设置必须一样，以指明各个节点属于同一 VRRP 组
    priority 100            #主节点的优先级（1-254 之间），备用节点必须比主节点优先级低 
    advert_int 1             #组播信息发送间隔，两个节点设置必须一样 
    authentication {         #设置验证信息，两个节点必须一致 
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.1.66        #指定虚拟 IP, 两个节点设置必须一样
    }
}
#类似添加虚拟一个服务 ipvsadm -A -t 192.168.1.134:80 -s rr
virtual_server 192.168.1.66 80 {    #对虚拟Ip zh7373添加LVS相关内容
    delay_loop 6                    #Keepalived 多长时间监测一次 RS
    lb_algo rr                      #分发算法
    lb_kind DR                      #DR 模式
    nat_mask 255.255.255.0
    persistence_timeout 50  #同一 IP 50秒内的请求都发到同个real server ，这个会影响LVS的 rr 调度算法， 同一 IP 超过 50 秒后，再次访问，才会被转发到另一台 real server 上。 persistence 持久性的意思
    protocol TCP
# ipvsadm -a -t 192.168.1.66:80 -r 192.168.1.140 -g 添加的内容，类似这条命令
# ipvsadm -a -t 192.168.1.66:80 -r 192.168.1.128 –g 添加的内容，类似这条命令
    real_server 192.168.1.128 80 { #配置服务节点 1，需要指定 realserver 的真实 IP 地址和端口，IP和端口之间用空格隔开 
        weight 1    #配置服务节点的权值，权值大小用数字表示，数字越大，权值越高，设置权值大小可以为不同性能的服务器  
        TCP_CHECK {   			#这段内容手动添加，把以前的内容删除
                connect_timeout 3       #表示 3 秒无响应超时
                nb_get_retry 3          #表示重试次数
                delay_before_retry 3    #表示重试间隔
                connect_port 80         #检测端口
                }
    }
    real_server 192.168.1.140 80 {
        weight 1
        TCP_CHECK {
                connect_timeout 3
                nb_get_retry 3
                delay_before_retry 3
                connect_port 80
                }
    }
}
#默认配置文件中还有两个 virtual_server 模版，把剩下的都删除了，就可以。 如： 
#virtual_server 10.10.10.2 1358 {  。。。 } 
#virtual_server 10.10.10.3 1358 {  。。。 }

[root@zh73 keepalived]# systemctl restart keepalived
[root@zh73 keepalived]# systemctl enable keepalived
[root@zh73 keepalived]# ipvsadm -L –n

[root@zh73 ~]# ip addr | grep 192.168.1.66
    inet 192.168.1.66/32 scope global ens33

备用  LVS 节点  zh74 配置

• 安装 ipvsadm
• 安装 keepalived

[root@zh73 ~]# scp /usr/local/keepalived/etc/keepalived/keepalived.conf 192.168.1.133:/usr/local/keepalived/etc/keepalived/keepalived.conf

[root@zh74 keepalived]# vi keepalived.conf
注：红色为改动项值
 router_id xuegod63   #运行 keepalived 的机器标示符
}
vrrp_instance apache {
    state BACKUP            #当前 LVS 状态为备用分发器
    interface ens33         # 修改需要绑定的网卡名字
    virtual_router_id 51
    priority 90             #LVS 优先级,备的要比主的小 


[root@zh74 keepalived]# systemctl restart keepalived
[root@zh74 keepalived]# systemctl enable keepalived
[root@zh74 keepalived]# ipvsadm -L –n

测试LVS IP飘移

[root@zh73 ~]# systemctl stop keepalived

[root@zh74 ~]# ip addr | grep 192.168.1.66
    inet 192.168.1.66/32 scope global ens33

[root@zh74 ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.66:80 rr persistent 50

配置 Realserver1

[root@zh75 ~]# vim /etc/init.d/lvsrsdr
#!/bin/bash
#description:start relserver
VIP=192.168.1.66
source /etc/init.d/functions                #加载环境变量（可以加载所有的环境变量）
case $1 in
start)
        echo 'start LVS of Realserver DR'
        /sbin/ifconfig lo:1 $VIP broadcast $VIP netmask 255.255.255.255 up
        /sbin/route add -host $VIP dev lo:1
        echo '1' > /proc/sys/net/ipv4/conf/lo/arp_ignore
        echo '2' > /proc/sys/net/ipv4/conf/lo/arp_announce
        echo '1' > /proc/sys/net/ipv4/conf/all/arp_ignore
        echo '2' > /proc/sys/net/ipv4/conf/all/arp_announce
        ;;
stop)
        /sbin/ifconfig lo:1 down
        echo 'Close LVS of Realserver DR'
        echo '0' > /proc/sys/net/ipv4/conf/lo/arp_ignore
        echo '0' > /proc/sys/net/ipv4/conf/lo/arp_announce
        echo '0' > /proc/sys/net/ipv4/conf/all/arp_ignore
        echo '0' > /proc/sys/net/ipv4/conf/all/arp_announce
        ;;
*)
        echo "Usage:$0 (start|stop)"
exit 1
esac


[root@zh75 ~]# chmod +x /etc/init.d/lvsrsdr

[root@zh75 ~]# /etc/init.d/lvsrsdr start
Reloading systemd:                                         [  确定  ]
Starting lvsrsdr (via systemctl):                          [  确定  ]

[root@zh75 ~]# echo "/etc/init.d/lvsrsdr start" >> /etc/rc.local
[root@zh75 ~]# ifconfig | grep 192.168.1.66
        inet 192.168.1.66  netmask 255.255.255.255

[root@zh75 ~]# cat /var/www/html/index.html 
zh75

test successful.

[root@zh75 ~]# systemctl restart httpd

配置 Realserver2

[root@zh76 ~]# vim /etc/init.d/lvsrsdr
#!/bin/bash
#description:start relserver
VIP=192.168.1.66
source /etc/init.d/functions                #加载环境变量（可以加载所有的环境变量）
case $1 in
start)
        echo 'start LVS of Realserver DR'
        /sbin/ifconfig lo:1 $VIP broadcast $VIP netmask 255.255.255.255 up
        /sbin/route add -host $VIP dev lo:1
        echo '1' > /proc/sys/net/ipv4/conf/lo/arp_ignore
        echo '2' > /proc/sys/net/ipv4/conf/lo/arp_announce
        echo '1' > /proc/sys/net/ipv4/conf/all/arp_ignore
        echo '2' > /proc/sys/net/ipv4/conf/all/arp_announce
        ;;
stop)
        /sbin/ifconfig lo:1 down
        echo 'Close LVS of Realserver DR'
        echo '0' > /proc/sys/net/ipv4/conf/lo/arp_ignore
        echo '0' > /proc/sys/net/ipv4/conf/lo/arp_announce
        echo '0' > /proc/sys/net/ipv4/conf/all/arp_ignore
        echo '0' > /proc/sys/net/ipv4/conf/all/arp_announce
        ;;
*)
        echo "Usage:$0 (start|stop)"
exit 1
esac


[root@zh76 ~]# chmod +x /etc/init.d/lvsrsdr

[root@zh76 ~]# /etc/init.d/lvsrsdr start
Reloading systemd:                                         [  确定  ]
Starting lvsrsdr (via systemctl):                          [  确定  ]

[root@zh76 ~]# echo "/etc/init.d/lvsrsdr start" >> /etc/rc.local
[root@zh76 ~]# ifconfig | grep 192.168.1.66
        inet 192.168.1.66  netmask 255.255.255.255

[root@zh76 ~]# cat /var/www/html/index.html 
zh76

test successful.

[root@zh76 ~]# systemctl restart httpd

测试

50s之前图

50s之后图

---