LVS+Keepalived高可用群集部署

一、为什么要用Keepalived?

因为企业应用中，单台LVS服务器（单挂）承担应用存在单点故障的危险；单点故障一旦发生，企业服务将发生中断，造成极大的危害。

二、Keepalived工具介绍

专为LVS和HA设计的一款健康检查工具
支持故障自动切换
支持节点健康状态检查

三、Keepalived实现原理剖析

●Keepalived采用VRRP热备份协议实现Linux服务器的多机热备功能

●VRRP（虚拟路由冗余协议）是针对路由器的一种备份解决方案
由多台路由器组成一个热备组，通过共用的虚拟IP地址对外提供服务
每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态
若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务

●Keepalived案例讲解
Keepalived可实现多机热备，每个热备组可有多台服务器
双机热备的故障切换是由虚拟IP地址的漂移来实现，适用于各种应用服务器

四、实例：负载均衡+高可用群集

●Keepalived的设计目标是构建高可用的LVS负载均衡群集，可以调用ipvsadm工具来创建虚拟服务器、管理服务器池，而不仅仅用做双击热备

●使用Keepalived构建LVS群集更加简便易用

●主要优势
对LVS负载调度器实现热备切换，提高可用性
对服务器池中的节点进行健康检查，自动移除失效节点，恢复后再重新加入

4.1LVS-DR调度服务部署

1.安装ipvsadm和keepalived软件包

[root@localhost ~]# yum -y install ipvsadm keepalived

2.修改/etc/sysctl.conf配置文件，添加如下参数

[root@localhost ~]# vim /etc/sysctl.conf
net.ipv4.ip_forward=1
#proc响应关闭重定向功能
net.ipv4.conf.all.send_redirects=0
net.ipv4.conf.default.send_redirects=0
net.ipv4.conf.ens33.send_redirects=0

[root@localhost ~]# sysctl -p  #让sysctl.conf立刻生效

3.设置ens33:0接口地址为虚拟IP地址

[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-ens33 ifcfg-ens33:0
[root@localhost network-scripts]# vim ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.100.88
NETMASK=255.255.255.0

4.通过启动脚本实现DR工作模式

[root@localhost ~]#vim /etc/init.d/dr.sh
#!/bin/bash
VIP=192.168.100.88
RIP1=192.168.100.30
RIP2=192.168.100.50
case "$1" in
start)
    /sbin/ipvsadm --save > /etc/sysconfig/ipvsadm
    systemctl start ipvsadm
    /sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.0 broadcast $VIP up
    /sbin/route add -host $VIP dev ens33:0
    /sbin/ipvsadm -A -t $VIP:80 -s rr
    /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
    /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
    echo "ipvsadm starting -----------[ok]"
;;
stop)
    /sbin/ipvsadm -C
    systemctl stop ipvsadm
    ifconfig ens33:0 down
    route del $VIP
    echo "ipvsadm stoped -----------[ok]"
;;
status)
 if [ ! -e /var/lock/subsys/ipvsadm ];then
  echo "ipvsadm stoped -----------"
  exit 1
else
  echo "ipvsadm running -----------[ok]"
fi
;;
*)
echo "Usage: $0 {start|stop|status}"
exit 1
esac
exit 0

[root@localhost ~]# chmod +x /etc/init.d/dr.sh
[root@localhost ~]# service dr.sh start
ipvsadm starting -----------[ok]
[root@localhost ~]# ifup ens33:0

4.2web节点服务器部署

1.安装、启动apache服务

[root@localhost ~]# yum -y install httpd
[root@localhost ~]# systemctl start httpd
[root@localhost ~]# systemctl stop firewalld.service 
[root@localhost ~]# setenforce 0

2.给两台web节点服务器添加不同内容的首页文件

[root@localhost ~]# cd /var/www/html/
[root@localhost html]# echo "this is test01" > index.html    #192.168.100.30节点首页
[root@localhost html]# echo "this is test02" > index.html    #192.168.100.50节点首页

3.给web节点服务器的环回地址添加子接口，配置虚拟IP

[root@localhost html]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.100.88
NETMASK=255.255.255.255
[root@localhost network-scripts]# ifup lo:0

4.编写脚本，调整/proc系统的ARP响应参数，并添加一条到VIP的本地路由

[root@localhost ~]# vim /etc/init.d/web.sh
#!/bin/bash
VIP=192.168.100.88
case "$1" in
start)
  ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP up
  /sbin/route add -host $VIP dev lo:0
  echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
  echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
  echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
  echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
  sysctl -p > /dev/null 2>&1
  echo "RealServer Start OK"
;;
stop)
  ifconfig lo:0 down
  route del $VIP /dev/null 2>&1
  echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
  echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
  echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
  echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce  
  echo "RealServer Stoped"
;;
*)
   echo "Usage: $0 {start|stop}"
   exit 1
esac
exit 0

[root@localhost ~]# chmod +x /etc/init.d/web.sh
[root@localhost ~]# service web.sh start 
RealServer Start OK

4.3keepalived高可用部署

4.3.1如何配置master调度器

（1）全局配置、热备参数配置
要为master和backup调度器实现热备功能，漂移地址使用LVS群集的VIP地址
（2）Web服务器池配置
在keepalived的热备配置基础上，添加“virtual_server VIP 端口 {…}”区段来配置虚拟服务器
包括负载调度算法、群集工作模式、健康检查间隔、真实服务器地址等参数

4.3.2如何配置backup调度器

和master服务器有三个配置要不相同，其余配置均相同：
（1）router_id：设和其他web服务器不一样的名称
（2）state：设为BACKUP
（3）priority：值要低于主服务器

4.3.3具体配置

先修改keepalived master服务器配置文件，backup服务器只需在keepalived master服务器配置文件的基础上修改router_id、state、priority三个参数即可

[root@localhost ~]# cd /etc/keepalived/
[root@localhost keepalived]# vim keepalived.conf 
global_defs {         #全局参数
...省略内容
   smtp_server 127.0.0.1     #邮件服务指向本地
   router_id LVS_01        #指定名称，各个服务器名称要不一样
  
vrrp_instance VI_1 {         #指定vrrp热备参数
    state MASTER      #服务器角色是master，备份服务器设置为BACKUP
    interface ens33     #修改物理网卡名称，默认是centos6的eth0
    virtual_router_id 51  #组号相同
    priority 100        #优先级，主服务器设置要大于备服务器
   authentication {
        auth_type PASS  #验证类型和密码，不建议修改
        auth_pass 1111   
    }
    virtual_ipaddress {
        192.168.100.88      #漂移地址（VIP）地址，可以有多个
    }
}
virtual_server 192.168.100.88 80 {            #配置虚拟服务器
    delay_loop 6
    lb_algo rr       #调度算法为轮询
    lb_kind DR    #LVS的工作模式为DR（直连路由）

    real_server 192.168.100.30 80 {
        weight 1
        TCP_CHECK {            #健康检查参数
            connect_port 80      #检查80端口连接是否正常
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
real_server 192.168.100.50 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}
[root@localhost ~]# systemctl start keepalived

最后，在win10客户端浏览器访问VIP地址192.168.100.88进行验证，成功访问并且刷新能够看到不同的网页内容代表实验成功

4.4实验注意事项

由于本实验LVS采用的是DR模式，存在ARP广播问题

客户端寻找节点服务器的ARP问题：

在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址，但是在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱
当一个ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上的，它们都会接收到ARP广播
此时只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播

解决办法：
真实服务器的VIP地址应该配置成对外隐藏，对内可见，那么什么样的配置方式才能达到上述的效果呢，答案就是在我们的回环接口上配置这个VIP，使其不响应针对VIP的ARP请求
使用虚接口lo:0承载ⅥP地址
设置内核参数 arp_ignore=1：系统只响应目的IP为本地IP的ARP请求

关于真实web服务器上的VIP配置在环回接口上，且掩码必须配置成4个255。原因详见如下博客：
链接:https://blog.csdn.net/SmallCatBaby/article/details/89876508

节点服务器回复客户端时的ARP问题：

RealServer返回报文（源IP是VIP）经路由器转发，在重新封装报文时需要先获取路由器的MAC地址，发送ARP请求时， Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口（例如ens33）的IP地址
这时路由器收到ARP请求后，将更新ARP表项，将原有的VIP对应 Director的MAC地址会被更新为ⅥP对应RealServer的MAC地址
问题来了，此时新来的请求报文，路由器根据ARP表项，会将该报文转发给RealServer，从而导致 Director的VIP失效

解决办法：
对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址