LVS负载均衡——DR+Keepalived部署实战

一、LVS负载均衡—DR

1、LVS-DR数据包流向分析

• 为方便进行原理分析，将Client与群集机器放在同一网络中，数据包流经的路线为1-2-3-4

  vip每个节点都要配置并且要相同，作为唯一入口，给均衡器

1、Client向目标VIP发出请求，Director（负载均衡器）接收。

此时IP包头及数据帧头信息为：

2、Director根据负载均衡算法选择RealServer_1，不修改也不封装IP报文，而是将数据帧的MAC地址改为RealServer_1的MAC地址，然后在局域网上发送。

IP包头及数据帧头信息如下：

3、RealServer_1收到这个帧，解封装后发现目标IP与本机匹配（RealServer事先绑定了VIP），于是处理这个报文。随后重新封装报文，发送到局域网。

此时IP包头及数据帧头信息为：

4、Client将收到恢复报文。Client认为得到正常的服务，而不会知道是哪一台服务器处理的

注意：如果跨网段，那么报文通过路由器经由Internet返回给用户

2、LVS-DR中的ARP问题

• 在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址

• 在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱

  • 当一个ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上的，它们都会接收到 ARP广播
  • 此时只有前端的负载均衡器进行响应, 其他节点服务器不应该响应ARP广播

• 对节点服务器进行处理，使其 不响应针对VIP的ARP请求

  • 使用虚接口lo:0承载VIP地址
  • 设置内核参数arp_ ignore=1 （系统只响应目的IP为本地IP的ARP 请求）

• RealServer返回报文(源IP是VIP) 经路由器转发，在重新封装报文时, 需要先获取路由器的MAC地址

• 发送ARP请求时，Linux默认使用IP 包的源IP地址(即VIP)作为ARP请求包中的源IP地址，而不使用发送接口(例如ens33) 的IP地址

• 路由器收到ARP请求后，将更新ARP表项

• 原有的VIP对应Director的MAC地址会被更新为VIP对应 RealServer的MAC地址

• 此时新来的请求报文，路由器根据ARP表项，会将该报文转发给 RealServer，从而导致Director的 VIP失效

• 解决方法:

  • 对节点服务器进行处理，设置内核参数arp_announce=2（系统不使用IP包的 源地址来设置ARP请求的源地址，而选 择发送接口的IP地址）

二、Keepalived

在企业应用中，单台服务器承担应用存在单点故障的危险，在企业应用集群中，存在了至少两处单点故障危险，单点故障一旦发生，企业服务将发生中断，造成极大的危害

Keepalived是专为LVS和HA设计的一款健康检查工具，支持故障自动切换（Failover），支持节点健康状态检查（Health Checking）

官方网站：http://www.keepalived.org/

keepalived的设计目标是构建高可用的lvs负载均衡群集，可以调用ipvsadm工具来创建虚拟服务器、管理服务器池，而不仅仅用作双机热备

使用keepalived构建lvs群集更加简便易用，主要优势体现在：

• 对lvs负载调度器实现热备切换，提高可用性

• 对服务器池中的节点进行健康检查，自动移除失效节点，恢复后在重新加入

1、Keepalived实现原理剖析

• Keepalived采用VRRP热备份协议实现Linux服务器的多机热备功能

• VRRP，虚拟路由冗余协议，是针对路由器的一种备份解决方案

  • 由多台路由器组成一个热备组， 通过共用的虚拟IP地址对外提供服务
  • 每个热备组内同一时刻只有一台主路由器提供服务，其他路由器处于冗余状态
  • 若当前在线的路由器失效,则其他路由器会根据设置的优先级自动接替虚 拟IP地址，继续提供服务

2、Keepalived示例讲解

• Keepalived可实现多机热备,每个热备组可有多台服务器，最常用的就是双机热备
• 双机热备的故障切换是由虚拟IP地址的漂移来实现，适用于各种应用服务器
• 本案例将实现基于Web服务的双机热备
  • 漂移地址: 192.168.100.10
  • 主、备服务器: 192.168.100.110、192.168.100.120
  • 提供的应用服务: Web

3、Keepalived master服务器配置项

Keepalived配置目录位于/etc/keepalived/

Keepalived.conf是主配置文件

globa_defs {…}区段指定全局参数

vrrp_instance实例名称{…}区段指定vrrp热备参数

注释文字以“！”符号开头

目录samples/，提供了许多配置样例作为参考

常用配置选项讲解

●router_id HA_TEST_R1：本路由器(服务器)的名称

●vrrp_instanceVl _1 ：定义VRRP热备实例

●state MASTER：热备状态，MASTER表示主服务器

●interface ens33 ：承载VIP地址的物理接口

●virtual_router_ id 1 ：虚拟路由器的ID号，每个热备组保持id必须一致

●priority 100：优先级数值越大优先级越高

●advert_int 1：通告间隔秒数(心跳频率)

●auth_type PASS：认证类型

●auth_pass 123456：密码字串

●virtual_ jipaddress {vip}：指定漂移地址(VIP)，可以有多个（多个之间中间用逗号分隔）

4、Keepalived slave服务器配置项

Keepalived备份服务器的配置与master的配置有三个选项不同

• router_id：设为自有名称
• state：设为BACKUP
• prority：值低于主服务器

其他选项与master相同

5、 配置主调度器

全局配置、热备配置：首先应为主、从调度器实现热备功能，漂移地址使用LVS群集的VIP地址

Web服务器池配置：在Keepalived的热备配置基础上，添加“virtual_server VIP端口{…}”区段来配置虚拟服务器，主要包括对负载调度算法、群集工作模式、健康检查间隔、真实服务器地址等参数的设置

6、配置Web节点服务器

在DR模式的lvs集群中，除了需要调整/proc系统的ARP响应参数以外，还需要为虚拟接口lo:0配置VIP地址，并添加一条到VIP的本地路由，具体方法与LVS-DR集群一致

7、测试群集

在客户机能够通过群集的VIP地址192.168.100.10正常访问web内容

当主、从调度器任何一个失效时，web站点仍然可以访问

只要服务器池有两台及以上的真实服务器可用，就可以实现访问量的负载均衡

三、LVS-DR+Keepalived实战部署

实验：

VIP（ens33:0）	192.168.100.10
centos7-1（LVS+keepalived）	192.168.100.110
centos7-2（LVS+keepalived）	192.168.100.120
centos7-3（web1）	192.168.100.201
centos7-3（web2）	192.168.100.202

1、配置DR调度服务器

已一台为例，另一台配置相同

#安装工具： ipvsadm 和 keepalived

[root@localhost ~]# yum install keepalived ipvsadm -y

#关闭防火墙

[root@localhost init.d]# systemctl stop firewalld.service 
[root@localhost init.d]# setenforce 0

#更改配置文件并配置相应规则

[root@localhost ~]# vim /etc/sysctl.conf
#开启路由功能
net.ipv4.ip_forward=1
#proc响应关闭重定向功能，arp
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

[root@localhost ~]# sysctl -p    //生效

#配置VIP（虚拟IP）

[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-ens33 ifcfg-ens33:0
#删除原有内容，添加以下内容配置VIP
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.100.10
NETMASK=255.255.255.0

[root@localhost network-scripts]# ifup ens33:0       //开启

#编写便于service管理的脚本

[root@localhost network-scripts]# cd /etc/init.d/
[root@localhost init.d]# vim dr.sh
#!/bin/bash
GW=192.168.100.1
VIP=192.168.100.10
RIP1=192.168.100.201
RIP2=192.168.100.202
case "$1" in
start)
        /sbin/ipvsadm --save > /etc/sysconfig/ipvsadm		//保存配置
        systemctl start ipvsadm						//启动
        /sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.255 broadcast $VIP up				//设置ens33:0地址，广播地址，子网掩码，并开启
        /sbin/route add -host $VIP dev ens33:0			//添加路由网段信息
        /sbin/ipvsadm -A -t $VIP:80 -s rr			//定虚拟服务访问入口，指定轮询算法
        /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g		//指定真实服务器，dr模式
        /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
        echo "ipvsadm starting------------------[ok]"
        ;;
stop)
        /sbin/ipvsadm -C			//清空缓存
        systemctl stop ipvsadm		//关闭服务
        ifconfig ens33:0 down		//关闭接口
        route del $VIP			//删除路由信息
        echo "ipvsamd stoped--------------------[ok]"
        ;;
status)
        if [ ! -e ar/lock/subsys/ipvsadm ];then			//判断文件存在与否决定状态
        echo "ipvsadm stoped--------------------"
        exit 1
                else
                echo "ipvsamd Runing-------------[ok]"
        fi
        ;;
        *)
        echo "Usage: $0 {start|stop|status}"
        exit 1
        esac
        exit 0

#添加权限并执行脚本

[root@localhost init.d]# chmod +x dr.sh 
[root@localhost init.d]# service dr.sh start
ipvsadm starting------------------[ok]

2、节点服务器配置（Web）

为了区分验证结果，第一台与第二台web节点唯一不同的就是站点首页的内容，其他配置均一致

#关闭防火墙

[root@localhost ~]# systemctl stop firewalld.service 
[root@localhost ~]# setenforce 0

#安装apache并开启

[root@localhost ~]# yum install -y httpd
[root@localhost ~]# systemctl start httpd.service 

#添加一个站点首页便于验证

第二台web节点站点首页内容hello accp

[root@localhost ~]# cd /var/www/html
[root@localhost html]# echo "hello kgc" > index.html

#配置VIP（虚拟IP）

root@localhost html]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vim ifcfg:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.100.10
NETMASK=255.255.255.0

[root@localhost network-scripts]# ifup lo:0 (启用)

#编写便于service管理的脚本

[root@localhost init.d]# cd /etc/init.d
[root@localhost init.d]# vim web.sh
#!/bin/bash
VIP=192.168.100.10
        case "$1" in
        start)
                ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
                /sbin/route add -host $VIP dev lo:0
        echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
        echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
        echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
        echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
        sysctl -p > /dev/null 2>&1
        echo "RealServer Start OK "
        ;;
        stop)
                ifconfig lo:0 down
                route del $VIP /dev/null 2>&1
                echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
                echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
                echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
                echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
    echo "RealServer Stoped"
                ;;
        *)
                echo "Usage: $0 {start|stop}"
                exit 1
        esac
        exit 0

#添加权限并执行脚本

[root@localhost init.d]# chmod +x web.sh
[root@localhost init.d]# service web.sh start

#使用客户端进行访问验证

如无法访问，回到LVS和Web节点，将脚本全部重启

3、部署 keepalived

1）DR1配置

2）DR2配置

#更改后启动keepalived

[root@localhost keepalived]# systemctl start keepalived.service

四、keepalived验证

这个实验中，我们部署了 LVS 和 keepalived，为了实现负载均衡和双机热备

现在可以尝试将DR1（master）宕掉，访问页面，发现依然可以访问，说明双机热备成功了

若无法显示，可以尝试将服务器的脚本或其他服务重启