配置LVS + Keepalived高可用负载均衡集群

一、理论篇：

1. LVS简介：

官网 http://www.linuxvirtualserver.org

LVS 是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项 目之一。章文嵩博士目前工作于阿里集团，主要从事集群技术、操作系统、对象存储与数据库的研究。（摘自《BAIDU百科》）

2. LVS集群的组成：

LVS服务器系统由三部分组成：

1）负载均衡层：

位于整个集群系统的最前端，避免单点故障一般最少由2台或2台以上负载调度器组成。

2）服务器群组层：

是 一组真正运行应用服务器的机器组成，Real Server可以是Web、FTP、DNS、Mail 、视频等服务器中的一个或N个，每个Real Server之间通过高速的LAN/WAN相连接。为了节省宝贵的资源，在生产环境中，Director Server同时身兼Real Server的角色！

3）共享存储层：

为Real Server提供共享存储空间和内容一致性的存储区域。可以为磁盘阵列、Red Hat的GFS文件系统、Oracle的OCFS2文件系统等。

Director Server是整个LVS的核心！到目前为止，Director server只能安装在Linux、FreeBSD上，如果Linux内核是2.6及以上时，则已经内置了LVS的各个模块，不用作任何的设置就支持LVS功能。

Real Server服务器几乎为所有有系统平台，如：Windows、Linux、Solaris、AIX、BSD等系统平台。

3. LVS集群的特点：

(1) IP负载均衡和负载调度算法；

(2) 高可用性;

(3) 高可靠性;

(4) 适用环境;

(5) 开源软件。

4. LVS集群系统的优缺点：

LVS集群系统的优点：

(1) 抗负载能力强

工作在第4层仅作分发之用，没有流量的产生，这个特点也决定了它在负载均衡软件里的性能最强的；无流量，同时保证了均衡器I/O的性能不会受到大流量的影响；

(2) 工作稳定

自身有完整的双机热备方案，如LVS+Keepalived和LVS+Heartbeat；    

(3) 应用范围比较广

可以对所有应用做负载均衡；    

(4) 配置性比较低

既是优点，也是缺点，因为没有太多配置，所以并不需要太多接触，大大减少了人为出错的几率；    

LVS集群系统的缺点：

(1) 软件本身不支持正则处理，不能做动静分离，这就凸显了Nginx/HAProxy+Keepalived的优势。     

(2) 如果网站应用比较庞大，LVS/DR+Keepalived就比较复杂了，特别是后面有Windows Server应用的机器，

实施及配置还有维护过程就比较麻烦，相对而言，Nginx/HAProxy+Keepalived就简单多了。

集群根据业务目标而分为以下几种：

(1) High Availability (高可用)： 目的是保持业务的持续性。

(2) Load Balancing(负载均衡)： 将请求一个个分担到不同一计算机上去，每台计算机独立完成一个用户的请求的。

(3) High Performance (高性能)： 需要一组计算机共同完成一件事情。

5. 实现集群产品：

*HA

(1)RHCS: 企业内用得比较多

(2)heartbeat:

(3)keepalived:

(*)黄金组合: LVS + Keepalived (重点)

*LB(负载均衡)

(1)HAProxy;

(2)LVS;

(3)Nginx;

(4)硬件F5;

(5)Piranha :红帽光盘自带的,但在Linux 6.0中又去掉了

*HPC

6. LVS负载均衡技术:

(1)LVS-DR模式(Direct routing)：直接路由模式。用得最多！可以跟100个以上Real Server

(2)LVS-NAT模式(Network Address Translaton): 只能跟3~5个Real Server;

(3)LVS-TUN模式(IP Tunneling): 应用于远程，尤其是外网等

7. LVS-NAT特性:

(1)Real Server必须与Director在同一网络,仅用于与Director服务器通讯；

(2)Director接收所有的数据包通讯(包括客户端与Director、Director和real server直接的通讯)；

(3)Real Server的默认网关指向Director的真实IP地址;

(4)Director支持端口映射,可以将客户端的请求映射到Real Server的另一个端口;(与DR模式的区别)

(5)支持任意操作系统; 如:Windows、Linux、FreeBSD、AIX等

(6)单一的Director是整个集群的瓶颈(故一般都是2台或2台以上的Director机器)

8. LVS负载均衡的调度算法(静态)

(1)轮循调度(Round Robin)(rr)(最笨的调度算法)

调度器通过“轮循”调度算法将外部请求按顺序轮流分配到集群中的Real Server上，均等每一台Server，而不管Server上实际的连接和系统负载。

(2)加权轮循(Weighted Round Robin)(wrr)

调度器通过”加权轮循”调度算法根据真实服务器的不同处理能力来调访问请求。如此保证处理能力强的服务器能处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

(3)目标地址散列(Destination Hashing)(DH)(有缓存,目标不变,则不变)

它的调度算法根据请求的目标IP地址,作为散列(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,则将请求发送到该服务器,否则返回空。

(4)源地址散列(Source Hashing)(SH) (有缓存,源不变,则不变)

是根据请求的源IP地址,作为散列键(Hash key)从静态分配的散列表找出对应的服务器,若该 服务器是可用的且未超载,将请求发送到该服务器,否则返回空。

9. LVS负载均衡的调度算法(动态)

(5)最少链接(Least Connections)(LC)

调度器通过”最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。若集群系统的真实服务器具有相近的系统性能，采用“最少连接”调度算法可以较好地均衡负载。

公式：LC = 活动连接数*256 + 非活动连接数

例如：

配置LVS + Keepalived高可用负载均衡集群之图文教程

(6)加权最少链接(Weighted Least Connections)(WLC) 注：目前最优秀的调度算法！

适应:在集群系统中的服务器性能差异较大的情况下,调度器采用”加权最少链接”调算法优化负载均衡性能。具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

例如：在上表加入Real Server1权值 为3，Real Server2权值为1时，则

公式：WLC = （活动连接数*256 + 非活动连接数）/权重

(7)最短的期望的延时(Shortest Expected Delay)(SED)

sed只是在WLC上做了些微调而已。只计算活动连接数！

公式：LC = (活动连接数+1)*256 ÷权重

(8)最少队列调度(Never Queue Scheduling)(NQS)

无需队列。若Real Server的连接数=0,就直接分配过去,不需要再进行sed运算。只计算活动连接数！

(9)基于局部性的最少连接(Locality-Based Least Connections)(LBLC)

它 的调度算法针对目标IP地址的负载均衡,目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器 是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用“最少连接”的原则选出一个可用的服务 器，将请求发送到该服务器。(HD动态算法)

(10)带复制的基于局部最少链接(Locality-Based Leat Connections Witch Replication)(LBLCR)

此 调算法也是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务器的映射， 而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按“最小连接”原则从服务器 组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载，则按“按最少连接”原则从这个集群中选出一台服务器，将该服务器加入到服务 器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。

keepalived 的介绍 

官网 http://www.keepalived.org

1  keepalived是lvs 的扩展项目，因此keepalived 和lvs 之间具备良好的兼容性

2  keepalived通过对服务器池中的对象进行健康检查，同时实现了对失效机器和服务的故障隔离，并把其从服务池中删除（当然我们在 keepalived 的主配置文件中同样能够定义让其不删除，而是把其的权重设置成0）如果失效的机器或者服务，正常恢复时，keepalived 能够自动把其加入服务池。

3  keepalived 通过VRRPv2虚拟路由协议（Virtual Router Redundancy Protocol实现了负载均衡之间的失败切换

4  keepalived是一个高度模块化设计的软件，而且keepalived 工作TCP/IP  3，4，5层。 

keepalived 体系架构 如下图

1、keepalvied整体上分为用户空间和内核空间. 

2、处于下端的内核空间，包含ipvs 和NETLINKK ，LVS 的缩写LINUX  Virture Service 的缩写，是一个虚拟的服务器集群系统。netlink 提供高级路由及其他相关的网络服务器功能

3、watchdog 是负责监控checkers和VRRP进程

4、Checkers 是负责真实服务器的健康检查healthchecking，是keepalived的最重要的功能

5、VRRP starck 负责负载均衡器之间的失败切换FailOver

6、IPVS wrapper 用来发送设定的规则到内核IPVS 代码

7、Netlink Reflector用来设定Vrrp的虚拟地址VIP

8、keepalived 采用的是多进程的设计模式，每个进程负责不同的功能

二、实战篇：

负载均衡系统可以选用LVS方案，而为避免Director Server单点故障引起系统崩溃，我们可以选用LVS+Keepalived组合保证高可用性。

重点：每个节点时间都同步哈！

ntpdate time.windows.com && hwclock -w 

1、环境简介：

1）虚拟机：VMware ESXi 5.5 (CentOS 6.4 x86-64安装在其中,最小化安装)

2）操作系统： CentOS 6.5 x86-64

3）Keepalived版本：keepalived-1.2.9   (1.2.13也同样适用)

4）IPVS管理工具IPVSadm-1.26

5) Linux/Unix工具Xmanager 4.0 (Xshell)

2、禁掉防火墙和Selinux

(1) 禁掉防火墙

service iptables stop; chkconfig iptables off

如果开启防火墙则需要开放 vrrp协议

iptables -A INPUT -p vrrp  -j ACCEPT

iptables -A OUTPUT -p vrrp  -j ACCEPT

(2) 禁掉Selinux

vim /etc/selinux/config   ;# 设置 SELINUX=disabled  

setenforce 0              ;# 临时关闭 selinux

由于都是最小化安装建议每台都安装些基本软件

yum install -y bind-utils traceroute wget man sudo ntp ntpdate screen patch make gcc gcc-c++ flex bison zip unzip ftp --skip-broken

重点: DR2、Real Server1和Real Server2如下图所述完成！

3、检查DR1与DR2的连通性：

//在DR1上分别ping DR2的public IP和private IP

//在DR2上分别ping DR1的public IP和private IP

4、安装LVS软件：(分别在DR1和DR2中)

LVS软件包括二部分：

① IPVS模块，LVS已经是Linux标准内核的一部分,直接被编译在内核中!

② IPVS管理工具IPVSadm ，如：IPVSadm-1.26

1）检查是否安装了IPVS模块： 注:LVS已经是Linux标准内核的一部分,直接被编译在内核中!

方法1: 查看IPVS模块是否真的编译到内核中去了，如下图所示：

由上可知，有3个项，说明这个功能已经编译到内核中了！

方法2： 使用modprobe命令查看，如下图所示：

由上可知，明显安装了支持LVS的IPVS模块！

也可用  lsmod  |grep ip_vs  查看

2）在DR1上安装IPVS管理软件：

方法1:源码安装

make; make install
//make时，出现如下所示：

解决方法：
yum -y install popt popt-devel libnl libnl-devel popt-static

方法2: yum安装

yum -y install ipvsadm
//检查ipvsadm安装是否成功:
ipvsadm --help
如果显示了ipvsadm的各种用法，则说明ipvsadm安装成功了！

5、安装Keepalived (分别在DR1和DR2中)

用源码包安装，在编译安装时可能报错， 解决方法 (一 ) 可以选择编译内核，(二)做一个内核连接文件

yum -y  kernel-devel openssl openssl-devel gcc gcc-c++ popt popt-devel libnl libnl-devel popt-static

kernelpath=`uname -r`
ln -s /usr/src/kernels/$kernelpath usr/src/linux

[root@DR1 src]# cd keepalived-1.2.9 
[root@DR1 keepalived-1.2.9]#./configure --prefix=/usr/local/keepalived \

> --with-kernel-dir=/usr/src/kernels/$kernelpath 

重点: 确保下面3行是 yes ！如下图所示：

编译安装

make; make install

cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/rc.d/init.d  

cp /usr/local/keepalived/etc/sysconfig/keepalived /usr/local/keepalived/etc/sysconfig/keepalived_bak 

ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/ 

cp /usr/local/keepalived/etc/keepalived/keepalived.conf /usr/local/keepalived/etc/keepalived/keepalived.conf_bak

mkdir /etc/keepalived

ln -s /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived

chkconfig keepalived on 

//添加 keepalived 二进制可执行文件到系统变量中，做个软链接

[root@DR1 keepalived-1.2.9]# ln -s /usr/local/sbin/keepalived /sbin/

//检验安装是否成功：输入

keepalived --help

如果显示了Keepalived的各种用法，则说明Keepalived安装成功了！

6、配置keepalived

(1)在DR1上配置keepalived:

配置文件都是以块的形式组织的，每个模块的配置都需要用 {  } 的范围之内

在keepalived 的主配置文件中主要分为三个文本模块分别是：  

全局模块（Global Configuration），VRRPD配置模块（VRRP 实例模块），LVS模块（虚拟服务模块）；

 1、全局配置（Global Configuration）包括两个部分：即全局定义（global definition）和静态地址路由（Static ipaddress /routes）

 2、VRRPD 配置包括三个部分: 分别是VRRP脚本(VRRP scripts)   . VRRP同步组（syncgriuzation group） 和VRRP 实例（VRRP Instance

 3、LVS  配置同样也是包括两个部分：虚拟主机组（Virtual server group ） 和虚拟主机（virtual server）

//手工创建keepalived.conf文件(vim /etc/keepalived/keepalived.conf)

! Configuration File for keepalived  

global_defs {  

   notification_email {  

     [email protected]   #设置报警邮件地址,可以设置多个,每行1个，  

     [email protected]  #需开启邮件报警及本机的Sendmail服务。  

     [email protected]  

   }  

   notification_email_from [email protected]  

   smtp_server 192.168.200.1  #设置SMTP Server地址；  

   smtp_connect_timeout 30  

   router_id LVS_DEVEL  

}  

           ########VRRP Instance########  

vrrp_instance VI_1 {  

    state MASTER    #指定Keepalived的角色，MASTER为主机服务器，BACKUP为备用服务器  

    interface eth0  #实例绑定的网卡

    lvs_sync_daemon_interface eth0  #注：负载均衡器之间监听的接口，和Heartbeat 的心跳线类似，但是不会出现脑裂问题，该处与服务接口interface 使用同一网络接口

    virtual_router_id 51  #注VRID 标记（0…255）该处一定要与BACKUP 的相同

    priority 100    #定义优先级，数字越大，优先级越高，主DR必须大于备用DR。  

    advert_int 1    #同步通知间隔 MASTER与BACKUP 负载均衡器之间的同步检查时间间隔单位秒
    #sorry_server 127.0.0.1 80  # 注： 备用机，所有的real server 失效后启用，如果设置的是本地机器，同样也需要在本机上进行arp隐藏

    authentication {  

        auth_type PASS  #设置验证类型，主要有PASS和AH两种  

        auth_pass 1111  #设置验证密码  

    }  

    virtual_ipaddress {  

        192.168.1.200  #设置主DR的虚拟IP地址(virtual IP),可多设，但必须每行1个  

    }  

}  

           ########Virtual Server########  

virtual_server 192.168.1.200 80 {  #注意IP地址与端口号之间用空格隔开  

    delay_loop 6        #设置健康检查时间，单位是秒  

    lb_algo rr          #设置负载调度算法，默认为rr,即轮询算法,最优秀是wlc算法  

    lb_kind DR          #设置LVS实现LB机制，有NAT、TUNN和DR三个模式可选  

    nat_mask 255.255.255.0  

    persistence_timeout 50  #会话保持时间，单位为秒  

    protocol TCP        #指定转发协议类型，有TCP和UDP两种  

    real_server 192.168.1.132 80 {  

        weight 1          #配置节点权值，数字越大权值越高  

        TCP_CHECK {    #

            connect_timeout 3     #表示3秒无响应，则超时  

            nb_get_retry 3        #表示重试次数  

            delay_before_retry 3  #表示重试间隔  

        }  

    }  

    real_server 192.168.1.133 80 {  #配置服务器节点，即Real Server2的public IP  

        weight 3            #配置节点权值，数字越大权值越高  

        TCP_CHECK {  #拟主机健康监查方式：HTTP_GET|SSL_GET|TCP_CHECK|SMTP-CHECK|MISC_CHECK

            connect_timeout 3       #表示3秒无响应，则超时  

            nb_get_retry 3          #表示重试次数  

            delay_before_retry 3    #表示重试间隔  

        }  

    }  

}  

//启动哈keepalived、设置keepalived服务自动启动、检查是否生效，如下图所示：

(2)在DR2上配置keepalived:

先将上面记事本中的keepalived.conf配置文件，仅仅修改2处，如下图所示：

No.1处：把“stateMASTER”修改为“stateBACKUP” #即备用服务器；

No.2处：把“priority 100”修改为“priority 90” #优先级为90。

修改好后，复制到DR2的/etc/keepalived/keepalived.conf中，保存即可！

//启动哈keepalived、设置keepalived服务自动启动、检查是否生效，如下图所示：

7、配置Real Server节点:

1)yum �Cy install httpd

2)启动httpd服务时,出错:

//vim /etc/httpd/conf/httpd.conf中,依如下操作:

#265 ServerName www.example.com:80 //去掉前面的#号即可!

3)在RealServer1和RealServer2上的脚本 realserver.sh ，在每台真实服务器上添加虚拟IP地址(以便可接收LVS转发过来的包，因其转发过来的包目标IP为VIP)并设置arp 隐藏（原理见http://zh.linuxvirtualserver.org/node/2585 http://hi.baidu.com/hanxiao2100/item/874fc4fec95363c1a935a214）

vi /etc/init.d/realserver.sh

#!/bin/bash
#
# Add for chkconfig
# chkconfig: 2345 70 30
# description: RealServer's script
# processname: realserver.sh

VIP=192.168.1.200

# Source function library.
. /etc/init.d/functions

case "$1" in
start)
       ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
       /sbin/route add -host $VIP dev lo:0
       echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
       echo "RealServer Start OK"
       ;;

stop)
       ifconfig lo:0 down
       route del $VIP >/dev/null 2>&1
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
       echo "RealServer Stoped"
       ;;
       *)
       echo "Usage: $0 {start|stop}"

       exit 1
esac
exit 0

##################################################

//为realserver.sh添加权限，并设置随机启动  chkconfig realserver.sh on

8、启动keepalived + LVS集群系统：

9、测试分为三个部分：

启动keepalived + LVS集群系统：

1)高可用性功能测试：

高可用性是通过LVS的两个DR1和DR2完成的。为了模拟故障，先将DR1上的Keepalived服务停止或者干脆关掉节点DR1，然后观察备用DR2上Keepalived是否获得虚拟IP地址，即VIP 192.168.1.200

//在DR1查看哈，信息如下图所示：

由上可知，虚拟IP地址在DR1节点上，即VIP 192.168.1.200

//在DR2查看哈，信息如下图所示：

方法1：命令检验法

使用命令ipvsadm �CLn和ip addr list/show查看虚拟IP漂移情况来判断。

//关闭DR1，模拟宕机，如下图所示：

由上图可知，DR1确实宕机了，而DR2得到了虚拟IP地址（上图红框中的192.168.1.200）

且访问依然正常，再次证明了高可用性，如下图所示：

方法2：查看日志法

//关闭DR1/停止DR1的keepalived服务，模拟宕机，在DR2中查看日志，如下图日志所示：

//再查看DR2是否立刻检测到DR1出现故障，确实非常快就检测到DR1的故障，并马上接管主机的虚拟IP地址（192.168.1.200）,注意观察上图和下图！

2）负载均衡测试：

为了便于测试，我们在Real Server1和Real Server2分别配置www服务的网页且内容也好识别，如下图所示：

方法1：客户端浏览器中测试

由上可知，我们在VMWare中的XP操作系统和物理机器win 7的浏览器中分别输入http://192.168.1.200且不断地刷新之都可访问！

方法2：用压力测试法

[root@CentOS6 ~]# ab �Cc 100 �Cn 10000 http://192.168.1.200/index.html

3）故障切换测试

故障切换是测试在某个节点出现故障后，keepalived监控模块能否及时发现，然后屏蔽故障节点，同时将服务转移到正常节点上执行之。

停掉节点Real Server2服务，模拟该节点出现故障，然后查查看主、备机器日志信息：

方法1：查看主、备机器日志信息

//先停掉节点Real Server2的httpd服务，如下图所示：

//再查看DR1上的日志，如下图所示：

//再查看DR2上的日志，如下图所示：

由上可知，故障切换测试成功！

方法2：客户端浏览器中测试

不断刷新网页一直就显示如上图所示：Real Server1内容！可见故障切换成功！

三、windows realserver ARP抑制设置

一、Windows 2008

1. 添加 Microsoft loopback Adapter网络适配器

   控制面板――设备管理器――右击计算机名――添加过时硬件――欢迎使用硬件添加向导（也可以使用命令 hdwwiz.exe直接打开）――安装我手动从列表选择的硬件(高级) - 网络适配器――厂商选择Microsoft，网络适配器选择Microsoft LoopbackAdapter，下一步安装即可

    

2. 设置VIP

   在控制面板的网络连接中，把新添加的 Loopbakck适配器重命名为 Loopback

   设置该网卡IP为 虚拟IP，子网掩码为255.255.255.255

    

3. 设置ARP抑制

   在CMD命令行中执行如下命令

   @echo off

   netsh interface ipv4 set interface"Loopback" weakhostreceive=enabled

   netsh interface ipv4 set interface"Loopback" weakhostsend=enabled

   netsh interface ipv4 set interface "本地连线" weakhostreceive=enabled

   netsh interface ipv4 set interface "本地连线" weakhostsend=enabled

   pause

    

    

4. Windows 2012

   1、添加Microsoft loopback Adapter网络适配器

   控制面板――设备管理器――右击计算机名――添加过时硬件――欢迎使用硬件添加向导（也可以使用命令 hdwwiz.exe直接打开）――安装我手动从列表选择的硬件(高级) - 网络适配器――厂商选择Microsoft，网络适配器选择MicrosoftKM-TEST 环回适配器，下一步安装即可

   2、其他步骤同Windows 2008

    

5. Windows 2003

   1、添加Loopback网络适配器

   控制面板――添加硬件――选“是，我已经连接了此设备”――网络适配器－选“安装我手动从列表选择的硬件－厂商选择Microsoft，网络适配器选择Microsoft LoopbackAdapter，下一步安装即可

   2、设置VIP

   在控制面板的网络连接中，设置Microsoftloopback adapter IP为 虚拟IP，子网掩码为 255.255.255.0

   3、设置ARP抑制

   打开 regedit 注册表

   HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters\Interfaces\

   寻找“VIP”将其设置成255.255.255.255

   重启网卡之后 如果成功则VIP的 NETMASK将会变为 255.255.255.255