利用LVS+Keepalived实现高性能高可用负载均衡

 

2011-11-18 17:29:18

标签：负载均衡 高可用 lvs 高性能 keepalived

原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://loveyan.blog.51cto.com/829079/718293

LVS的安装配置
减轻服务器的压力，是每个公司都想实现的，方法有很多种，可以用软件实现，也可以用硬件实现，可对于一些中小型企业来说，承受不起硬件负载均衡带来的负担，所以就选择了用软件，本文介绍了用LVS+Keepalived来搭建一个实现高性能高可用负载均衡的环境。
一． LVS+Keepalived  介绍
    1. LVS
       LVS是Linux   Virtual   Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在 1998 年 5 月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。目前有三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR ）；
八种调度算法（rr,wrr,lc,wlc,lblc,lblcr,dh,sh ）。
    2. Keepalvied
       Keepalived 在这里主要用作 RealServer的健康状态检查LoadBalance主机和
       BackUP 主机之间failover 的实现
二.  网站负载均衡拓朴图

IP信息表
LVS-DR-MASTER    192.168.2.117
LVS-DR-BACKUP    192.168.0.36
LVS-DR-VIP         192.168.2.121
WEB1-Realserver     192.168.2.116
WEB2-Realserver     192.168.2.119
GateWay            192.168.0.1
LVS-DR-VIP指的是虚拟IP地址，还可以叫做LVS集群的服务IP，在DR、TUN模式中，数据包是直接返回给用户的，所以，在Director Server上以及集群的每个节点上都需要设置这个地址。此IP在Real Server上一般绑定在回环地址上.
各个Real Server可以是在同一个网段内，也可以是相互独立的网段，还可以是分布在internet上的多个服务器.
三.   安装LVS 和Keepalvied 软件包
LVS安装：yum –y install ipvsadm
Keepalived安装：wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz
#tar zxvf keepalived-1.1.15.tar.gz
#cd keepalived-1.1.15
#./configure   && make && make install
#find / -name keepalived     # 查看keepalived 位置
#cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
#cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
#mkdir /etc/keepalived
#cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
#cp /usr/local/sbin/keepalived /usr/sbin/
#service keepalived start|stop       #做成系统启动服务方便管理.
四.  配置LVS 实现负载均衡
一、LVS-DR-MASTERS设置：
[root@localhost ~]#ifconfig eth0:0 192.168.2.121 broadcast 192.168.2.121 netmask 255.255.255.255 up
此处在eth0设备上绑定了一个虚拟设备eth0:0，同时设置了一个虚拟IP是192.168.2.121，也就是上面我们规划的IP地址，然后指定广播地址也为192.168.2.121，需要特别注意的是，这里的子网掩码为255.255.255.255。
然后给设备eth0:0指定一条路由，执行如下指令：
[root@localhost ~]#route add -host 192.168.2.121 dev eth0:0   
然后用ipvsadm来配置LVS
[root@localhost ~]# ipvsadm -A -t 192.168.2.121:80 -s rr -p 600
表示在内核的虚拟服务器列表中添加一条192.168.2.121的虚拟服务器记录，并且指定此虚拟服务器的服务端口为80，然后指定此虚拟服务器的调度策略为轮询调度，并且在每个real server上的持续服务时间为600秒，即10分钟
[root@localhost ~]# ipvsadm -a -t 192.168.2.121:80 -r 192.168.2.116:80 –g
[root@localhost ~]# ipvsadm -a -t 192.168.2.121:80 -r 192.168.2.119:80 –g
以上两条设置表示在虚拟服务器192.168.2.121中添加两条新的Real Server记录，两个Real Server的IP分别为192.168.2.116和192.168.2.119，参数“-g”指定了虚拟服务器的工作模式为直接路由模式，即DR模式。
然后开启数据转发功能 并且立即生效
[root@localhost ~]#echo "1" >/proc/sys/net/ipv4/ip_forward
[root@localhost ~]#sysctrl –p  
以上的操作可以用脚本来实现
Vim /usr/local/sbin/lvs-dr.sh
#!/bin/bash
GW=192.168.0.1
# website director vip.
SNS_VIP=192.168.2.121
SNS_RIP1=192.168.2.119
SNS_RIP2=192.168.2.116
logger $0 called with $1
case "$1" in
start)
  # set squid vip
  /sbin/ipvsadm --set 30 5 60
  /sbin/ifconfig eth0:0 $SNS_VIP broadcast $SNS_VIP netmask 255.255.255.255 up
  /sbin/route add -host $SNS_VIP dev eth0:0
  /sbin/ipvsadm -A -t $SNS_VIP:80 -s wrr -p 3
  /sbin/ipvsadm -a -t $SNS_VIP:80 -r $SNS_RIP1:80 -g -w 1
  /sbin/ipvsadm -a -t $SNS_VIP:80 -r $SNS_RIP2:80 -g -w 1
  touch /var/lock/subsys/ipvsadm >/dev/null 2>&1
  ;;
stop)
      /sbin/ipvsadm -C
      /sbin/ipvsadm -Z
      ifconfig eth0:0 down
      ifconfig eth0:1 down
      route del $SNS_VIP
      route del $SS_VIP
      rm -rf /var/lock/subsys/ipvsadm >/dev/null 2>&1
      echo "ipvsadm stoped"
      ;;
status)
      if [ ! -e /var/lock/subsys/ipvsadm ];then
      echo "ipvsadm stoped"
      exit 1
      else
      echo "ipvsadm OK"
      fi
      ;;
*)
echo "Usage: $0 {start|stop|status}"
exit 1
esac
exit 0
可以用以上脚本来启动和关闭LVS，只需要./ lvs-dr.sh start就可以开启LVS了
二、Realserver的设置
[root@localhost ~]#ifconfig lo:0 192.168.2.121 netmask 255.255.255.255 broadcast 192.168.2.121
在本地回环接口上绑定了一个虚拟设备lo:0 设置一个IP为192.168.2.121 掩码为255.255.255.255
[root@localhost ~]#route add -host 192.168.2.121 dev lo:0
为这个虚拟设备添加一条路由
echo “1″ >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo “2″ >/proc/sys/net/ipv4/conf/lo/arp_announce
echo “1″ >/proc/sys/net/ipv4/conf/all/arp_ignore
echo “2″ >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl –p
以上是忽略arp请求，立即生效。
由于虚拟ip，也就是上面的LVS-DR-VIP(192.168.2.121)地址，是Director Server和所有的Real server共享的，如果有ARP请求VIP地址时，Director Server与所有Real server都做应答的话，就出现问题了，因此，需要禁止Real server响应ARP请求。
2台WEB1-Realserver都做此配置
以上操作可以用如下脚本来操作：
Vim /usr/local/sbin/realserver.sh
!#/bin/bash
SNS_VIP=192.168.2.121
case "$1" in
start)
      ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP
      /sbin/route add -host $SNS_VIP dev lo:0
      echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
      echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
      echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
      echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
      sysctl -p >/dev/null 2>&1
      echo "RealServer Start OK"
      ;;
stop)
     ifconfig lo:0 down
      route del $SNS_VIP >/dev/null 2>&1
      echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
      echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
      echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
      echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
      echo "RealServer Stoped"
      ;;
*)
      echo "Usage: $0 {start|stop}"
      exit 1
esac
exit 0
可以用以上脚本来启动和关闭lo:0回环接口上绑定的虚拟设备，只需要./realserver  start
五．利用Keepalvied 实现负载均衡和和高可用性
1.配置在主负载均衡服务器上配置keepalived.conf
#vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
   notification_email {
#     [email protected]                  //报警的邮箱   
   }
#   notification_email_from [email protected]           //发送报警邮件的邮箱地址
#   smtp_server 192.168.200.1                     //提供邮件服务的服务器的IP
#   smtp_connect_timeout 30                      //邮件服务器连接超时的时间
#   router_id LVS_DEVEL                        //邮件的标记
}
vrrp_instance VI_1 {                            
    state MASTER             // #备份服务器上将MASTER 改为BACKUP
    interface eth0
    virtual_router_id 51
    priority 100                //备份服务上将 100 改为99
    advert_int 1
    authentication {
        auth_type PASS         //加密方式
        auth_pass 1111          //密码，MASTER 和BACKUP必须一致
    }
    virtual_ipaddress {
        192.168.2.121           // #(如果有多个VIP，继续换行填写.)
    }
}
virtual_server 192.168.2.121 80 {         //虚拟服务器IP和端口
    delay_loop 6                     // #(每隔6 秒查询realserver 状态)
    lb_algo wrr                      // #(lvs 算法)
    lb_kind DR                      // #(Direct Route)模式
    nat_mask 255.255.255.255          //子网掩码
    persistence_timeout 50      // #( 同一IP 的连接60 秒内被分配到同一台realserver)
    protocol TCP                // #(用TCP 协议检查realserver 状态)
    real_server 192.168.2.116 80 {     //虚拟服务器下面的realserver的IP和端口
        weight 1                  //#(权重)，越大被分配到的几率越大
        TCP_CHECK {
        connect_timeout 10          // #(10 秒无响应超时)
        nb_get_retry 3              //尝试3次
        delay_before_retry 3         //每次间隔3秒
        connect_port 80             //连接端口
                }
     }
    real_server 192.168.2.119 80 {
        weight 1
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
                }
     }
}
2.   BACKUP服 务 器 同 上 配 置 ，先 安 装 lvs再 按 装  keepalived,  然 后 配 置
/etc/keepalived/keepalived.conf，只需将红色标示的部分改一下即可.
现在，在Master和backup上都运行脚本./lvs-dr.sh atsrt
在Master和backup上启动keepalived。
在realserver都运行脚本./realserver.sh start
然后用ipvsadm –ln来查看集群中的服务器
[root@localhost sbin]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.2.121:80 wrr persistent 3
  -> 192.168.2.116:80             Route   1      0          0        
  -> 192.168.2.119:80             Route   1      0          0     
这样，当用户访问192.168.2.121的80端口的时候，就会被随机分配到realserver其中的一台上面，当realserver其中一台宕机的话，LVS会自动把宕机的机器提出服务器群集，当这台宕机的服务器恢复正常的时候，LVS会自动把它加入服务器群集中。
如果LVS-MASTER宕机的话，，LVS- BACKUP就会自动接管LVS-MASTER上运行的服务，当LVS-MASTER恢复正常的时候，LVS- BACKUP就会把运行的服务交给LVS-MASTER来运行。