负载均衡集群（LVS/keepalived)

常用的负载均衡开源软件有： nginx、lvs、keepalived 
商业的硬件负载设备： F5、Netscale



1. LB、LVS介绍LB集群是load balance 集群的简写，翻译成中文就是负载均衡集群
 
LVS是一个实现负载均衡集群的开源软件项目 
LVS架构从逻辑上可分为调度层(Director)、server集群层(Real server)和共享存储层
LVS可分为三种工作模式:  ( dr模式参考这篇文章  http://os.51cto.com/art/201105/264303.htm    这篇介绍的还是挺详细的： http://www.it165.net/admin/html/201401/2248.html )

NAT(调度器将请求的目标ip即vip地址改为Real server的ip, 返回的数据包也经过调度器，调度器再把源地址修改为vip)
 

TUN(调度器将请求来的数据包封装加密通过ip隧道转发到后端的real server上，而real server会直接把数据返回给客户端，而不再经过调度器)
DR(调度器将请求来的数据包的目标mac地址改为real server的mac地址，返回的时候也不经过调度器，直接返回给客户端)
三种IP：DIP(driector ip), VIP(virtual ip), RIP(Real IP). 其中DIP, RIP 为同一个网段，并且为私网IP, vip为对外提供服务的ip，Director, Real server上都设置vip
LVS的调度算法：轮叫调度(Round Robin)(简称rr) ,加权轮叫(Weighted Round Robin)(简称wrr),最少链接(least connection)(LC),加权最少链接(Weighted Least Connections)(WLC) 等等   (其他算法，参考 http://www.aminglinux.com/bbs/thread-7407-1-1.html)

2. LVS/NAT 配置
三台服务器一台作为director, 两台作为real server
Director 有一个外网ip (192.168.0.11) 和一个内网ip(192.168.200.11), 两个real server上只有内网ip(192.168.200.128)和(192.168.200.129) 并且需要把两个real server的内网网关设置为director的内网ip(192.168.200.11)
两个real server 上都安装httpd: yum install -y httpd
Director上安装ipvsadm  yum install -y  ipvsadm
Direcotr 上 vim /usr/local/sbin/lvs_nat.sh //增加:


#! /bin/bash
# director 服务器上开启路由转发功能: 
echo 1 > /proc/sys/net/ipv4/ip_forward 
# 关闭icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth0/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth1/send_redirects

# director 设置nat防火墙
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.200.0/24  -j MASQUERADE
# director设置ipvsadm
IPVSADM='/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t 192.168.0.11:80 -s lc -p 300
$IPVSADM -a -t 192.168.0.11:80 -r 192.168.200.128:80 -m -w 1
$IPVSADM -a -t 192.168.0.11:80 -r 192.168.200.129:80 -m -w 1

直接运行这个脚本就可以完成lvs/nat的配置了: 
/bin/bash /usr/local/sbin/lvs_nat.sh 
通过浏览器测试两台机器上的httpd内容

3. LVS/DR 配置
三台机器:
director(eth0192.168.0.11, vip eth0:0: 192.168.0.100)
real server1(eth0 rip: 192.168. 0.21, vip lo:0: 192.168.0.100)
real server2(eth0 rip: 192.168.0.22, vip lo:0: 192.168.0.100)
Director 上 vim /usr/local/sbin/lvs_dr.sh //增加

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/sbin/ipvsadm
vip=192.168.0.100
rs1=192.168.0.21
rs2=192.168.0.22
ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev eth0:0
$ipv -C
$ipv -A -t $vip:80 -s rr 
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1


两台rs上：vim /usr/local/sbin/lvs_dr_rs.sh
#! /bin/bash
vip=192.168.0.100
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up 
route add -host $vip lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce


关于arp_ignore和 arp_announce 参考：http://www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html

然后director上执行: bash /usr/local/sbin/lvs_dr.sh
两台rs上执行: bash /usr/local/sbin/lvs_dr_rs.sh
Windows下浏览器测试访问

4. LVS/DR + keepalived配置
注意：前面虽然我们已经配置过一些操作，但是下面我们使用keepaliave操作和之前的操作是有些冲突的，所以若是之前配置过DR，请首先做如下操作：dr上执行：

$ipv -C
ifconfig eth0:0  down

前面的lvs虽然已经配置成功也实现了负载均衡，但是我们测试的时候发现，当某台real server把httpd进程停掉，那么director照样会把请求转发过去，这样就造成了某些请求不正常。所以需要有一种机制用来检测real server的状态，这就是keepalived。它的作用除了可以检测rs状态外，还可以检测备用director的状态，也就是说keepalived可以实现ha集群的功能，当然了也需要一台备用director.
备用director也需要安装一下keepalived软件 
yum install -y keepalived
安装好后，编辑配置文件  
vim /etc/keepalived/keepalived.conf   //加入如下：
vrrp_instance VI_1 {
    state MASTER   #备用服务器上为 BACKUP
    interface eth0
    virtual_router_id 51
    priority 100  #备用服务器上为90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.0.100
    }
}
virtual_server 192.168.0.100 80 {
    delay_loop 6                  #(每隔10秒查询realserver状态)
    lb_algo wlc                  #(lvs 算法)
    lb_kind DR                  #(Direct Route)
    persistence_timeout 60        #(同一IP的连接60秒内被分配到同一台realserver)
    protocol TCP                #(用TCP协议检查realserver状态)

    real_server 192.168.0.21 80 {
        weight 100               #(权重)
        TCP_CHECK {
        connect_timeout 10       #(10秒无响应超时)
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
real_server 192.168.0.22 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}

以上为主director的配置文件，从director的配置文件只需要修改
state MASTER  -> state BACKUP
priority 100 -> priority 90
配置完keepalived后，需要开启端口转发（主从都要做）：
echo 1 > /proc/sys/net/ipv4/ip_forward
然后，两个rs上执行 /usr/local/sbin/lvs_dr_rs.sh 脚本
最后，两个director上启动keepalived服务（先主后从）：
/etc/init.d/keepalived start
另外，需要注意的是，启动keepalived服务会自动生成vip和ipvsadm规则，不需要再去执行上面提到的/usr/local/sbin/lvs_dr.sh 脚本。

扩展学习：
haproxy+keepalived  http://blog.csdn.net/xrt95050/article/details/40926255
nginx、lvs、keepalived比较  http://www.csdn.net/article/2014-07-24/2820837