linux下lvs搭建负载均衡集群

常用开源集群软件有:lvs,keepalived,haproxy,nginx,apache,heartbeat

常用商业集群硬件有:F5,Netscaler,Radware,A10等

一、LVS介绍

        LVS是linux virtual server的简写linux虚拟服务器,是一个虚拟的服务器集群系统,可以再unix/linux平台下实现负载均衡集群功能。该项目在1998年5月由章文嵩博士组织成立。

       

     LVS的三种工作模式:1.VS/NAT模式(Network address translation)2.VS/TUN模式(tunneling)

 3.DR模式(Direct routing)

 

二、搭建LVS环境

1.LVS/NAT 配置

实验环境准备:

需要准备三台centos6.6系统机器,其中Director机器需要安装两块网卡;

Director的hostname命名为movies,两台real server的hostname各命名longls、bols;

每台机器上要提前安装nginx服务,为避免不必要的错误也把扩展源epel-release给安装了;

以下为各个服务器的IP:     

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
[root@movies ~]# ifconfig   //此为Director机器,eth0为看成外网IP、eth1看成内网IP
 eth0      Link encap:Ethernet  HWaddr 00:0C:29:E6:9E:DF 
          inet addr:192.168.1.111  Bcast:192.168.1.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fee6:9edf/64 Scope:Link
 eth1      Link encap:Ethernet  HWaddr 00:0C:29:E6:9E:E9  
          inet addr:192.168.217.111  Bcast:192.168.217.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fee6:9ee9/64 Scope:Link
[root@longls ~]# ifconfig   //第一台real server机器,eth1看成内网IP
 eth1      Link encap:Ethernet  HWaddr 00:0C:29:1B:40:8E  
          inet addr:192.168.217.120  Bcast:192.168.217.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe1b:408e/64 Scope:Link
 [root@bols ~]# ifconfig   //第二台real server机器,eth1看成内网IP
 eth1      Link encap:Ethernet  HWaddr 00:0C:29:77:83:34  
          inet addr:192.168.217.119  Bcast:192.168.217.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe77:8334/64 Scope:Link
         同时也要将Director的eth1网卡的IP设置为两台real server的网关;
[root@bols ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
192.168.217.0   0.0.0.0         255.255.255.0   U     0      0        0 eth1
169.254.0.0     0.0.0.0         255.255.0.0     U     1003   0        0 eth1
0.0.0.0         192.168.217.111 0.0.0.0         UG    0      0        0 eth1
[root@longls ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
192.168.217.0   0.0.0.0         255.255.255.0   U     0      0        0 eth1
169.254.0.0     0.0.0.0         255.255.0.0     U     1003   0        0 eth1
0.0.0.0         192.168.217.111 0.0.0.0         UG    0      0        0 eth1



开始搭建环境:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
[root@movies ~]# yum install -y  ipvsadm  //Director安装此命令,两台real server不用安装
[root@movies ~]# vim /usr/local/sbin/lvs_nat.sh   //Direcotr 上添加以下内容
#! /bin/bash
 # director 服务器上开启路由转发功能:
echo 1 > /proc/sys/net/ipv4/ip_forward
# 关闭icmp的重定向
 echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
 echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
 echo 0 > /proc/sys/net/ipv4/conf/eth0/send_redirects
 echo 0 > /proc/sys/net/ipv4/conf/eth1/send_redirects
  
# director 设置nat防火墙
 iptables -t nat -F
 iptables -t nat -X
 iptables -t nat -A POSTROUTING -s 192.168.217.0/24  -j MASQUERADE
 # director设置ipvsadm
 IPVSADM='/sbin/ipvsadm'
 $IPVSADM -C
 $IPVSADM -A -t 192.168.1.111:80 -s lc -p 300
 $IPVSADM -a -t 192.168.1.111:80 -r 192.168.217.119:80 -m -w 1
 $IPVSADM -a -t 192.168.1.111:80 -r 192.168.217.120:80 -m -w 1
[root@movies ~]# /bin/bash /usr/local/sbin/lvs_nat.sh  //执行脚本
[root@movies ~]# iptables -nvL -t nat   //查看规则
Chain PREROUTING (policy ACCEPT 3 packets, 534 bytes)
 pkts bytes target     prot opt in     out     source               destination         
 
Chain POSTROUTING (policy ACCEPT 1 packets, 124 bytes)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 MASQUERADE  all  --  *      *       192.168.217.0/24     0.0.0.0/0           
 
Chain OUTPUT (policy ACCEPT 1 packets, 124 bytes)
 pkts bytes target     prot opt in     out     source               destinatio
[root@movies ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.111:80 lc persistent 300
  -> 192.168.217.119:80           Masq    1      0          0         
  -> 192.168.217.120:80           Masq    1      0          0   
[root@longls ~]# /etc/init.d/nginx start  //两台real server上启动nginx服务
[root@bols ~]# /etc/init.d/nginx start

通过浏览器可以看出nginx以正常启动,由于两个的内容一样为避免出现错误故更该了访问文件内容;

wKioL1V22uTQvC7HAAEZFg3t824550.jpg

wKiom1V22UCCQk0sAAEig-2CoVo834.jpg

 

1
2
3
4
[root@longls ~]# cat /usr/share/nginx/html/index.html 
longls.avi
[root@bols ~]# cat /usr/share/nginx/html/index.html 
bols.avi

 更改html文件内容后在用浏览器刷新访问会变为更改后的html文件内容;

 

 测试nat规则:

更改轮询规则为lc,权重为2,进行测试:

wKioL1V23DnilTVzAACEuso9XP4803.jpg

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[root@movies ~]# /bin/bash /usr/local/sbin/lvs_nat.sh   //从新执行脚本
用另一台linux机器curl测试,出现1次longls,1次bols,来回切换说明OK
[root@localhost ~]# curl 192.168.1.111
bols.avi
[root@localhost ~]# curl 192.168.1.111
longls.avi
[root@localhost ~]# curl 192.168.1.111
bols.avi
在Director机器上ipvsadm -ln可以查看,权重比,保持的链接比大概一样;
[root@movies ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.111:80 lc
  -> 192.168.217.119:80           Masq    1      0          7         
  -> 192.168.217.120:80           Masq    1      0          7

    

2. LVS/DR 配置

实验环境准备:

需要准备三台机器,每台机器只需要配置1个ip,vip是用脚本执行后会出现的,不用手动设置;

Director的hostname命名为movies,两台real server的hostname各命名longls、bols;

每台机器上要提前安装nginx服务,为避免不必要的错误也把扩展源epel-release给安装了;

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
[root@movies ~]# vim /usr/local/sbin/lvs_dr.sh  // Director添加以下内容
#! /bin/bash
 echo 1 > /proc/sys/net/ipv4/ip_forward
 ipv=/sbin/ipvsadm
 vip=192.168.1.110
 rs1=192.168.1.119
 rs2=192.168.1.120
 ifconfig eth0:0 down
 ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up
 route add -host $vip dev eth0:0
 $ipv -C
 $ipv -A -t $vip:80 -s wrr
 $ipv -a -t $vip:80 -r $rs1:80 -g -w 3
 $ipv -a -t $vip:80 -r $rs2:80 -g -w 1
[root@bols ~]# vim /usr/local/sbin/lvs_dr_rs.sh   //两台real server都要增加以下脚本
#! /bin/bash
 vip=192.168.1.110
 ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
 echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
 echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
 echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
[root@movies ~]# /bin/sh /usr/local/sbin/lvs_dr.sh   //执行shell脚本
[root@longls ~]# sh /usr/local/sbin/lvs_dr_rs.sh
[root@bols ~]# sh /usr/local/sbin/lvs_dr_rs.sh
[root@movies ~]# ifconfig   //通过查看IP发现虚拟IP,dr显示eth0:0,rs1、rs2显示lo:0
eth0:0    Link encap:Ethernet  HWaddr 00:0C:29:E6:9E:DF  
          inet addr:192.168.1.110  Bcast:192.168.1.110  Mask:255.255.255.255
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          Interrupt:19 Base address:0x2000 
[root@longls ~]# ifconfig
lo:0      Link encap:Local Loopback  
          inet addr:192.168.1.110  Mask:255.255.255.255
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
[root@bols ~]# ifconfig 
lo:0      Link encap:Local Loopback  
          inet addr:192.168.1.110  Mask:255.255.255.255
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
[root@movies ~]# ipvsadm -ln   //查看规则
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.110:80 wrr
  -> 192.168.1.119:80             Route   3      0          0         
  -> 192.168.1.120:80             Route   1      0          0


在另开一台linux机器进行测,发现出现一次longls后出现三次bols,从而说明wrr轮询规则OK

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@localhost ~]# curl 192.168.1.110
longls.avi
[root@localhost ~]# curl 192.168.1.110
bols.avi
[root@localhost ~]# curl 192.168.1.110
bols.avi
[root@localhost ~]# curl 192.168.1.110
bols.avi
[root@localhost ~]# curl 192.168.1.110
longls.avi
[root@movies ~]# ipvsadm -ln   //查看规则发现比例大概为3:1
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.110:80 wrr
  -> 192.168.1.119:80             Route   3      0          8         
  -> 192.168.1.120:80             Route   1      0          2

 

 DR配置测试:

 若一台rs如果挂了之后,还是会轮询访问,若访问到宕掉的机器则会出现错误;

1
2
[root@longls ~]# /etc/init.d/nginx stop   //模拟该机器宕机
停止 nginx:              [确定]

根据轮询访问算法3:1比例会发现访问未宕掉机时正常访问,而访问宕掉的机器会发现报错;

1
2
3
4
5
6
7
8
[root@localhost ~]# curl 192.168.1.110
bols.avi
[root@localhost ~]# curl 192.168.1.110
bols.avi
[root@localhost ~]# curl 192.168.1.110
bols.avi
[root@localhost ~]# curl 192.168.1.110
curl: (7) couldn't connect to host


 通过上面的例子我们会发现在机器宕掉后我们仍能访问,若想将其剔除还要结合keeplived;

 

 

 

 


你可能感兴趣的:(linux下lvs搭建负载均衡集群)