LVS配置指南

Part I. 安装配置ipvsadm

1>加载ip_vs模块
[root@ssn ~]# modprobe ip_vs
[root@ssn ~]# lsmod | grep ip_vs
ip_vs                  77569  0
[root@ssn ~]# cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn

2>建立kernel-source目录链接
[root@ssn src]# rpm -q kernel-devel
kernel-devel-2.6.18-8.el5
[root@ssn src]# ln -s /usr/src/kernels/2.6.18-8.el5-i686/ /usr/src/linux

3>安装ipvsadm
[sense@ssn Desktop]$ tar xzvf ipvsadm-1.24.tar.gz
[sense@ssn Desktop]$ cd ipvsadm-1.24
[sense@ssn ipvsadm-1.24]$ make
[sense@ssn ipvsadm-1.24]$ sudo make install



5>三种IP负载均衡技术的优缺点比较:

杂项　　　　　　　　　VS/NAT　　　　 VS/TUN　　　　　VS/DR
服务器操作系统　　　　任意　　　　　　支持隧道　　　　   多数(支持Non-arp )
服务器网络　　　　　　私有网络　　　　局域网/广域网　　局域网
服务器数目(100M网络)      10-20　　　　　　100　　　　　　　多(100)
服务器网关　　　　　　负载均衡器　　　自己的路由　　　   自己的路由
效率　　　　　　　　　一般　　　　　　高　　　　　　　   最高


Part II. LVS/NAT
 

 

1>director端配置
(1)开启IP转发:
临时开启(立即生效)：
[root@ssn src]# echo "1">/proc/sys/net/ipv4/ip_forward
永久开启(重启服务器或NETWROK服务后生效)：
[root@ssn src]# vi /etc/sysctl.conf
--------------------------------------------
# Controls IP packet forwarding
net.ipv4.ip_forward = 1
--------------------------------------------
[root@ssn src]# sysctl -p
(2)配置ipvsadm调度
[root@ssn src]# ipvsadm -C
[root@ssn src]# ipvsadm -A -t 192.168.1.90:80 -s wlc -p 120
[root@ssn src]# ipvsadm -a -t 192.168.1.90:80 -r 192.168.2.1:80 -m
[root@ssn src]# ipvsadm -a -t 192.168.1.90:80 -r 192.168.2.2:80 -m
[root@ssn src]# iptables -F
注：目前director端使用netfilter模块会与LVS产生冲突，所以推荐直接关闭iptables。

2>client端配置
cluster1:
[root@cluster1 ~]# vi /etc/sysconfig/network
-------------------------------------------------
NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=cluster1
GATEWAY=192.168.2.254
-------------------------------------------------
[root@cluster1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
-------------------------------------------------
DEVICE=eth0
BROADCAST=192.168.2.255
IPADDR=192.168.2.1
IPV6ADDR=
IPV6PREFIX=
NETMASK=255.255.255.0
NETWORK=192.168.2.0
ONBOOT=yes
-------------------------------------------------
cluster2:
[root@cluster2 ~]# vi /etc/sysconfig/network
-------------------------------------------------
NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=cluster2
GATEWAY=192.168.2.254
-------------------------------------------------
[root@cluster2 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
-------------------------------------------------
DEVICE=eth0
BROADCAST=192.168.2.255
IPADDR=192.168.2.2
IPV6ADDR=
IPV6PREFIX=
NETMASK=255.255.255.0
NETWORK=192.168.2.0
ONBOOT=yes
-------------------------------------------------

3>远程测试
[url]http://192.168.1.254/[/url]

4>问题说明
ip_vs模块是实现基于内核的流量调度，所以本地不会显示相应的监控程序。
[root@ssn httpd-2.2.6]# netstat -tunlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name   
tcp        0      0 127.0.0.1:8000              0.0.0.0:*                   LISTEN      5321/nasd           
tcp        0      0 0.0.0.0:873                 0.0.0.0:*                   LISTEN      6010/rsync          
tcp        0      0 :::873                      :::*                        LISTEN      6010/rsync     

[root@ssn httpd-2.2.6]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.90:http wlc
  -> 192.168.2.3:http             Masq    1      0          42        
  -> 192.168.2.2:http             Masq    1      0          44        



Part III. LVS/DR
 

1>director配置
root@ssn httpd-2.2.6]# vi /etc/sysctl.conf
------------------------------------------------
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 1
net.ipv4.conf.default.send_redirects = 1
net.ipv4.conf.eth0.send_redirects = 1
------------------------------------------------
[root@ssn httpd-2.2.6]# sysctl -p
配置VIP:
[root@ssn httpd-2.2.6]# ip addr add 192.168.1.254 dev eth0
[root@ssn httpd-2.2.6]# ip route add 192.168.1.254/32 dev eth0
配置ipvsadm调度:
[root@ssn httpd-2.2.6]# ipvsadm -C
[root@ssn httpd-2.2.6]# ipvsadm -A -t 192.168.1.254:80 -s wlc -p 120
[root@ssn httpd-2.2.6]# ipvsadm -a -t 192.168.1.254:80 -r 192.168.1.92 -g
[root@ssn httpd-2.2.6]# ipvsadm -a -t 192.168.1.254:80 -r 192.168.1.93 -g
关闭防火墙:
[root@ssn src]# iptables -F
注：目前director端使用netfilter模块会与LVS产生冲突，所以推荐直接关闭iptables。

2>realserver配置
cluster1:
[root@cluster1 ~]# vi /etc/sysctl.conf
----------------------------------------
net.ipv4.ip_forward = 0
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
----------------------------------------
[root@cluster1 ~]# sysctl  -p
配置VIP:
[root@cluster1 ~]# ip addr add 192.168.1.254 dev lo
[root@cluster1 ~]# ip route add 192.168.1.254/32 dev lo
本地IP:
[root@cluster1 ~]# vi /etc/sysconfig/network
-------------------------------------------------
NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=cluster1
GATEWAY=192.168.1.1
-------------------------------------------------
[root@cluster1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
-------------------------------------------------
DEVICE=eth0
BROADCAST=192.168.1.255
IPADDR=192.168.1.91
IPV6ADDR=
IPV6PREFIX=
NETMASK=255.255.255.0
NETWORK=192.168.1.0
ONBOOT=yes
-------------------------------------------------
关闭iptables:
[root@cluster1 ~]# iptables -F


cluster2:
[root@cluster2 ~]# vi /etc/sysctl.conf
----------------------------------------
net.ipv4.ip_forward = 0
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
----------------------------------------
[root@cluster2 ~]# sysctl  -p
配置VIP:
[root@cluster2 ~]# ip addr add 192.168.1.254 dev lo
[root@cluster2 ~]# ip route add 192.168.1.254/32 dev lo
本地IP:
[root@cluster2 ~]# vi /etc/sysconfig/network
-------------------------------------------------
NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=cluster2
GATEWAY=192.168.1.1
-------------------------------------------------
[root@cluster2 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
-------------------------------------------------
DEVICE=eth0
BROADCAST=192.168.1.255
IPADDR=192.168.1.92
IPV6ADDR=
IPV6PREFIX=
NETMASK=255.255.255.0
NETWORK=192.168.1.0
ONBOOT=yes
-------------------------------------------------
关闭iptables:
[root@cluster1 ~]# iptables -F


3>远程测试
[url]http://192.168.1.254/[/url]

4>问题说明
LVS/DR中realserver也不能使用iptables，否则访问测试不能成功。
[root@ssn httpd-2.2.6]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.254:http wlc
  -> 192.168.1.91:http            Route   1      0          11        
  -> 192.168.1.92:http            Route   1      1          10        



Part III. LVS/TUN


Part IV. ipvsadm命令参数说明（引用）

ipvsadm -A -t 192.168.1.90:80 -s wlc -p 120

-A 增加一个虚拟服务，该服务由协议、IP地址和端口号组成，例如：
-A -t 202.99.59.110:80 (增加一格虚拟服务，其协议(-t表示tcp，-u表示udp)为TCP、IP为202.99.59.110、端口号为80。

-s 指定服务采用的算法，常用的算法参数如下：

    * rr   轮叫（Round Robin）
      调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务 器，而不管服务器上实际的连接数和系统负载。
    * wrr   加权轮叫（Weighted Round Robin）
      调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
    * lc   最少链接（Least Connections）
      调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。
    * wlc   加权最少链接（Weighted Least Connections）
      在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
    * lblc   基于局部性的最少链接（Locality-Based Least Connections）
      "基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务器，将请求发送到该服务器。
    * lblcr   带复制的基于局部性最少链接（Locality-Based Least Connections with Replication）
      " 带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。
    * dh   目标地址散列（Destination Hashing）
      "目标地址散列"调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
    * sh   源地址散列（Source Hashing）
      "源地址散列"调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

-p 会话保持时间，定义流量被转到同一个realserver的会话存留时间。


/sbin/ipvsadm -a -t 192.168.1.254:80 -r 192.168.1.12 -g -w 1 -p 100

-a 表示往一个服务内增加一个real server
-r 指定real server的IP地址
-w 表示权重
-g 表示使用DR方式，-m表示NAT方式，-i表示tunneling方式。