LVS 的三种工作模式 [转]

目录： LVS三种模式配置 LVS 三种工作模式的优缺点比较 LVS三种模式配置 LVS三种（LVS-DR,LVS-NAT,LVS-TUN）模式的简要配置 LVS是什么: http://www.linuxvirtualserver.org/VS-NAT.html http://www.linuxvirtualserver.org/VS-IPTunneling.html http://www.linuxvirtualserver.org/VS-DRouting.html 首先是安装ipvsadm管理程序 下载：http://www.linuxvirtualserver.org/software/ 注意对应自己的内核版本 ipvsadm-1.24.tar.gz tar zxvf ipvsadm-1.24.tar.gz cd ipvsadm-1.24 make make install 1： LVS-DR 模式(调度器与实际服务器都有一块网卡连在同一物理网段上) 简要的网络结构如下所示 配置LVS server #！/bin/sh  VIP=192.168.0.210    RIP1=192.168.0.175       #RealServer1 的eth0的地址  RIP2=192.168.0.145        #RealServer2 的eth0的ip地址 #Director 的eth0的ip地址是192.168.0.x (和RIP1、RIP2在同一网段) . /etc/rc.d/init.d/functions          case "$1" in          start)          echo "start LVS of DirectorServer"          #Set the Virtual IP Address             /sbin/ifconfig eth0:1 $VIP broadcast $VIP netmask 255.255.255.255 up          /sbin/route add -host $VIP dev eth0:1  #把所有访问$VIP地址的请求都转到eth0:1设备          #Clear IPVS Table          /sbin/ipvsadm -C    #清楚ipvsadm的所有规则!          #Set Lvs          /sbin/ipvsadm -A -t $VIP:80 -s rr   #增加一台虚拟服务器 -s rr 为负载方式!          /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g  #增加一条Real Server的转发记录!                 /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g          #Run Lvs          /sbin/ipvsadm          ;;          stop)          echo "close LVS Directorserver"          /sbin/ipvsadm -C          /sbin/ifconfig eth0:1 down          ;;          *)          echo "Usage： $0 {start|stop}"          exit 1          esac 配置 RIP server #!/bin/bash  VIP=192.168.0.210  LOCAL_Name=50bang  BROADCAST=192.168.0.255  #vip's broadcast  . /etc/rc.d/init.d/functions  case "$1" in      start)       echo "reparing for Real Server"         echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore         echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce         echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore         echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce         ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $BROADCAST up          /sbin/route add -host $VIP dev lo:0          ;;      stop)          ifconfig lo:0 down         echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore         echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce         echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore         echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce          ;;      *)          echo "Usage: lvs {start|stop}"          exit 1  esac 2: LVS-TUN 模式 简要的网络架构如下: 配置lvs server 引用 #!/bin/sh  # description: start LVS of Directorserver  VIP=192.168.25.41（注意，lvs server那台机器2个ip，一个是vip,一个是本身ip例如192.168.25.42）  RIP1=192.168.25.44  RIP2=192.168.25.45  #RIPn=192.168.0.n  GW=192.168.25.254  . /etc/rc.d/init.d/functions  case "$1" in  start)  echo " start LVS of DirectorServer"  # set the Virtual IP Address  /sbin/ifconfig tunl0 $VIP broadcast $VIP netmask 255.255.255.0 up  /sbin/route add -host $VIP dev tunl0  #Clear IPVS table  /sbin/ipvsadm -C  #set LVS  /sbin/ipvsadm -A -t $VIP:80 -s rr  /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -i  /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -i  #/sbin/ipvsadm -a -t $VIP:80 -r $RIP3:80 -i  #Run LVS  /sbin/ipvsadm  #end  ;;  stop)  echo "close LVS Directorserver"  ifconfig tunl0 down  /sbin/ipvsadm -C  ;;  *)  echo "Usage: $0 {start|stop}"  exit 1  esac 配置real server 引用 #!/bin/sh  # ghb in 20060812  # description: Config realserver tunl port and apply arp patch  VIP=192.168.25.43  . /etc/rc.d/init.d/functions  case "$1" in  start)  echo "Tunl port starting"  ifconfig tunl0 $VIP netmask 255.255.255.0 broadcast $VIP up  /sbin/route add -host $VIP dev tunl0  echo "1" >/proc/sys/net/ipv4/conf/tunl0/arp_ignore  echo "2" >/proc/sys/net/ipv4/conf/tunl0/arp_announce  echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore  echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce  sysctl -p  ;;  stop)  echo "Tunl port closing"  ifconfig tunl0 down  echo 1 > /proc/sys/net/ipv4/ip_forward  echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce  ;;  *)  echo "Usage: $0 {start|stop}"  exit 1  esac 3: LVS-NAT 模式 简要的网络架构如下图: 配置LVS server 引用 #!/bin/sh  # description: start LVS of Nat  VLAN-IP=202.99.59.110  RIP1=10.1.1.2  RIP2=10.1.1.3  #RIPn=10.1.1.n  GW=10.1.1.1  . /etc/rc.d/init.d/functions  case "$1" in  start)  echo " start LVS of NAtServer"  echo "1" >/proc/sys/net/ipv4/ip_forward  echo "0" >/proc/sys/net/ipv4/conf/all/send_redirects  echo "0" >/proc/sys/net/ipv4/conf/default/send_redirects  echo "0" >/proc/sys/net/ipv4/conf/eth0/send_redirects  echo "0" >/proc/sys/net/ipv4/conf/eth1/send_redirects(内网卡上的)  #Clear IPVS table  /sbin/ipvsadm -C  #set LVS  /sbin/ipvsadm -a -t 202.99.59.110:80 -r 10.1.1.2:80 -m -w 1  /sbin/ipvsadm -a -t 202.99.59.110:80 -r 10.1.1.3:80 -m -w 1  #Run LVS  /sbin/ipvsadm  #end  ;;  stop)  echo "close LVS Nat server"  echo "0" >/proc/sys/net/ipv4/ip_forward  echo "1" >/proc/sys/net/ipv4/conf/all/send_redirects  echo "1" >/proc/sys/net/ipv4/conf/default/send_redirects  echo "1" >/proc/sys/net/ipv4/conf/eth0/send_redirects  echo "1" >/proc/sys/net/ipv4/conf/eth1/send_redirects(内网卡上的)  /sbin/ipvsadm -C  ;;  *)  echo "Usage: $0 {start|stop}"  exit 1  esac 配置real server LVS-Nat 模式的后端机器不需要配置. tips： -g 表示使用DR方式，-m表示NAT方式，-i表示tunneling方式。 LVS 三种工作模式的优缺点比较 一、Virtual server via NAT（VS-NAT） 优点：集群中的物理服务器可以使用任何支持TCP/IP操作系统，物理服务器可以分配Internet的保留私有地址，只有负载均衡器需要一个合法的IP地址。 缺点：扩展性有限。当服务器节点（普通PC服务器）数据增长到20个或更多时,负载均衡器将成为整个系统的瓶颈，因为所有的请求包和应答包都需要经过负载均衡器再生。假使TCP包的平均长度是536字节的话，平均包再生延迟时间大约为60us（在Pentium处理器上计算的，采用更快的处理器将使得这个延迟时间变短），负载均衡器的最大容许能力为8.93M/s，假定每台物理服务器的平台容许能力为400K/s来计算，负责均衡器能为22台物理服务器计算。 解决办法：即使是是负载均衡器成为整个系统的瓶颈，如果是这样也有两种方法来解决它。一种是混合处理，另一种是采用Virtual Server via IP tunneling或Virtual Server via direct routing。如果采用混合处理的方法，将需要许多同属单一的RR DNS域。你采用Virtual Server via IP tunneling或Virtual Server via direct routing以获得更好的可扩展性。也可以嵌套使用负载均衡器，在最前端的是VS-Tunneling或VS-Drouting的负载均衡器，然后后面采用VS-NAT的负载均衡器。 二、Virtual server via IP tunneling（VS-TUN） 我们发现，许多Internet服务（例如WEB服务器）的请求包很短小，而应答包通常很大。 优点：负载均衡器只负责将请求包分发给物理服务器，而物理服务器将应答包直接发给用户。所以，负载均衡器能处理很巨大的请求量，这种方式，一台负载均衡能为超过100台的物理服务器服务，负载均衡器不再是系统的瓶颈。使用VS-TUN方式，如果你的负载均衡器拥有100M的全双工网卡的话，就能使得整个Virtual Server能达到1G的吞吐量。 不足：但是，这种方式需要所有的服务器支持"IP Tunneling"(IP Encapsulation)协议，我仅在Linux系统上实现了这个，如果你能让其它操作系统支持，还在探索之中。 三、Virtual Server via Direct Routing（VS-DR） 优点：和VS－TUN一样，负载均衡器也只是分发请求，应答包通过单独的路由方法返回给客户端。与VS-TUN相比，VS-DR这种实现方式不需要隧道结构，因此可以使用大多数操作系统做为物理服务器，其中包括：Linux 2.0.36、2.2.9、2.2.10、2.2.12；Solaris 2.5.1、2.6、2.7；FreeBSD 3.1、3.2、3.3；NT4.0无需打补丁；IRIX 6.5；HPUX11等。 不足：要求负载均衡器的网卡必须与物理网卡在一个物理段上 含义 -A (--add-service) 在内核的虚拟服务器列表中添加一条新的虚拟IP记录。也就是增加一台新的虚拟服务器。虚拟IP也就是虚拟服务器的IP地址。 -E (--edit-service) 编辑内核虚拟服务器列表中的一条虚拟服务器记录 -D (--delete-service) 删除内核虚拟服务器列表中的一条虚拟服务器记录 -C (--clear) 清除内核虚拟服务器列表中的所有记录 -R (--restore) 恢复虚拟服务器规则 -S (--save) 保存虚拟服务器规则，输出为-R 选项可读的格式 -a (--add-server) 在内核虚拟服务器列表的一条记录里添加一条新的Real Server记录。也就是在一个虚拟服务器中增加一台新的Real Server -e (--edit-server) 编辑一条虚拟服务器记录中的某条Real Server记录 -d (--delete-server) 删除一条虚拟服务器记录中的某条Real Server记录 -L|-l –list 显示内核中虚拟服务器列表 -Z (--zero) 虚拟服务器列表计数器清零（清空当前的连接数量等） --set tcp tcpfin udp 设置连接超时值 -t 说明虚拟服务器提供的是tcp服务，此选项后面跟如下格式： [virtual-service-address:port] or [real-server-ip:port] -u 说明虚拟服务器提供的是udp服务，此选项后面跟如下格式： [virtual-service-address:port] or [real-server-ip:port] -f  fwmark 说明是经过iptables标记过的服务类型 -s   此选项后面跟LVS使用的调度算法 有这样几个选项： rr|wrr|lc|wlc|lblc|lblcr|dh|sh 默认的调度算法是： wlc -p  [timeout] 在某个Real Server上持续的服务时间。也就是说来自同一个用户的多次请求，将被同一个Real Server处理。此参数一般用于有动态请求的操作中，timeout 的默认值为300 秒。例如：-p 600，表示持续服务时间为600秒。 -r 指定Real Server的IP地址，此选项后面跟如下格式：  [real-server-ip:port] -g (--gatewaying) 指定LVS 的工作模式为直接路由模式（此模式是LVS 默认工作模式） -i (-ipip) 指定LVS 的工作模式为隧道模式 -m (--masquerading) 指定LVS 的工作模式为NAT模式 -w (--weight) weight 指定Real Server的权值 -c (--connection) 显示LVS目前的连接信息 如：ipvsadm -L -c -L --timeout 显示“tcp tcpfin udp”的timeout值，如：ipvsadm -L --timeout -L --daemon 显示同步守护进程状态，例如：ipvsadm -L –daemon -L  --stats 显示统计信息，例如：ipvsadm -L –stats -L  --rate 显示速率信息，例如：ipvsadm -L  --rate -L  --sort 对虚拟服务器和真实服务器排序输出，例如：ipvsadm -L --sort