Ipvsadm命令的用法

管理集群服务:ipvsadm -A|E -t|u|f service-address [-s scheduler]

     -A:添加集群服务

     -E:修改集群服务

    -t:承载的应用层协议为基于TCP协议提供服务的协议;其server-address的格式为VIP:PORT,如172.16.4.100:80

    -u:承载的应用层协议为基于UDP协议提供服务的协议;其server-address的格式为VIP:PORT,如172.16.4.100:53

    -f:承载的应用层协议为基于TCP或UDP协议提供服务的协议,但此类报文会经由iptables/netfilter打标记,即防火墙标记,其server-address的格式为FWM,例如10

     -sscheduler:指明调度方法,默认为wlc;

     删除:ipvsadm D t|u|f server-address

 

管理集群服务的RS:ipvsadm -a|e -t|u|f service-address-r server-address [-g|i|m] [-w weight]

   添加或修改:

      -r server-address:指明RS,server-address格式一般为IP[:PORT:]:注意,只支持端口映射的lvs类型才应该显示定义此处端口。

      [-g|i|m]:指明lvs类型

         -g:dr类型

         -i:tun类型

         -m:nat类型

      [-w weight]:当前RS的权重;

           注意:仅对于支持加权调度的scheduler,权重才有意义;

   删除:

       ipvsadm -d -t|u|f service-address -r server-address

清空所有集群服务的定义:

    ipvsadm c

保存及恢复集群服务及RS的定义:

    ipvsadm -S > /etc/sysconfig/ipvsadm

    ipvsadm-save > /etc/sysconfig/ipvsadm

    service ipvsadm save

 

    ipvsadm -R < /etc/sysconfig/ipvsadm

    ipvsadm-restore < /etc/sysconfig/ipvsadm

    service ipvsadm restart

查看规则:ipvsadm-L|l [options]

-c:列出当前所有connection;

[root@LVS ~]# ipvsadm -L -c
IPVS connection entries
pro expire state       source             virtual            destination
TCP 00:54 SYN_RECV    172.16.0.101:57660172.16.4.1:http    172.16.4.101:http

输出说明:

pro:使用的协议

expire:连接过期时间

state:连接状态

source:客户端地址

virtual:vip地址

destination:响应客户端的RS服务器地址

 

 --stats:列出统计数据:

[root@LVS ~]# ipvsadm -L --stats
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port               Conns   InPkts OutPkts  InBytes OutBytes
  ->RemoteAddress:Port
TCP 172.16.4.1:http                   22      104        0   11448        0
  ->172.16.4.101:http                 11       51        0    5764        0
  ->172.16.4.102:http                 11       53        0    5684        0

输出说明:

Conns:连接数

InPkts:入站报文 

OutPkts: 出战响应

InBytes:入站字节数

OutBytes:出战字节数

说明:如果地址是vip地址,则是总数;如果是RS地址,则是direction分配给vip的数据。

 

--rate: 列出速率

[root@LVS ~]# ipvsadm -L --rate
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port                 CPS    InPPS  OutPPS    InBPS   OutBPS
  ->RemoteAddress:Port
TCP 172.16.4.1:http                    0        0        0       0        0
  ->172.16.4.101:http                  0        0        0       0        0
  ->172.16.4.102:http                  0        0        0       0        0

输出说明:

CPS:每秒钟连接数   

InPPS:每秒钟入站报文数  

OutPPS:每秒钟出战报文数   

InBPS:每秒钟入站字节大小  

OutBPS:每秒钟出战字节大小

 

-n, --numeric: 数字格式显示IP及端口;

[root@LVS ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  ->RemoteAddress:Port           ForwardWeight ActiveConn InActConn
TCP 172.16.4.1:80 rr
  ->172.16.4.101:80              Route   1     0          0        
  ->172.16.4.102:80              Route   2     0          0

输出说明:

Weight:权重

ActiveConn:活动连接

InActConn:非活动连接

 

--exact: 精确值;

 [root@LVS~]# ipvsadm -L --exact
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  ->RemoteAddress:Port           ForwardWeight ActiveConn InActConn
TCP 172.16.4.1:http rr
  ->172.16.4.101:http            Route   1     0          1        
  ->172.16.4.102:http            Route   2     0          0

 

清空计数器:及速率统计和连接信息等都会为0

    ipvsadm-Z [-t|u|f service-address]

配置LVS-NAT

配置拓扑:

LVS-NAT及LVS-DR实现_第1张图片

拓扑说明:


主机名

系统环境

IP地址

调度器

LVS

Centos6.6 64位

外网:eth0 172.16.4.100

内网:eth1 192.168.1.1

WEB-01

WEB-01

内网:eth0 192.168.1.10

WEB-02

WEB-02

内网:eth0 192.168.1.11

配置以前注意事项说明:

1、RS的网关必须指向Director

2、director需要开启路由转发功能

后端web服务器配置

WEB-01和WEB-02最好准备不同的页面,一遍测试负载均衡效果。

[root@WEB-01 ~]# echo "WEB-01" > /var/www/html/index.html
[root@WEB-01 ~]# service httpd start
[root@WEB-02 ~]# echo "WEB-02" >/var/www/html/index.html
[root@WEB-02 ~]# service httpd start

确保调度器可以访问web测试

[root@LVS ~]# curl 192.168.1.10
WEB-01
[root@LVS ~]# curl 192.168.1.11
WEB-02

调度器配置

启动路由转发功能

[root@LVS~]# vim /etc/sysctl.conf 
net.ipv4.ip_forward= 1
[root@LVS~]# sysctl –p
net.ipv4.ip_forward= 1   #出现此选项说明转发功能开启成功

设置ipvsadm策略

[root@LVS ~]# ipvsadm -A -t 172.16.4.100:80 -s rr
[root@LVS ~]# ipvsadm -a -t 172.16.4.100:80 -r 192.168.1.10-m -w 1
[root@LVS ~]# ipvsadm -a -t 172.16.4.100:80 -r 192.168.1.11 -m -w 1

验证集群:访问为结果web-01,刷新出现web-02,说明实现了负载均衡功能

LVS-NAT及LVS-DR实现_第2张图片

LVS-NAT及LVS-DR实现_第3张图片

查看ipvsadm也出现了连接

[root@LVS ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  ->RemoteAddress:Port           ForwardWeight ActiveConn InActConn
TCP 172.16.4.100:80 rr
  ->192.168.1.10:80              Masq    1     0          1        
  ->192.168.1.11:80              Masq    1     0          1

配置LVS-DR

环境拓扑:

LVS-NAT及LVS-DR实现_第4张图片

环境描述:


主机名

系统环境

IP地址

调度器

LVS

Centos6.6 64位

外网:eth0 172.16.4.100

VIP: eth0:0  172.16.4.1

WEB-01

WEB-01

外网:eth0 172.16.4.101

VIP: eth0:0  172.16.4.1

WEB-02

WEB-02

外网:eth0 172.16.4.102

VIP: eth0:0  172.16.4.1

后端web服务器配置

说明:WEB-01和WEB-02除了网页内容不一样(生产环境网页内容必须一样)之外,其他的都一样。

WEB-01配置

设置web页面

[root@WEB-01 ~]# echo "WEB-01" >/var/www/html/index.html
[root@WEB-01 ~]# service httpd start

设置内核参数,抑制ARP

[root@WEB-01 ~]# echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
[root@WEB-01 ~]# echo "2">/proc/sys/net/ipv4/conf/lo/arp_announce
[root@WEB-01 ~]# echo "1">/proc/sys/net/ipv4/conf/all/arp_ignore
[root@WEB-01 ~]# echo "2">/proc/sys/net/ipv4/conf/all/arp_announce

设置vip地址

[root@WEB-01 ~]# ifconfig lo:0 172.16.4.1 broadcast172.16.4.1 netmask 255.255.255.255 up
[root@WEB-01 ~]# ifconfig | grep 172.16.4.1
         inet addr:172.16.4.101 Bcast:172.16.255.255 Mask:255.255.0.0
         inet addr:172.16.4.1 Mask:255.255.255.255

设置路由

[root@WEB-01 ~]# route add -host 172.16.4.1 dev lo:0

WEB-02配置

设置web页面

[root@WEB-02 ~]# echo "WEB-02" >/var/www/html/index.html
[root@WEB-02 ~]# service httpd start

设置内核参数

[root@WEB-02 ~]# echo "1">/proc/sys/net/ipv4/conf/lo/arp_ignore
[root@WEB-02 ~]# echo "2">/proc/sys/net/ipv4/conf/lo/arp_announce
[root@WEB-02 ~]# echo "1">/proc/sys/net/ipv4/conf/all/arp_ignore
[root@WEB-02 ~]# echo "2">/proc/sys/net/ipv4/conf/all/arp_announce

设置VIP

[root@WEB-02 ~]# ifconfig lo:0 172.16.4.1 broadcast172.16.4.1 netmask 255.255.255.255 up
 ifconfig |grep 172.16.4.1
[root@WEB-02 ~]# ifconfig | grep 172.16.4.1
         inet addr:172.16.4.102 Bcast:172.16.255.255 Mask:255.255.0.0
         inet addr:172.16.4.1 Mask:255.255.255.255

设置路由

[root@WEB-02 ~]# route add -host 172.16.4.1 dev lo:0

调度器设置

确保lvs可以访问后端web服务器

[root@LVS ~]# curl 172.16.4.101
WEB-01
[root@LVS ~]# curl 172.16.4.102
WEB-02

设置vip地址

[root@LVS ~]# ifconfig eth0:0 172.16.4.1 netmask255.255.255.255 up
ifconfig | grep 172.16.4.1
[root@LVS ~]# ifconfig | grep 172.16.4.1
         inet addr:172.16.4.100 Bcast:172.16.255.255 Mask:255.255.0.0
         inet addr:172.16.4.1 Bcast:172.16.4.1 Mask:255.255.255.255

配置负载均衡策略

[root@LVS ~]# ipvsadm -A -t 172.16.4.1:80 -s rr
[root@LVS ~]# ipvsadm -a -t 172.16.4.1:80 -r172.16.4.10 -g -w 1
[root@LVS ~]# ipvsadm -a -t 172.16.4.1:80 -r172.16.4.11 -g -w 1

客户端访问验证,持续刷新如果出现轮训效果说明配置成功

LVS-NAT及LVS-DR实现_第5张图片

LVS-NAT及LVS-DR实现_第6张图片

特殊情况:httpd启用长连接时的lvs轮询

httpd启动长连接的方式。

KeepAlive ON
MaxKeepAliveRequests 100
KeepAliveTimeout 15

启动之后,客户端请求通过lvs调度到后端的RS服务器,会始终调度到一个页面,直到长连接结束,rr的调度算法在这种情况下是不会实现轮训的。

使用脚本配置LVS-DR

Direction使用的脚本

#!/bin/bash
#
vip=172.16.4.1
rip=('172.16.4.101' '172.16.4.102')
weight=('1' '1')
port=80
scheduler=rr
ipvstype='-g'
 
rpm -q ipvsadm >> /dev/null
if [ $? != 0 ];then
   echo"please install ipvsadm"
   exit 1
fi
 
case $1 in
start)
  iptables -F-t filter
  ipvsadm -C
 
  ifconfigeth0:0 $vip broadcast $vip netmask 255.255.255.255 up
  route add-host $vip dev eth0:0
 
  ipvsadm -A-t $vip:$port -s $scheduler
  [ $? -eq 0] && echo "ipvs service $vip:$port added."  || exit 2
 
  for i in`seq 0 $[${#rip[@]}-1]`; do
     ipvsadm-a -t $vip:$port -r ${rip[$i]} $ipvstype -w ${weight[$i]}
     [ $? -eq0 ] && echo "RS ${rip[$i]} added."
  done
 
  touch/var/lock/subsys/ipvs
;;
 
stop)
  ipvsadm -C
  ifconfigeth0:0 down
  rm -f /var/lock/subsys/ipvs
  echo"ipvs stopped."
;;
 
status)
  if [ -f/var/lock/subsys/ipvs ]; then
        echo"ipvs is running."
       ipvsadm -L -n
  else
        echo"ipvs is stopped."
  fi
;;
 
*)
  echo"Usage: `basename $0` {start|stop|status}"
  exit 3
;;
esac

RS使用的脚本

#!/bin/bash
#
vip=172.16.4.1
interface="lo:0"
 
case $1 in
start)
   echo 1> /proc/sys/net/ipv4/conf/all/arp_ignore
   echo 1> /proc/sys/net/ipv4/conf/lo/arp_ignore
   echo 2> /proc/sys/net/ipv4/conf/all/arp_announce
   echo 2> /proc/sys/net/ipv4/conf/lo/arp_announce
 
   ifconfig$interface $vip broadcast $vip netmask 255.255.255.255 up
   route add-host $vip dev $interface
;;
 
stop)
  echo 0 >/proc/sys/net/ipv4/conf/all/arp_ignore
  echo 0 >/proc/sys/net/ipv4/conf/lo/arp_ignore
  echo 0 >/proc/sys/net/ipv4/conf/all/arp_announce
  echo 0 >/proc/sys/net/ipv4/conf/lo/arp_announce
 
  ifconfig$interface down
;;
 
status)
  if ifconfiglo:0 |grep $vip &> /dev/null; then
        echo"ipvs is running."
  else
        echo"ipvs is stopped."
  fi
;;
 
*)
 
  echo"Usage: `basename $0` {start|stop|status}"
  exit 1
esac