lvs定义nat，dr高可用

Lvs 术语:

   director/real server

IP：

   VIP：虚拟ip

   DIP：转发ip

   RIP：各个real serverIP

   CIP：客户端ip

Ipvs：ip vertual server

Lvs类型：

  Lvs-nat：地址转换：natwork address  translayion   

  lvs-dr：直接路由：Direct routing

  Lvs-tun：隧道：Tunning

Nat类型：

  我们的各个rS应该使用私有地址，RS的网关必须指向DIP

  请求和相应都要经过Director，所以容易成为性能瓶颈

  支持端口映射，RS可以使用任意OS

Dr模型的特性（在同一个机房）：

   保证前段路由将目标地址为VIP的报文统统发往Directory，不是RS

      解决方案：

          A:静态路由地址绑定，（要有路由操作权限）

          B:aprtables

        C:修改RS上的内核参数，将RS上的VIP配置在lo接口别名上，限制1其不能响应对VIP地址解析请求

RS：可以使用私有地址，也可以使用公网地址

RS跟Directory必须在同一个物理网段中

请求报文必须经过Directory，响应报文必须不经过

不支持端口映射

RS可以使大多数常见的OS

Tun模型类型（ip隧道）：

   Dip   Rip 必须是公网地址。

 Lvs scheduler：

   Grep -i ‘VS’ /boot/config-version(版本号)

 静态方法：仅仅根据调度方法本省进行的调度

     rr：round robin：轮询，轮叫

     Wrr:加权轮询

      sh：sourc hashing：源地址hash，

     Dh：目标地址hash

 动态方法：仅仅根据算法及各个RS当前的负载状况进行调度

lc：least connection：最少连接

   Overhead=ACtion*256+inactive

wlc加权最少连接 

    Overhead=（ACtion*256+inactive）/weight

 

sed ；shortest expection delay：就是wlc的加强版，有权重大的先负责请求

     Overhead=（ACtion+1）*256/weight

nq  never queue：有权重自上而下依次先响应请求，在按权重轮询

Lblc：locality-base least connection

Lblc： 带复制的lblc

Nat配置：

dIP：172.16.149.97

 VIP：10.0.0.1

 Rip：10.0.0.2

 Rip：10.0.0.3

配置时间同步，基于主机名的解析，

1：ntpdate 172.16.0.1

2：vim  /etc/hosts

10.0.0.2 www.han.com han

10.0.0.3 www.jin.com jin

前段directory上安装：yum install -y ipvsadm

我们的配置解释：我们需要一个directory需要配置两个网络适配器，分别为eth0：172.16.249.97  eth1： 10.0.0.1

Ifconfig eth0  172.16.249.97/16 up

Ifconfig eth1  10.0.0.1/24 up

在相互ping通

在吧各个RIP的网关指向10.0.0.1

 Route add default gw 10.0.0.1

配置上各个ip：

Ifconfig eth0 10.0.0.2/24 up

Ifconfig eth0 10.0.0.3/24 up

配置nat模型：

 定义集群服务   为集群添加各个RS 

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine]

 -t|u|f:协议类型tcp  udp  f：防火墙标记

 -s：调度器（算法）

 Server-address：对于-t|u 就是一个VIP：port

想一个已经存在的集群添加一个RS：  ipvsadm -a|e -t|u|f service-address -r server-address [options]

-a：添加  -e：修改

【optiios】

 -w:权重   -m：模型

 

1：ipvsadm -A  -t 172.16.249.97:80  -s rr

2：ipvsadm -a -t 172.16.249.97:80 -r 10.0.0.2 -m

3：ipvsadm -a -t 172.16.249.97:80 -r 10.0.0.3 -m

还要打开路由转发功能：[root@www corosync]# echo 1 > /proc/sys/net/ipv4/ip_forward 

要是想要永久生效：修改此配置文件

列出已经定义的集群服务及RS：ipvsadm -L -n

修改集群服务方法：

   1:删除集群在定义

   2：修改集群服务

   Ipvsadm - E -t 172.16.249.97:80 -s wrr

修改上述的集群为wrr类型的集群服务

修改各个RS的：

   Ipvsadm -e -t 172.16.249.97:80 -r 10.0.0.2 -m -w 2

（修改10.0.0.2这个RS的权重为2）

删除一个RS：

  指明从哪个集群服务上删除那个RS：

：ipvsadm -d -t|u|f service-address -r server-address

删除集群服务：

   ipvsadm -D -t|u|f service-address

清空整个集群服务：

   Ipvsadm -C

保存规则方法:

   Ipvsadm -S   > 保存位置

或者：service ipvsadm save也可以保存：位置/etc/sysconfig/ipvsadm

让其配置重新生效：ipvsadm -R < /保存位置

Dr模型的建立（在同一个网段）：

Directory：

      Eth0：DIP（172.16.249.1）   eth0:0 VIP（172.16.249.2）

RS1：

     Eth0：RIP172.16.249.3     lo:0 VIP172.16.249.2

RS2：

     Eth0：RIP172.16.249.4    lo:0：VIP172.16.249.2 

Directory：DIP  VIP 

 RS：RIP  VIP

RS配置内核参数：

Arp_ignore:如何响应接收ARP地址请求，默认0 ,   1表示仅仅在请求的地址配置在请求报文的接口进行响应

 Arp_announce：如何通告本地地址，默认0,  2表示仅仅通过直连的接口的地址

        前提配置：

所以在各个RS上要配置：

  [root@www ~]# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore 

[root@www ~]# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce 

[root@www ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce 

[root@www ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 

RS1:

     1：ifconfig eth0 172.16.249.3/16 up

     2:router add default gw 172.16.0.1 

     3:ifconfig lo:0 172.16.249.2  netmask  255.255.255.255 broadcast 172.16.249.2 up

     4:route add -host 172.16.249.2 dev lo:0 

Rs2:

     1：ifconfig eth0 172.16.249.4/16 up

     2:router add default gw 172.16.0.1 

     3:ifconfig lo:0 172.16.249.2  netmask  255.255.255.255 broadcast 172.16.249.2 up

     4:route add -host 172.16.249.2 dev lo:0 

Directory:

     1：ifconfig eth0 172.16.249.1/16 up

     2:ifconfig eth0:0 172.16.249.2/16 up

     3:ipvsadm -A -t 172.16.249.2:80 -s  wlc

     4:ipvsadm -a -t 172.16.249.2:80 -r 172.16.249.3 -g -w 1

     5::ipvsadm -a -t 172.16.249.2:80 -r 172.16.249.4 -g -w 1

当让我们的RIP和VIP不在同一个网段：中间加一个路由设备

Dirtory脚本：

  Director脚本:

#!/bin/bash

#

# LVS script for VS/DR

#

. /etc/rc.d/init.d/functions

#

VIP=192.168.0.210

RIP1=192.168.0.221

RIP2=192.168.0.222

PORT=80

 

#

case "$1" in

start)           

 

  /sbin/ifconfig eth0:1 $VIP broadcast $VIP netmask 255.255.255.255 up

  /sbin/route add -host $VIP dev eth0:1

 

# Since this is the Director we must be able to forward packets

  echo 1 > /proc/sys/net/ipv4/ip_forward

 

# Clear all iptables rules.

  /sbin/iptables -F

 

# Reset iptables counters.

  /sbin/iptables -Z

 

# Clear all ipvsadm rules/services.

  /sbin/ipvsadm -C

 

# Add an IP virtual service for VIP 192.168.0.219 port 80

# In this recipe, we will use the round-robin scheduling method. 

# In production, however, you should use a weighted, dynamic scheduling method. 

  /sbin/ipvsadm -A -t $VIP:80 -s wlc

 

# Now direct packets for this VIP to

# the real server IP (RIP) inside the cluster

  /sbin/ipvsadm -a -t $VIP:80 -r $RIP1 -g -w 1

  /sbin/ipvsadm -a -t $VIP:80 -r $RIP2 -g -w 2

 

  /bin/touch /var/lock/subsys/ipvsadm &> /dev/null

;; 

 

stop)

# Stop forwarding packets

  echo 0 > /proc/sys/net/ipv4/ip_forward

 

# Reset ipvsadm

  /sbin/ipvsadm -C

 

# Bring down the VIP interface

  /sbin/ifconfig eth0:1 down

  /sbin/route del $VIP

  

  /bin/rm -f /var/lock/subsys/ipvsadm

  

  echo "ipvs is stopped..."

;;

 

status)

  if [ ! -e /var/lock/subsys/ipvsadm ]; then

    echo "ipvsadm is stopped ..."

  else

    echo "ipvs is running ..."

    ipvsadm -L -n

  fi

;;

*)

  echo "Usage: $0 {start|stop|status}"

;;

Esac

 

Realserver脚本：

  RealServer脚本:

 

#!/bin/bash

#

# Script to start LVS DR real server.

# description: LVS DR real server

#

.  /etc/rc.d/init.d/functions

 

VIP=192.168.0.219

host=`/bin/hostname`

 

case "$1" in

start)

       # Start LVS-DR real server on this machine.

        /sbin/ifconfig lo down

        /sbin/ifconfig lo up

        echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

        echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

        echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

        echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

 

        /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up

        /sbin/route add -host $VIP dev lo:0

 

;;

stop)

 

        # Stop LVS-DR real server loopback device(s).

        /sbin/ifconfig lo:0 down

        echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore

        echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce

        echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore

        echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce

 

;;

status)

 

        # Status of LVS-DR real server.

        islothere=`/sbin/ifconfig lo:0 | grep $VIP`

        isrothere=`netstat -rn | grep "lo:0" | grep $VIP`

        if [ ! "$islothere" -o ! "isrothere" ];then

            # Either the route or the lo:0 device

            # not found.

            echo "LVS-DR real server Stopped."

        else

            echo "LVS-DR real server Running."

        fi

;;

*)

            # Invalid entry.

            echo "$0: Usage: $0 {start|status|stop}"

            exit 1

;;

esac

但是在工作时常用DR模型；

DR：将请求的报文的目标MAC设定为挑选的RS的MAC地址

NAT：将请求报文的目标ip地址改为挑选的RS的ip地址，RS网关指向DIP

TUN：在原有的ip报文之外再次封装IP首部

防火墙标记的nat模型：

   上述的前提配置配置好，

 1:iptables -t mangle -A PREROUTING -t tcp -d 172.16.249.97 --dport 80 -j MARK --set-mark 10

 2:ipvsadm -A -f 10 -s rr

 3:ipvsadm -a -f 10 -r 10.0.0.3 -m -w 1

 4::ipvsadm -a -f 10 -r 10.0.0.4 -m -w 2

持久连接的类型：

  Pcc：在基于tcp或udp定义集群服饰，器端口为0，格式为VIP：0 表示任何一种来自用户的请求，统统转发到后端RS，基于持久连接时，来自同一个client所有的请求都转发到同一个RS、

     -p：持久连接的时间

    案例：  

     3:ipvsadm -A -t 172.16.249.2:0 -s  wlc -p 360 

     4:ipvsadm -a -t 172.16.249.2:0 -r 10.0.0.3 -g -w 2

     5::ipvsadm -a -t 172.16.249.2:0 -r 10.0.0.4 -g -w 1

PPC: 持久机制但服务单独调度

      案例：

     3:ipvsadm -A -t 172.16.249.2:80 -s  rr -p 360 

     4:ipvsadm -a -t 172.16.249.2:80 -r 10.0.0.3 -m -w 1

         5::ipvsadm -a -t 172.16.249.2:80 -r 10.0.0.4 -m -w 1

     6:ipvsadm -A -t 172.16.249.2:22 -s  rr -p 360 

     7:ipvsadm -a -t 172.16.249.2:22 -r 10.0.0.3 -m -w 1

         8:ipvsadm -a -t 172.16.249.2:22 -r 10.0.0.4 -m -w 1

PFM: 单幅务调度、可以通过防火墙将多个协议定义为一个服务