LVS DR模式详细搭建过程

LVSDR模式详细搭建过程2013-09-0219:39:35

标签 linux 负载均衡 lvsDR模式

目录

前言...1

1、LVS环境组网...2

2、ipvsadm安装前准备...2

3、httpd与ipvsadm下载...3

4、LVS负载均衡配置...4

5、真实WEB服务器配置及arp抑制...5

6、LVS负载均衡测试...6

7、附arp抑制参数...7

前言

本文主要讲解centos5.xLVSDR模式环境搭建理论知识请参考LVS中文官网

http://www.linuxvirtualserver.org/zh/index.html

该页面可能显示乱码如果有乱码在IE上右键勾上状态栏然后在页面栏下拉选项中选择编码有GB2312和UTF-8如果UTF-8显示乱码则选GB2312。如果GB2312显示乱码则选UTF-8.

1、LVS环境组网

由于是使用的VM环境自己PC当作客户机即公网地址调度器与服务器都是VM中虚拟机所以客户和所有服务器之间都是物理直接相连网络,逻辑拓扑图如下

2、ipvsadm安装前准备

外部IP地址	内部IP地址	角色
10.0.0.30/24	192.168.1.1/24	LVS调度器虚拟机
10.0.0.237/24	192.168.1.2/24	RS1虚拟机
10.0.0.238/24	192.168.1.3/24	RS2虚拟机
10.0.0.130/24	无	客户机自己电脑

注实际应用中RS1RS2没有外部地址当前环境中没有物理双网卡环境都采用一个网卡配置多个IP地址。

3、httpd与ipvsadm下载

1在各服务器上修改主机名

[root@LVS1~]#hostnameLVS1

[root@RS1~]#hostnameRS1

[root@RS2~]#hostnameRS2

2在RS1RS2上安装httpd服务

[root@RS2~]#yuminstallhttpd�Cy

[root@RS2~]#/etc/init.d/httpdstart

[root@RS2~#ps-ef|grephttpd

[root@RS1~]#yuminstallhttpd�Cy

[root@RS1~]#/etc/init.d/httpdstart

[root@RS1~#ps-ef|grephttpd<==查看httpd服务是否起来

[root@RS1~]#cat/etc/httpd/conf/httpd.conf|grepDocumentRoot<==查找系统站点目录路径

#DocumentRoot:Thedirectoryoutofwhichyouwillserveyour

DocumentRoot"/var/www/html"

#ThisshouldbechangedtowhateveryousetDocumentRootto.

#DocumentRoot/www/docs/dummy-host.example.com

[root@RS1~]#echo"RS1">/var/www/html/index.html

[root@RS2src]#echo"RS2">/var/www/html/index.html

Httpd服务测试

测试成功

3下载ipvsadm

wgethttp://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz

wgethttp://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz

我所使用的源包下载目录/usr/local/src

我的LVS环境

[root@RS1src]#cat/etc/redhat-release

CentOSrelease5.8(Final)

[root@RS1src]#uname-rm

2.6.18-308.el5x86_64

ipvsadm-1.26对内核有要求要求内核版本在2.6.28及以后的版本如果符合了系统环境还要安装依赖包yuminstalllibnl*popt*-y。

我的内核版本不满足使用ipvsadm-1.24。

[root@LVS1src]#tar-zxfipvsadm-1.24.tar.gz

[root@LVS1src]#ln-s/usr/src/kernels/2.6.18-348.12.1.el5-x86_64/usr/src/linux<==编译有使用的路径为/usr/src/linux可在Makefile中查看如果不做链接会编译失败

[root@LVS1src]#ll/usr/src/

total16

drwxr-xr-x2rootroot4096May112011debug

drwxr-xr-x3rootroot4096Aug503:53kernels

lrwxrwxrwx1rootroot43Aug503:56linux->/usr/src/kernels/2.6.18-348.12.1.el5-x86_64<==要使用ll/usr/src/查看如果软链接一闪一闪的代表链接失败

[root@LVS1src]#cdipvsadm-1.24

[[email protected]]#make&&makeinstall<==如果编译失败请按上面步骤一步一步排错。

[[email protected]]#lsmod|grepip_vs<==查看内核模块是否有ipvsadm

[[email protected]]#ipvsadm

IPVirtualServerversion1.2.1(size=4096)

ProtLocalAddress:PortSchedulerFlags

->RemoteAddress:PortForwardWeightActiveConnInActConn

#还有一种加载ipvsadm方法用modprobeip_vs

[[email protected]]#lsmod|grepip_vs<==查看内核模块有代表ipvsadm加载进内核当中此时LVS安装完毕

ip_vs1221130

4、LVS负载均衡配置

1配置VIP和DIP

IP配置参考步骤2安装准备

[root@LVS1~]#ifconfigeth010.0.0.30netmask255.255.255.0#VIP

[root@LVS1~]#ifconfigeth0:1192.168.1.1netmask255.255.255.0#DIP

2添加真实服务器

[root@LVS1~]#ipvsadm�CC<==手工清空原来表内容

[root@LVS1~]#ipvsadm--set30560<==设置连接超时值

[root@LVS1~]#ipvsadm-A-t10.0.0.30:80-swrr-p20<==-A添加地址-t指定VIPTCP端口-s指定调度算法�Cp会话保持时间

[root@LVS1~]#ipvsadm-L�Cn<==查看表内容添加了一组VIP地址和端口

IPVirtualServerversion1.2.1(size=4096)

ProtLocalAddress:PortSchedulerFlags

->RemoteAddress:PortForwardWeightActiveConnInActConn

TCP10.0.0.30:80wrrpersistent20

[root@LVS1~]#ipvsadm-a-t10.0.0.30:80-r192.168.1.2:80-g-w1<==-a指定真实服务器-tlvs上VIP-r真实服务器ip及端口-w权重值-g先择DR模式-m为NAT模式

[root@LVS1~]#ipvsadm-a-t10.0.0.30:80-r192.168.1.3:80-g-w1

[root@LVS1~]#ipvsadm-L�Cn<==查看表内容添加了两台负载转发的真实服务器

IPVirtualServerversion1.2.1(size=4096)

ProtLocalAddress:PortSchedulerFlags

->RemoteAddress:PortForwardWeightActiveConnInActConn

TCP10.0.0.30:80wrrpersistent20

->192.168.1.2:80Route100

->192.168.1.3:80Route100

如果添加服务器地址写错了可用如下命令删除即大A添加改为大D删除小a添加改为小d删除

ipvsadm�CD�Ct10.0.0.30:80�Cswrr

ipvsadm�Cd�Ct10.0.0.30:80�Cr192.168.1.2:80

5、真实WEB服务器配置及arp抑制

[root@RS1~]#ifconfigeth0|grep"inetaddr"<==此地址用来自己电脑用CRT软件登陆设备同时也用来发送arp请求客户机MAC因为是直接返回页面给客户机而当前网络是同一物理网段必须同网段才正常。

inetaddr:10.0.0.237Bcast:10.0.0.255Mask:255.255.255.0

[root@RS1~]#ifconfigeth0:1192.168.1.2netmask255.255.255.0<==配置内部IP地址

[root@RS1~]#ifconfiglo10.0.0.30netmask255.255.255.255<==每台真实服务器都需要配置VIP

为什么要绑定VIP呢因为DR模式原理是LVS调度器修改mac地址为真实服务器地址报文的目的IP还是VIP没修改网卡只会把目的MAC和目的IP都是自己的报文上送CPU所以真实服务器上必须配置VIP!

为什么使用lo口呢因为lo口为本地环回口防止本地局域网IP地址冲突!

[root@RS2src]#ifconfigeth0|grep"inetaddr"<==此地址用来自己电脑用CRT软件登陆设备同时也用来发送arp请求客户机MAC因为是直接返回页面给客户机而当前网络是同一物理网段必须同网段才正常。

inetaddr:10.0.0.238Bcast:10.0.0.255Mask:255.255.255.0

[root@RS2src]#ifconfigeth0:1192.168.1.3netmask255.255.255.0<==配置内部IP地址

[root@RS2src]#ifconfiglo10.0.0.30netmask255.255.255.255

此时配置完成只是测试时出现一个问题再次登陆CRT中10.0.0.30地址时登陆到RS1上去了再刷新登陆到RS2上去了。怎么解决呢

通过分析得出访问10.0.0.30时会发送arp请求10.0.0.30的mac,而这个网络中有3个10.0.0.30地址此时那谁给的arp回应到客户机访问的就是谁了。如果RS1的arp回应先到就访问的RS1了

解决方法

抑制ARP响应

该抑制只在真实服务器上配置

[root@RS1~]#echo"1">/proc/sys/net/ipv4/conf/lo/arp_ignore

[root@RS1~]#echo"2">/proc/sys/net/ipv4/conf/lo/arp_announce

[root@RS1~]#echo"1">/proc/sys/net/ipv4/conf/all/arp_ignore

[root@RS1~]#echo"2">/proc/sys/net/ipv4/conf/all/arp_announce

[root@RS2src]#echo"1">/proc/sys/net/ipv4/conf/lo/arp_ignore

[root@RS2src]#echo"2">/proc/sys/net/ipv4/conf/lo/arp_announce

[root@RS2src]#echo"1">/proc/sys/net/ipv4/conf/all/arp_ignore

[root@RS2src]#echo"2">/proc/sys/net/ipv4/conf/all/arp_announce

12都代表什么内容可在最后附录中查看也可自己网上搜索

6、LVS负载均衡测试

显示的值是RS1,则此时该链接是分配到192.168.1.2上

我们使用的是wrr调度算法该算法中谁的权重值高会优先分配给谁

查看配置发现权重值一样

[root@LVS1~]#ipvsadm-L-n

IPVirtualServerversion1.2.1(size=4096)

ProtLocalAddress:PortSchedulerFlags

->RemoteAddress:PortForwardWeightActiveConnInActConn

TCP10.0.0.30:80wrrpersistent20

->192.168.1.2:80Route100

->192.168.1.3:80Route100

由于有会话保持功能接下来修改权重值

[root@LVS1~]#ipvsadm-d-t10.0.0.30:80-r192.168.1.3:80<==删除原来配置

[root@LVS1~]#ipvsadm-a-t10.0.0.30:80-r192.168.1.3:80-g-w2<==重新配置权重值为2

[root@LVS1~]#ipvsadm-L-n

IPVirtualServerversion1.2.1(size=4096)

ProtLocalAddress:PortSchedulerFlags

->RemoteAddress:PortForwardWeightActiveConnInActConn

TCP10.0.0.30:80wrrpersistent20

->192.168.1.3:80Route200

->192.168.1.2:80Route100

再次进行测试

7、附arp抑制参数

arp响应限制

1arp_ignore:

定义对目标地址为本地IP的ARP询问不同的应答模式0

0-(默认值):回应任何网络接口上对任何本地IP地址的arp查询请求

1-只回答目标IP地址是来访网络接口本地地址的ARP查询请求

2-只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内

3-不回应该网络界面的arp请求而只对设置的唯一和连接地址做出回应

4-7-保留未使用

8-不回应所有本地地址的arp查询

2arp_announce:

对网络接口上本地IP地址的发出的ARP回应作出相应级别的限制:确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口

0-(默认)在任意网络接口eth0,eth1lo上的任何本地地址

1-尽量避免不在该网络接口子网段的本地地址做出arp回应.当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.

2-对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址.如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.