linux集群lvs dr模式（以Apache为例讲解）
本篇以Apache服务器为例讲述linux集群的lvs DR模式，dr与nat有相似处，本篇文章与上篇nat模式文章也有相似处。同样本篇先讲述lvs进行第7层健康检查情况，再讲述lvs进行第4层健康检查情况。同样都是集群技术，nat模式存在瓶颈，也就是瓶颈在HA分发器，而DR模式不存在瓶颈，可以极大提高网络带宽；不过NAT模式采用公网私有地址转换，nat模式节省稀缺的ipv4公网地址，而DR模式用到的ipv4地址都是公网地址（包括主从HA、各realserver用的ipv4都是公网ip），DR比较浪费地址；另外，dr模式中的主从HA服务器分别只要虚拟一个公网虚拟ip地址就行了，而nat模式中的主从HA服务器要分别各自模拟两个虚拟ip（一个是公网虚拟ip，一个是私网虚拟ip――供realserver作为网关用）；dr模式中的各realserver服务器需要在lo地址上再绑定那个公网虚拟ip，而nat模式中的各realserver不需要这么做；同样都是集群技术，lvs技术与nginx集群技术各有优缺点，场景不同选择方式也不一样，关于lvs与nginx的区别我已经专门写了一篇文章分析。本篇专门讲述lvs的DR技术。
实验环境：用4台linux虚机模拟，其中两台rhel5.6分别作为主从HA，上面配置keepalived和ipvsadm ；另外两台rhel4.6作为后端的realserver，上面搭建Apache服务器，此两台realserver模拟线上服务器。
DR模式之所以不存在带宽瓶颈，是因为当realserver接收到HA分发的数据包，经过realserver处理后就直接发送到互联网上了，而不是像NAT模式那样realserver还要将处理好后的数据包再次转发给HA，然后HA还要返回给互联网（这是NAT模式形成瓶颈的原因）。见下面DR模式拓扑图，可以拿dr拓扑和nat拓扑作比较，其流量走向不同：
实验过程：
将所有服务器的防火墙和selinux都关掉。用到的keepalived版本为keepalived-1.1.20.tar.gz，ipvsadm版本为ipvsadm-1.24.tar.gz。实验用的是DR模式rr算法。
1.RS1的配置：
在各realserver上只需搭建Apache、绑定虚拟ip到lo上以及取消arp转发功能等3大操作即可。
RS1的地址配成10.10.16.144
[root@RS1 ~]# vi /etc/sysconfig/network ###修改主机名――修改hostname即可，一下的主机名都这么修改，修改保存后要重启服务器（reboot）才能生效。
NETWORKING=yes
HOSTNAME=RS1
[root@RS1 ~]# rpm -ivh httpd-2.0.52-38.ent.i386.rpm apr-util-0.9.4-21.i386.rpm httpd-suexec-2.0.52-38.ent.i386.rpm ####安装Apache，由于这里realserver用的操作系统是rhel4.6，安装Apache操作和rhel5以上版本有所区别。
[root@RS1 ~]# vi /var/www/html/index.html ###新建RS1 Apache主页面，作为用户访问测试用
RS1_ip:10.10.16.144
[root@RS1 ~]# vi /var/www/html/md5.html ####在RS1的Apache目录里面新建md5.html网页，作为keepalived生成哈希值用，由于现在做的是lvs在7层做健康检查，要用到md5的哈希值验证
ok,nimei!
[root@RS1 ~]# service httpd start
[root@RS1 ~]# chkconfig --level 35 httpd on
到这里，开始绑定虚拟公网ip到RS1的lo地址上，为了便于区别，这里绑定到lo:0，绑定虚拟公网ip目的是让realserver接收到的数据包经过处理后直接返回给互联网，而不是像nat模式那样还要将数据包返回给HA再由HA交给互联网。绑完公网ip后，还要取消arp响应，否则网络中会出现“这个公网ip对应多个mac地址回应数据”。可以用ifconfig lo:0 10.10.16.143绑到lo:0上，再将/proc/sys/net/ipv4/conf/lo/arp_ignore的值改为1，将/proc/sys/net/ipv4/conf/lo/arp_announce的值改为2，将/proc/sys/net/ipv4/conf/all/arp_ignore的值改为1，将/proc/sys/net/ipv4/conf/all/arp_announce的值改为2，这样就取消了了arp响应，这里可以写脚本将这两大步有条理的完成，脚本如下：
[root@RS1 ~]# vi realserver.sh ###如果机器重启了，此脚本要重新运行一次，因为脚本里的添加ip的命令不是永久保存ip的
#!/bin/bash
#description: Config realserver
VIP=10.10.16.143
case "$1" in
start)
/sbin/ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast 10.10.16.255 up
/sbin/route add -host $VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Started !"
;;
stop)
/sbin/ifconfig lo:0 down
/sbin/route del $VIP >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped !"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
exit 0
[root@RS1 ~]# chmod 755 realserver.sh ###给脚本赋可执行权限
[root@RS1 ~]# ./realserver.sh start ####执行脚本，完成上述所述的两大步；也可以执行./realserver.sh stop取消lo:0和打开arp响应，调试的时候可以这么做
到这里RS1的配置完成。
2.RS2的配置
RS2的配置和RS1的配置基本上相同，不同的是ip地址个Apache网页内容。
RS2的ip配成10.10.16.146
[root@RS2 ~]# rpm -ivh httpd-2.0.52-38.ent.i386.rpm apr-util-0.9.4-21.i386.rpm httpd-suexec-2.0.52-38.ent.i386.rpm
[root@RS2 ~]# vi /var/www/html/index.html
RS2_ip:10.10.16.146
[root@RS2 ~]# cat /var/www/html/md5.html ###注意到RS1、RS2的两个md5.html内容不一样，其生成对应的哈希值也不一样
ok,fuck!
[root@RS2 ~]# service httpd start
[root@RS2 ~]# chkconfig --level 35 httpd on
将RS1的realserver.sh脚本拷贝到RS2，赋权限执行start后，RS2的配置也完成。
3.主HA的配置
正如RS1和RS2的配置有很多相似处一样，主从HA的配置也有很多相似处。
[root@HA_master ~]# yum install gcc gcc-c++ openssl-devel kernel-devel -y
[root@HA_master ~]# tar zxf keepalived-1.1.20.tar.gz
[root@HA_master ~]# cd keepalived-1.1.20
[root@HA_master keepalived-1.1.20]# ./configure --sysconfdir=/etc --with-kernel-dir=/usr/src/kernels/2.6.18-238.el5-i686/
[root@HA_master keepalived-1.1.20]# make &&make install
[root@HA_master ~]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf_bak ###记得养成备份配置文件的习惯
[root@HA_master ~]# genhash -s 10.10.16.144 -p 80 -u /md5.html ####分别获取两个realserver的哈希值，将此哈希值分别拷贝到各HA的keepalived配置文件中，该哈希值作为验证作用
MD5SUM = 5a1074db9fdd7753f086403e299c32ba
[root@HA_master ~]# genhash -s 10.10.16.146 -p 80 -u /md5.html
MD5SUM = 5e300b0518b2b3ef570559828ebf47ab
[root@HA_master ~]# vi /etc/keepalived/keepalived.conf ####将keepalived的配置文件改成如下：
! Configuration File for keepalived
global_defs {
notification_email {
[email protected] ###可以将此处的邮箱地址改成自己的
}
notification_email_from [email protected]
smtp_server 192.168.200.1 ####可以将此处的发送邮箱ip地址改成自己公司的邮件服务器ip
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance web {
state MASTER ####将此处状态标识成master，若是从的写成backup或slave，名称的选取没有限制
interface eth0 ###将此处的网卡名称写成系统真实存在的网卡名（即eth0），如果有两个网卡，即增加了eth1，则将此处代码段整体复制，在新的代码段中将此处命名eth1
virtual_router_id 24 ###为了保证通信不和其他机器冲突，将此处的id写成自己独特的，id最大值是255
priority 100 ###将优先级也修改一下，默认是51，主HA的优先级要高于从HA，区分HA是主还是从靠的就是这里的优先级区分
advert_int 1
authentication {
auth_type PASS
auth_pass 1124 ###可以将此处的验证码修改成自己的，默认是1111
}
virtual_ipaddress {
10.10.16.143 ###将此处的虚拟ip地址修改成预算好的虚拟公网ip（10.10.16.143）
}
}
virtual_server 10.10.16.143 80 { #####配置realserver部分
delay_loop 6
lb_algo rr ####这里的算法采用rr算法，也可以选别的算法
lb_kind DR ####这里的模式写成DR，注意要大写
persistence_timeout 0 ####默认的连接时间是50秒，这里为了实验效果更明显，写成0，实际生产中要选择一个适当的数值
protocol TCP
real_server 10.10.16.144 80 { #####配置第一台realserver
weight 1
HTTP_GET { ####这里的名称最好写成HTTP_GET,我试了好几个别的名字用来取代HTTP都没有成功。
url {
path /md5.html ###验证哈希值的网页
digest 5a1074db9fdd7753f086403e299c32ba #####将上面获得的哈希值分别写在此处
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 10.10.16.146 80 {
weight 1
HTTP_GET {
url {
path /md5.html
digest 5e300b0518b2b3ef570559828ebf47ab
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
[root@HA_master ~]# cp /usr/local/sbin/keepalived /usr/sbin
[root@HA_master ~]# service keepalived start
[root@HA_master ~]# chkconfig --level 35 keepalived on
[root@HA_master ~]# ln -s /usr/src/kernels/2.6.18-238.el5-i686/ /usr/src/linux
[root@HA_master ~]# tar zxf ipvsadm-1.24.tar.gz
[root@HA_master ~]# cd ipvsadm-1.24
[root@HA_master ipvsadm-1.24]# make &&make install
ok，到这里，keepalived和ipvsadm都安装好了，现在用ipvsadm工具测试能否在HA上检测到realserver状态：
上面截图表明在主HA上能检测到realserver状态，也就是主HA配置完成。
4.从HA的配置
[root@HA_slave ~]# yum install gcc gcc-c++ openssl-devel kernel-devel -y
[root@HA_slave ~]# tar zxf keepalived-1.1.20.tar.gz
[root@HA_slave ~]# cd keepalived-1.1.20
[root@HA_slave keepalived-1.1.20]# ./configure --sysconfdir=/etc --with-kernel-dir=/usr/src/kernels/2.6.18-238.el5-i686/
[root@HA_slave keepalived-1.1.20]# make &&make install
[root@HA_slave ~]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf_bak
[root@HA_slave ~]# genhash -s 10.10.16.146 -p 80 -u /md5.html
MD5SUM = 5e300b0518b2b3ef570559828ebf47ab
[root@HA_slave ~]# genhash -s 10.10.16.144 -p 80 -u /md5.html
MD5SUM = 5a1074db9fdd7753f086403e299c32ba
走到这里，可以将主HA的keepalived配置文件拷贝到从HA的keepalived配置文件目录下，稍加修改即可：
[root@HA_slave ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
}
notification_email_from [email protected]
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance web {
state BACKUP ####标识为备用状态
interface eth0
virtual_router_id 24
priority 96 #####优先级修改为比主HA的小
advert_int 1
authentication {
auth_type PASS
auth_pass 1124
}
virtual_ipaddress {
10.10.16.143
}
}
virtual_server 10.10.16.143 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 0
protocol TCP
real_server 10.10.16.144 80 {
weight 1
HTTP_GET {
url {
path /md5.html
digest 5a1074db9fdd7753f086403e299c32ba
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 10.10.16.146 80 {
weight 1
HTTP_GET {
url {
path /md5.html
digest 5e300b0518b2b3ef570559828ebf47ab
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
[root@HA_slave ~]# cp /usr/local/sbin/keepalived /usr/sbin
[root@HA_slave ~]# service keepalived start
[root@HA_slave ~]# chkconfig --level 35 keepalived on
[root@HA_slave ~]# ln -s /usr/src/kernels/2.6.18-238.el5-i686/ /usr/src/linux
[root@HA_slave ~]# tar zxf ipvsadm-1.24.tar.gz
[root@HA_slave ~]# cd ipvsadm-1.24
[root@HA_slave ipvsadm-1.24]# make &&make install
到这里，也可以用ipvsadm工具检测一下realserver的状态，如下面截图：
ok，上面截图表明在从HA上面也可以检测到realserver，到这里从HA的配置已经完成，也就是lvs DR模式对7层健康检查方法已经基本配置完成，下面做一些测试：
查看主HA的ip地址，发现eth0上绑定了“虚拟公网ip”：
查看从HA的IP地址，发现没有绑定任何地址，因为只要主HA活着，从HA就一直做备胎，只有当主HA挂掉，从HA才会从备胎转换成master，但是当主HA故障修复完成后，从HA又会自动让位变成备胎，主HA依然是主HA：
下面看一下RS1的ip地址状态，发现多了一个lo:0地址：
再看一下RS2的ip地址，发现也多了一个lo:0地址：
现在用宿主机的3个浏览器分别访问10.10.16.143，发现返回的结果是来自RS1和RS2：
再在从HA服务器上用文本浏览器（curl）再次验证从10.10.16.143返回的值，发现当用户访问虚拟公网ip时，RS1、RS2都工作，此时HA实现的是分发轮询。
现在让主HA网卡睡眠1分钟，即模拟主网卡故障，看从HA是否装换成主HA：
[root@HA_master ~]# ifdown eth0 &&sleep 60 &&ifup eth0
发现从HA已顺利转成master，虚拟公网ip10.10.16.143跳到了从HA的eth0上面，这表明，主从HA有了配合，转成主HA的从HA会做主HA相同的工作，二者的功能相同。当主HA恢复时，从Ha又从主状态变为从状态。
当RS1挂了，看看用户访问时，HA是否还会把数据包分发到坏的RS1上面：（可以让RS1网卡睡眠或停止工作、RS1停机、RS1 Apache挂掉等模拟RS1挂掉）
发现当RS1挂了，HA不会把数据分发到RS1上了，而是将数据只分发到RS2上处理，如果有多台realserver则HA会把数据分发到除了RS1以外的其他realserver处理。当RS1恢复正常，则HA仍会将数据分发到RS1上处理，这说明了HA和realserver之间的配置是正确的，即HA的keepalived配置文件中关于realserver配置区域的配置是正确的。
ok，lvs工作对7层检查检查的实验模拟完成（lvs只会工作在第四层，不会工作在第7层，但是lvs可以对第7层与第四层健康检查），现在模拟lvs对第4层健康检查模式的实验，其实这两种模式的配置基本相同，不同的是主从HA的keepalived的配置文件中关于realserver的配置，各realserver的配置不变。
下面是主HA的keepalived配置文件：
[root@HA_master ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
}
notification_email_from [email protected]
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance web {
state MASTER
interface eth0
virtual_router_id 24
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1124
}
virtual_ipaddress {
10.10.16.143
}
}
virtual_server 10.10.16.143 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 0
protocol TCP
# real_server 10.10.16.144 80 {
# weight 1
# HTTP_GET {
# url {
# path /md5.html
# digest 5a1074db9fdd7753f086403e299c32ba
# }
# connect_timeout 3
# nb_get_retry 3
# delay_before_retry 3
# }
# }
#
# real_server 10.10.16.146 80 {
# weight 1
# HTTP_GET {
# url {
# path /md5.html
# digest 5e300b0518b2b3ef570559828ebf47ab
# }
# connect_timeout 3
# nb_get_retry 3
# delay_before_retry 3
# }
# }
real_server 10.10.16.144 80 {
weight 1
TCP_CHECK{
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 10.10.16.146 80 {
weight 1
TCP_CHECK{
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
下面是从HA的keepalived配置文件内容：
[root@HA_slave ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
}
notification_email_from [email protected]
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance web {
state BACKUP
interface eth0
virtual_router_id 24
priority 96
advert_int 1
authentication {
auth_type PASS
auth_pass 1124
}
virtual_ipaddress {
10.10.16.143
}
}
virtual_server 10.10.16.143 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 0
protocol TCP
# real_server 10.10.16.144 80 {
# weight 1
# HTTP_GET {
# url {
# path /md5.html
# digest 5a1074db9fdd7753f086403e299c32ba
# }
# connect_timeout 3
# nb_get_retry 3
# delay_before_retry 3
# }
# }
#
# real_server 10.10.16.146 80 {
# weight 1
# HTTP_GET {
# url {
# path /md5.html
# digest 5e300b0518b2b3ef570559828ebf47ab
# }
# connect_timeout 3
# nb_get_retry 3
# delay_before_retry 3
# }
# }
real_server 10.10.16.144 80 {
weight 1
TCP_CHECK{
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 10.10.16.146 80 {
weight 1
TCP_CHECK{
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
分别保存并重启keepalived，按照lvs对第7层健康检查模式去验证，会发现lvs对第4层健康检查仍然正常。这里的配置文件实际上就是把配置对第7层健康检查用的realserver区域注释掉，添加配置对第4层健康检查区域的代码。
ok，到这里，使用rr算法的DR模式的LVS基于7层健康检查和基于4层健康检查的配置已经完成！
本文出自 “个人感受” 博客，谢绝转载！