目前,在线上环境中应用较多的负载均衡器硬件有F5 BIG-IP,软件有LVS,Nginx及HAProxy,高可用软件有Heartbeat、Keepalived,成熟的架构有LVS+Keepalived、Nginx+Keepalived、HAProxy+keepalived及DRBD+Heartbeat.下面介绍其中一种的安装配置方法 LVS+Keepalived
环境:Centos 5.5
前端调度器Director使用主备模式,主的宕机了,备的接手任务
前端调度器1:LVS-master 192.168.0.101
前端调度器2:LVS-backup 192.168.0.103
后端服务器池:web1:192.168.0.104
web2:192.168.0.106
虚拟VIP:192.168.0.22
一:在LVS-master和 LVS-backup上面分别安装ipvsadm和keepalived
A:安装ipvsadm
1,先要做一个连接文件: ln -s/usr/src/kernels/2.6.18-308.8.1.el5-i686/ /usr/src/linux/
注意:如果ll /usr/src/kernels/ 目录下没东西,则 yum -y install kernel-devel解决
有关编译错误可看官方wiki文档:http://kb.linuxvirtualserver.org/wiki/Compiling_ipvsadm_on_different_Linux_distributions#Compiling_Error_Analysis
相关资源:
http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz
http://www.keepalived.org/software/keepalived-1.1.19.tar.gz
[root@master ~]#tar zxvf ipvsadm-1.24.tar.gz
[root@master ~]# cd ipvsadm-1.24
[root@master ipvsadm-1.24]#make;make install
如果报错原因可能是因为
实现LVS/DR最重要的两个东西是ipvs内核模块和ipvsadm工具包,现在的系统已经包含ip_vs模块
1)检查内核模块,看一下ip_vs是否被加载
# lsmod |grep ip_vs
如果没有显示,则说明没有加载,执行命令 modprobe ip_vs 就可以把ip_vs模块加载到内核
# lsmod |grep ip_vs
ip_vs 121473 0
B:安装keepalived
[root@master ~]#tarzxvf keepalived-1.1.19.tar.gz
[root@master ~]# cd keepalived-1.1.19
[root@master ipvsadm-1.24]#./configure --sysconf=/etc
--sysconfig=/etc 表示将配置文件和执行文件拷贝到/etc目录
配置报错configure:error:Popt libraries isrequired
此信息表示需要popt的开发包未安装。
直接通过yum安装即可。
执行
yuminstall popt-devel-y
[root@master ipvsadm-1.24]#make;make install
LVS-master上的配置脚本为,vim/usr/local/keepalived/etc/keepalived/keepalived.conf
! Configuration Filefor keepalived
#全局定义部分
global_defs{
notification_email {
[email protected] #设置邮件报警地址,可以设置多个,每行一个
[email protected]
[email protected]
}
notification_email_from
#设置邮件的发送地址
smtp_server 127.0.0.1 #设置smtp server地址
smtp_connect_timeout 30 #设置连接smtp server的超时时间
router_id LVS_DEVEL #表示运行keepalived服务器的一个标示,发邮件时显示在邮件主题中的信息
}
#vrrp实例定义部分
vrrp_instance VI_1 {
state MASTER #指定keepalived的角色
interface eth0 #指定HA检测网络的端口
virtual_router_id 51 #虚拟路由表示,这个表示是一个数字,同一个vrrp实例使用唯一的标示
priority 100 #定义优先级,数字越大,优先级越大,在同一个vrrp_instance下,MASTER的优先级必须高于BACKUP
advert_int 1 #设定MASTER和BACKUP负载均衡器之间的同步检查的时间间隔,单位是秒
authentication {
auth_typePASS #设定验证类型,主要有PASS和AH两种
auth_pass 1111 #设置密码,在同一个vrrp_instance下,MASTER和BACKUP必须使用相同的密码才能正常通信
}
virtual_ipaddress { #设置虚拟IP地址,可以为多个虚拟IP地址,每行一个
192.168.0.22
}
}
#虚拟服务器定义部分
virtual_server 192.168.0.22 80 { #设置虚拟服务器,需要指定虚拟IP地址和服务器端口,IP与端口之间用空格隔开
delay_loop 6 #设置运行情况检查时间,单位是秒
lb_algo rr #设置负载调度算法,这里是rr,即轮询算法
lb_kind DR #设置LVS 实现负载均衡的调度机制,有NAT、TUN和DR三个模式
persistence_timeout 1 #会话保持时间,单位是秒
protocol TCP #指定转发协议的类型
real_server 192.168.0.103 80 { #配置web2
weight 100 #服务节点的权值
TCP_CHECK { #realserver的状态检测部分,单位是秒
connect_timeout 3 #表示三秒无响应超时
nb_get_retry 3 #表示重试次数
delay_before_retry 3 #表示重试间隔
connect_port 80 #连接的端口
}
}
real_server 192.168.0.106 80 { #配置web1
weight 100
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
LVS-backup上的配置脚本为,vim/usr/local/keepalived/etc/keepalived/keepalived.conf 红色部分为和LVS-master的区别
!Configuration File for keepalived
global_defs {
notification_email {
[email protected]
[email protected]
[email protected]
}
[email protected]
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 51
priority 80
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.0.22
}
}
virtual_server 192.168.0.22 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 1
protocol TCP
real_server 192.168.0.103 80 {
weight 100
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.0.106 80 {
weight 100
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
在后端服务器池realserver上的设置
web1:192.168.0.101
新建脚本vim /etc/init.d/lvsrs如下:
#!/bin/bash
#description :Start Real Server
VIP=192.168.0.22
/etc/rc.d/init.d/functions
case "$1" in
start)
echo "Start LVS of Real Server"
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
;;
stop)
/sbin/ifconfig lo:0 down
echo "close LVS Director server"
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
web2:192.168.0.106
新建脚本vim /etc/init.d/lvsrs如下:
#!/bin/bash
#description :Start Real Server
VIP=192.168.0.22
/etc/rc.d/init.d/functions
case "$1" in
start)
echo "Start LVS of Real Server"
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
;;
stop)
/sbin/ifconfig lo:0 down
echo "close LVS Director server"
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
开启服务并测试
启动主备前端调度器上的ipvs+keep服务
/etc/init.d/ipvsadm
/etc/init.d/keepalived
启动后端服务器池nginx服务和lvsrs脚本
/etc/init.d/lvsrsstart
查看Master上的ipvs状态和连接以及keep的状态
测试生效结果
断开104的nginx
启动104的nginx 并且断开101主调度器的keep和lvs
查看备调度器上的日志 是否切换为master
查看备调度器的ipvs轮询地址
访问页面正常访问就是正确的结果
在启动master的keep看能否抢占
测试完成
(中间的服务器池如果nginx挂掉在启动不会抢占,例如104挂掉106正常 启动了在访问也是106 )