LVS + Keeplaved 配置
一. LVS集群组成
LVS ( Linux Virtual Server ) 集群由3部分组成,最前端是负载均衡层( Load Balancer ),中间是服务器群组层 ( Server Array ) ,底端是数据共享层 ( Share Storage )
1. LVS集群有三种配置模式DR、TUN、NAT
VS/NAT 即 Virtual Server via Nitwork Address Translation 网络地址翻译技术实现虚拟服务器
VS/TUN 即 Virtual Server via IP Tunneling 通过IP隧道技术实现虚拟服务器
VS/DR 即 Virtual SErver via Direct Routing 直接路由技术实现虚拟服务器
2. LVS 调度算法
静态调度 1. rr Round Robin 轮询调度 2. wrr weight 加权 以权重之间的比例实现在各主机之间进行调度 3. sh source hashing 源地址散列 主要实现会话绑定，能够将此前建立的session信息保留 4. Dh Destination hashing 目标地址散列 把同一个IP地址的请求，发送给同一个server 动态调度 1. lc (Least-Connection) 最少连接 2. wlc (Weighted Least-Connection Scheduling) 加权最少连接 3. sed (Shortest Expected Delay) 最短期望延迟 4. nq （never queue） 永不排队（改进的sed） 5. LBLC （Locality-Based Least Connection） 基于局部性的最少连接 6. LBLCR（Locality-Based Least Connections withReplication） 带复制的基于局部性最少链接
二. 通过Keepalived搭建LVS高可用集群
地址规划
主负载调度器 Director Server Hostname DR1 eth1: 192.168.12.130 eth1:1 192.168.12.200 Virtual IP eth2: 10.10.10.11 备负载调度器 Director Server Hostname DR2 eth1: 192.168.12.131 eth1:1 192.168.12.200 Virtual IP eth2 10.10.10.12 Real server 1 Hostname rs1 eth1 192.168.12.132 eth2 10.10.10.13 Real server 2 Hostname rs2 eth1 192.168.12.133 eth2 10.10.10.14
1. 在DR1和DR2服务器安装keepalived ipvsadm ( IPVS管理软件 )
yum -y install keepalived ipvsadm
chkconfig --level 2345 keepalived on
chkconfig --level 2345 ipvsadm on
2. 配置独立日志 安装完默认日志路径为 /var/log/message
vim /etc/sysconfig/keepalived
修改 KEEPALIVED_OPTIONS="-D -d -S 0"
vim /etc/rsyslog.conf 增加
#keepalived -S 0
local0.* /var/log/keepalived.log
重启日志服务 service rsyslog restart 检查 /var/log/keepalived.log 文件是否存在
检查内核是否支持LVS的IPVS模块
modprobe -l | grep ipvs
3. 配置 Keepalived
vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
[email protected] # 设置报警邮件,每行一个
[email protected] # 需要开启本机sendmail服务
[email protected]
}
notification_email_from Keepalived@localhost # 设置邮件发送地址
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL # 表示Keepalived 服务器的一个标识.发邮件时显示在邮件主题中的信息
}
# vrrp 实例定义部分
vrrp_instance VI_1 {
state MASTER # 指定Keepalived 角色,BACKUP表示备用
interface eth1 # 指定 HA监测网络的接口
virtual_router_id 51 # 虚拟路由标识,同一个 vrrp_instancd下, MASTER AND BACKUP 必须是一致的
priority 100 # 定义优先级,数字越大,优先级越高 在同一个 vrrp_instancd下. MASTER 优先级必须大于 BACKUP
advert_int 1 # 主备同步检查时间间隔,时间为秒
authentication { # 设置验证类型和密码
auth_type PASS # 设置验证类型 主要有 PAS S和 AH 两种
auth_pass 1111 # 设置验证密码 在同一个 vrrp_instancd下
}
virtual_ipaddress {
192.168.12.200 # 虚拟IP,可以设置多个,每行一个
}
}
# 虚拟服务器定义部分
virtual_server 192.168.12.200 80 {
delay_loop 6 # 设置运行情况检查时间,单位为秒
lb_algo rr # 设置负载调度算法 rr 即轮询算法
lb_kind DR # 设置 LVS 负载均衡机制 NAT TUR DR
nat_mask 255.255.255.0
persistence_timeout 50 # 会话保持时间 注释掉此行才会轮询. 这个选项对动态网页非常有用,为集群session 共享提供了很好的解决方案, 有了这个会话保持功能,用户的
# 请求会被一直发到某个服务节点, 直到超过这个会话保持时间. 需要注意的是这个会话保持时间是最大无响应超时时间,也就是说,用户在操作动态
# 页面时, 如果在50秒内没有执行任何操作, 那么接下来的操作会被分发到另外的节点, 但是如果用户一直在动态页面, 则不受50秒时间限制
protocol TCP # 指定转发协议 TCP UDP两种
real_server 192.168.12.132 80 {
weight 3 # 权重 数字越大, 权重越高
TCP_CHECK {
connect_timeout 3
nb_get_retry 3 # 重试次数
delay_before_retry 3 # 重试间隔
}
}
real_server 192.168.12.133 80 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
配置完成后将此文件复制到备用 Director Server , 进行以下修改即可
将 state MASTER 改为 state BACKUP
priority 100 更改为一个较小的值,这里改为80
4. 配置 Real server
在 LVS 的 DR 和 TUN 模式下,用户的访问请求到达 Real Server 后, 是直接返回给用户的, 不再经过前端的 Director Server ,因此 ,需要在每个Real server 节点上增加虚拟的 VIP 地址,
这样数据才能直接返回给用户.增加 VIP 地址的操作可以通过创建脚本的方式来实现.
创建文件 /etc/init.d/lvsrs 脚本内容如下
#!/bin/bash
# description : Start Real Server
VIP=192.168.12.200
. /etc/rc.d/init.d/functions
case "$1" in
start)
echo " Start LVS of Real Server "
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
;;
stop)
echo " close LVS Director server "
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
增加权限 chmod 755 /etc/init.d/lvsrs
5. 启动 Keepalived + LVS 集群
在主 备Director Server 上分别启动 Keepalived 服务
/etc/init.d/keepalived start
在两个 Real server 上执行如下脚本
/etc/init.d/lvsrs start