LVS+Keepalived负载均衡
LVS+Keepalived负载均衡
LVS简介及工作原理
LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。
LVS 简单工作原理：用户请求LVS VIP，LVS根据转发方式和算法，将请求转发给后端服务器，后端服务器接受到请求，返回给用户。对于用户来说，看不到WEB后端具体的应用。
LVS转发方式有三种，分别是NAT、DR、TUN模式，常用算法：RR、LC、WRR、WLC模式等（RR为轮询模式，LC为最少连接模式）
LVS NAT原理：用户请求LVS到达director,director将请求的报文的目标地址改成后端的realserver地址，同时将报文的目标端口也改成后端选定的realserver相应端口，最后将报文发送到realserver，realserver将数据返给director，director再把数据发送给用户。（两次请求都经过director，所以访问大的话，director会成为瓶颈）
LVS DR原理：用户请求LVS到达director,director将请求的报文的目标MAC地址改成后端的realserver MAC地址，目标IP为VIP（不变），源IP为用户IP地址（保持不变），然后Director将报文发送到realserver，realserver检测到目标为自己本地IP，如果在同一个网段，然后将请求直接返给用户。如果用户跟realserver不在一个网段，则通过网关返回用户。（此种转发效率最高）
LVS TUN原理：跟LVS DR类似，也是改变封装MAC地址，多了一层隧道加密。实施环境复杂，比LVS DR模式效率略低。
安装实验架构图：
LVS环境安装配置
下载LVS所需软件ipvsadm-1.2.4.tar.gz软件，编译安装：
|
1
2
3
4
5
6
7
|
wget -c http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz
ln
-s /usr/src/kernels/2.6.* /usr/src/linux
//IPVS模块编译进内核里，需要做软连接
tar
xzvf ipvsadm-1.24.tar.gz &&cdipvsadm-1.24 && make
&&make
install
查看LVS转发列表命令为：ipvsadm�CLn
清空lvs转发 ipvsadm -C
|
Keepalived安装配置
|
1
2
3
4
5
|
wget
tar
-xzvf keepalived-1.2.12.tar.gz;cd
keepalived-1.2.12;
./configure
&&make
&& make
install
|
安装完毕，配置keepalived服务为系统服务。
|
1
2
3
4
5
|
DIR=/usr/local/
cp
$DIR/etc/rc.d/init.d/keepalived
/etc/rc.d/init.d/ && cp
$DIR/etc/sysconfig/keepalived
/etc/sysconfig/
&& mkdir
-p /etc/keepalived
&& cp
$DIR/sbin/keepalived
/usr/sbin/
|
在MASTER上即192.168.77.188上的/etc/keepalived/目录创建keepalived.conf配置文件，并写入如下内容：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
|
! Configuration File for
keepalived
global_defs {
notification_email {
}
notification_email_from [email protected]
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
# VIP1
vrrp_instance VI_1 {
state MASTER
interface eth0
lvs_sync_daemon_inteface eth0
virtual_router_id 51
priority 100
advert_int 5
nopreempt
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.100
}
}
virtual_server 192.168.1.100 80 {
delay_loop 6
lb_algo wrr
lb_kind DR
persistence_timeout 60
protocol TCP
#REAL_SERVER_1
real_server 192.168.1.112 80 {
weight 100
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
#REAL_SERVER_2
real_server 192.168.1.113 80 {
weight 100
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
|
在LVS BACKUP即192.168.77.199服务器/etc/keepalived/目录创建keepalived.conf配置文件如下配置，需要注意的是客户端的配置要修改优先级及状态：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
|
! Configuration File for
keepalived
global_defs {
notification_email {
}
notification_email_from [email protected]
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
# VIP1
vrrp_instance VI_1 {
state BACKUP
interface eth0
lvs_sync_daemon_inteface eth0
virtual_router_id 51
priority 90
advert_int 5
nopreempt
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.100
}
}
virtual_server 192.168.1.100 80 {
delay_loop 6
lb_algo wrr
lb_kind DR
persistence_timeout 60
protocol TCP
#REAL_SERVER_1
real_server 192.168.1.112 80 {
weight 100
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
#REAL_SERVER_2
real_server 192.168.1.1113 80 {
weight 100
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
|
配置完成后分别重启keepalived服务并tail -f /var/log/message 查看日志，若果报错请执行以下加载模块：
|
1
2
3
|
modprobe ip_vs
modprobe ip_vs_wrr
modprobe ip_vs_rr
|
之后重启在查看日志是否正常加载vip
LVS 主备配置完毕，接下来需要在realserver配置LVS VIP，为什么要在realserver绑定VIP呢？
客户端访问director的VIP，director接收请求，将通过相应的算法将请求转发给相应的realserver。在转发的过程中，会修改请求包的目的mac地址，目的ip地址不变。
Realserver接收请求，并直接响应客户端。这时便出现一个问题，director此时与realserver位于同一个网络中，当director直接将请求转发给realserver时，realserver检测到该请求包的目的ip是vip而并非自己，便会丢弃，而不会响应。为了解决这个问题，所以需要在所有Realserver上都配上VIP。
为什么一定要配置在lo接口上呢？
在realserver上的lo口配置VIP,这样限制了VIP不会在物理交换机上产生MAC地址表，从而避免IP冲突。
客户端启动Realserver.sh脚本内容：
分别在后端机器192.168.77.133和192.168.77.166的data目录下创建个脚本并分别启动，脚本内容如下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
|
#!/bin/sh
#LVS Client Server
VIP=192.168.1.100
case
$1 in
start)
ifconfig
lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
/sbin/route
add -host $VIP dev lo:0
echo
"1"
>/proc/sys/net/ipv4/conf/lo/arp_ignore
echo
"2"
>/proc/sys/net/ipv4/conf/lo/arp_announce
echo
"1"
>/proc/sys/net/ipv4/conf/all/arp_ignore
echo
"2"
>/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null
2>&1
echo
"RealServer Start OK"
exit
0
;;
stop)
ifconfig
lo:0 down
route del $VIP >/dev/null
2>&1
echo
"0"
>/proc/sys/net/ipv4/conf/lo/arp_ignore
echo
"0"
>/proc/sys/net/ipv4/conf/lo/arp_announce
echo
"0"
>/proc/sys/net/ipv4/conf/all/arp_ignore
echo
"0"
>/proc/sys/net/ipv4/conf/all/arp_announce
echo
"RealServer Stoped OK"
exit
1
;;
*)
echo
"Usage: $0 {start|stop}"
;;
esac
|
ipvsadm -Ln lvs的链接
启动后用ifconfig可以查看到lo上的vip绑定成功。就可以用vip直接访问网站了。
后端LAMP在之前blog中写过，，这里省略，以上是全部lvs和keepalived配置安装