keepalived+lvs

keepalived+lvs

前面我们讲解了使用LVS实现服务器的负载均衡，但是有两个问题我们没有解决分别是调度器的单点故障，第二个是服务器池的健康检查，今天我们使用keeplaved解决这两个问题，实际上keeplaved就是LVS的辅助工具。

keeplaved主要实现的功能就是故障切换和健康检测来判断调度器和节点服务器的可用性，并及时隔离替换为新的服务器，当故障主机恢复时自动添加回来。官方站点位于http://www.keepalived.org/

下载地址http://www.keepalived.org/download.html

一、keeplaved概述及安装

1、keepalived的热备方式

Keeplavied采用vrrp（Virtual Route Redundancy protocl 虚拟路由器冗余协议）以软件的方式实现linux的多级热备功能。VRRP本身是针对路由器的一种备份解决方案――由多台路由器组成的一个热备组，通过共用IP的方式提供服务，每个热备组组员不限，但是统一时刻只有一台主路由器提供服务，其余理由器均为备份状态，只有主路由器宕机时从备份路由器选出优先级最高的来接替主路由器。也就是接受群集IP来继续提供服务。我们也称之为漂移地址如下图所示。

图1

热备组内的路由器都有可能成为活跃路由器，虚拟路由器的IP地址可以再热备组内的路由器上进性漂移，使用Keeoalived不需要手动建立虚拟接口地址，而是通过配置文件实现使其根据优先级自动管理。

2、主Keepalived的安装与服务控制

今天的拓扑不用存储，两个服务器节点

图2

今天的实验目标就是使用keepalived实现LVS的双机热备并且监控服务器池的节点状态。首先我们先将两台调度器实现keepalived的双机热备，在这基础之上实现与LVS结合实现服务器池的负载均衡

主keepalived和从的配置差不多，我们这里就以主keepalived为主进行讲解

1)安装软件支持

在编译安装Keepalived之前，必须安装内核开发包 kernel-devel 、以及openssl-devel popt-devel等支持库。除此之外，在配置LVS时，也需要用到ipvsadm管理工具。

[root@MasterKeep ~]# yum -y install openssl-devel kernel-devel popt-devel ipvsadm

2)安装keepalived

[root@MasterKeep ~]# cd keepalived-1.2.13

[root@MasterKeep keepalived-1.2.13]# ./configure --prefix=/ --with-kernel-dir=/usr/src/kernels/2.6.32-431.el6.x86_64/ && make && make install

--prefix=/ 指定安装路径 默认会在/下的etc目录下创建一个子目录为keepalived

--with-kernel-dir 指定内核文件所在路径

make && make install 编译并安装

3）配置服务启动脚本

[root@MasterKeep keepalived-1.2.13]# chmod +x /etc/init.d/keepalived

[root@MasterKeep keepalived-1.2.13]# chkconfig --add keepalived

[root@MasterKeep keepalived-1.2.13]# chkconfig keepalived on

4）配置主配置文件

主配置文件安装完成后会默认存在/etc/keepalived/名字为keepalived.conf，不需要复制样例文件

我们对其进行编辑，主配置文件分为三个部分，全局配置、vrrp配置以及lvs配置

我们先对全局配置和vrrp配置进行配置以实现双机热备功能

global_defs {

notification_email {

root@Masterkeep //指定收件人的地址

}

notification_email_from root@Masterkeep //发件人的地址

smtp_server 127.0.0.1 //邮件服务器地址

smtp_connect_timeout 30 //SMTP的连接超时时间

router_id R1 //服务器的名字（随便）

}

vrrp_instance VI_1 {

state MASTER //服务器的工做模式

interface eth0 //与组内服务器通信的网卡

virtual_router_id 1 //心跳间隔

priority 100 //配置优先级

advert_int 1

authentication { //启用认证

auth_type PASS //认证的类型

auth_pass 123.abc //认证密码（组内路由器必须与主路由器相同）

}

virtual_ipaddress {

192.168.1.254 //群集IP地址（可以有多个）

}

}

以上有几点需要注意

①这里使用监控的是本地系统自带的postfix邮件系统，所以收件人、发件人都是自己，如果有真实的邮件系统可以直接指定邮件系统实例所在的IP地址就可以了（注意网关）

②主服务器的优先级必须高于备份服务器。

③认证面密码必须相同（尽量复杂）、

④心跳间隔必须一样（vrrp使用224.0.0.18组播地址实现心跳通信以实现状态监控）改为1的时候能够实现快速的故障切换

⑤群集IP地址必须一样

⑥在配置文件中默认启用了占先全（当备份服务器接替了主服务器工作后，当主服务恢复工作后则继续与主服务的身份运行）

5）启动keepalived服务

[root@MasterKeep keepalived-1.2.13]# service keepalived start

6）配置防火墙

[root@MasterKeep ~]# iptables -I INPUT -p ip -d 224.0.0.18 -j ACCEPT

[root@MasterKeep ~]# iptables -I INPUT -p tcp --dport 80 -j ACCEPT

[root@MasterKeep ~]# service iptables save
7）修改网卡配置信息

[root@MasterKeep ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

NM_CONTROLLED=no

[root@MasterKeep ~]# service network restart

以上就是主服务器的配置，从服务的配置差不多，只是在主配置文件略有不同

3、从keepalived的配置

安装于服务部分同上，只是在主配置文件中略有不同

[root@BACKUPkeep keepalived-1.2.13]# vim /etc/keepalived/keepalived.conf

router_id R2

state BACKUP

priority 99

其余部分一样就可以了。启动服务建立防火墙规则。修改网卡、

4、验证漂移地址在主服务器上，从服务器上没有

[root@MasterKeep ~]# ip addr show dev eth0

inet 192.168.1.100/24 brd 192.168.1.255 scope global eth0

inet 192.168.1.254/32 scope global eth0

inet6 fe80::20c:29ff:fea9:a3ce/64 scope

[root@BACKUPkeep ~]# ip addr show dev eth0

inet 192.168.1.101/24 brd 192.168.1.255 scope global eth0

inet6 fe80::20c:29ff:fe03:af59/64 scope link

valid_lft forever preferred_lft forever

5、在客户端测试，ping -t 192.168.1.254 不中断ping

C:\>ping -t 192.168.1.254

正在 Ping 192.168.1.254 具有 32 字节的数据:

来自 192.168.1.254 的回复: 字节=32 时间<1ms TTL=64

来自 192.168.1.254 的回复: 字节=32 时间<1ms TTL=64

来自 192.168.1.254 的回复: 字节=32 时间<1ms TTL=64

来自 192.168.1.254 的回复: 字节=32 时间<1ms TTL=64

来自 192.168.1.254 的回复: 字节=32 时间<1ms TTL=64

来自 192.168.1.254 的回复: 字节=32 时间<1ms TTL=64

来自 192.168.1.254 的回复: 字节=32 时间<1ms TTL=64

来自 192.168.1.254 的回复: 字节=32 时间<1ms TTL=64

来自 192.168.1.254 的回复: 字节=32 时间<1ms TTL=64

将主服务器的eth0网卡宕掉看一下是否实现了故障切换

[root@MasterKeep ~]# ifdown eth0

来自 192.168.1.254 的回复: 字节=32 时间<1ms TTL=64

来自 192.168.1.254 的回复: 字节=32 时间<1ms TTL=64

来自 192.168.1.254 的回复: 字节=32 时间<1ms TTL=64

请求超时。

请求超时。

请求超时。

来自 192.168.1.254 的回复: 字节=32 时间<1ms TTL=64

来自 192.168.1.254 的回复: 字节=32 时间<1ms TTL=64

来自 192.168.1.254 的回复: 字节=32 时间<1ms TTL=64

可以看出断了三下，这三下就是正在进行故障切换。

我们再去备份服务器上看一下漂移地址是否转移到备份服务器上去了。

[root@BACKUPkeep ~]# ip addr show dev eth0

inet 192.168.1.101/24 brd 192.168.1.255 scope global eth0

inet 192.168.1.254/32 scope global eth0

inet6 fe80::20c:29ff:fe03:af59/64 scope link

已经完成了切换，以上步骤就是实现服务器的高可用性的其中一种，我们还可以通过其他软件来实现，在后续的课程中会慢慢的介绍

继续试验：实现keepalived+LVS实现高可用的负载均衡群集

二、部署LVS+keepalived群集

1、修改主服务器的主配置文件

[root@MasterKeep ~]# vim /etc/keepalived/keepalived.conf

virtual_server 192.168.1.254 80 {

delay_loop 15

lb_algo rr

lb_kind DR

! persistence 60

protocol TCP

real_server 192.168.1.200 80 {

weight 1

TCP_CHECK {

connect_port 80

connect_timeout 3

nb_get_retry 3

delay_before_retry 4

}

}

real_server 192.168.1.201 80 {

weight 1

TCP_CHECK {

connect_port 80

connect_timeout 3

nb_get_retry 3

delay_before_retry 4

}

}

}

2、重新启动服务

[root@MasterKeep ~]# service keepalived restart

3、恢复网卡通信

[root@MasterKeep ~]# ifup eth0 （之后会自动成为主服务器）

从服务器也是需要一样的配置。

三、配置两个节点

1、安装httpd服务

[root@node_1 ~]# yum -y install httpd

2、启动服务

[root@node_1 ~]# service httpd start

3、建立防火墙规则

[root@node_1 ~]# iptables -I INPUT -p tcp --dport 80 -j ACCEPT

4、调整内核参数

[root@node_1 ~]# vim /etc/sysctl.conf

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

net.ipv4.conf.default.arp_ignore = 1

net.ipv4.conf.default.arp_announce = 2

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

[root@node_1 ~]# sysctl -p

5、配置虚拟接口

[root@node_1 ~]# cd /etc/sysconfig/network-scripts/

[root@node_1 network-scripts]# cp ifcfg-lo ifcfg-lo:0

[root@node_1 network-scripts]# vim ifcfg-lo:0

DEVICE=lo:0

IPADDR=192.168.1.254

NETMASK=255.255.255.255

ONBOOT=yes

[root@node_1 network-scripts]# service network restart

6、配置本地路由

[root@node_1 ~]# vim /etc/rc.local

/sbin/route add -host 192.168.1.254 lo:0

[root@node_1 ~]# route add -host 192.168.1.254 lo:0

7、建立测试页

[root@node_1 ~]# echo "node_1" > /var/www/html/index.html

第二个节点的配置方法一样在建立测试页的时候内容稍微修改一下，使其可以看见不同的效果。

[root@node_2 ~]# echo "node_2" > /var/www/html/index.html

测试没有问题，我们看一下将节点2宕机是查看一下ipvsadm -l 时候会自动将出现错误的节点移除

[root@MasterKeep ~]# ipvsadm -l

TCP 192.168.1.254:http rr

-> 192.168.1.200:http Route 1 0 0

已经移除了，那么我们看一下是否发送了警报

[root@MasterKeep ~]# cat /var/spool/mail/root

From [email protected] Sun Nov 8 20:23:46 2015

Return-Path: <[email protected]>

X-Original-To: root@Masterkeep

Delivered-To: [email protected]

Received: from ?null? (localhost [127.0.0.1])

by MasterKeep.localdomain (Postfix) with SMTP id 481B72009FD

for <root@Masterkeep>; Sun, 8 Nov 2015 20:23:46 +0800 (CST)

Date: Sun, 08 Nov 2015 12:23:46 +0000

From: [email protected]

Subject: [R1] Realserver [192.168.1.201]:80 - DOWN

X-Mailer: Keepalived

To: [email protected]

Message-Id: <[email protected]>

=> TCP CHECK failed on service <=

以上就是健康监测得出的结果，我们现在讲节点2恢复

[root@MasterKeep ~]# ipvsadm -l

TCP 192.168.1.254:http rr

-> 192.168.1.200:http Route 1 0 0

-> 192.168.1.201:http Route 1 0 0

已经可以开始工作了。

Subject: [R1] Realserver [192.168.1.201]:80 - UP

将主服务宕机之后备份服务器还能继续体统访问就算成功了，如果你在最后验证的时候出现了错误，那么请将主服务器的配置文件复制过来，在进行简单修改一下前面配置双机热备时的配置就可以了。