LVS+Keepalived 实现 负载平衡，高可用性模拟实验

 

LVS

Linux vritual server是针对linux内核开发的一个负载均衡项目，lvs实际上是一个基于IP 的一个虚拟化应用。LVS想已成为Linux系统的一部分。默认编译为IP_VS模块，必要时可以调用。

KeepAlived

Keepalived 是针对LVS的一款强大的辅助工具，主要用来提供故障切换和健检查功能，如判断LVS负载调度器、节点服务器的可用性，及时隔离并替换为新的服务器，当故障主机恢复后将其重新加入群集。在非LVS群集环境中使用时Keepalived也可以作为热备软件使用。

Keepalived采用VRRP(virtual  router  redundancy  protocol，虚拟路由冗余协议)热备份协议，以软件的方式实现linux服务器的多机热备功能。VRRP是针对路由器的一种备份解决方案-----由多台路由器组成一个热备组。通过共用的虚拟IP地址对外提供服务；每个热备组内同一时刻只有一台主服务器提供服务，其他服务器处于冗余状态，若当前在线的服务器失败，其他服务器会自动接替（优先级决定接替顺序）虚拟IP地址，以继续提供服务。

热备组内的每台服务器都可以成为主服务器，虚拟IP地址（VIP）可以在热备组内的服务器之间进行转移，所以也称为漂移IP地址，使用Keepalived时，漂移地址的实现不需要手动建立虚拟接口配置文件（如eth0:0），而是由Keepalived根据配置文件自动管理。

下面是我实验的两个案例： （LVS-NAT+HA）和 （LVS-DR+HA）

LVS-NAT+HA

实验拓扑如下：（全是RHEL6 X32模拟）

地址安排：

主调度器： 外网ip 12.12.12.1 /24

内网ip 192.168.1.1/24

辅助调度器： 外网 ip 12.12.12.2/24

内网ip 192.168.1.2/24

VIP虚拟ip 12.12.12.10/24 (web服务) 192.168.1.254 （内网的网关）

Web节点 1 ： 192.168.1.3/24 gw 192.168.1.254

Web节点2 ：19.168.1.4/24 gw 192.168.1.254

分析：

① 要实现LVS和keepalived实现的HA（高可用性）结合，需要安软ipvsadm 这个工具包来实现负载平衡以及安装keepalived实现高可用性，故障切换。

② 因为是LVS是NAT的工作模式，要解决防火墙以及路由转发的问题。

③ keepalived 是基于VRRP协议来工作的，所以要允许他们的通信。

④ keepalived 主配置文件的问题，文件中确定谁是主，谁是辅，以及VIP ,RIP。

⑤ LVS和Keepalived都是虚拟服务的一部分，要加载IP_VS模块。

⑥ web节点需链接vip网关，并提供web服务。

步骤：

先来解决第一步

rpm 安装 ipvsadm-1.25-9.el6.i686.rpm

源码安装keepalived 安装之前 必须先安装内核开发包kernel-devel以及openssl-devel、popt-devel等支持库 没有要安装

进入解压目录

./configure --prefix=/ --with-kernel-dir=/usr/src/kernels/2.6.32-71.el6.i686/ 配置 建议安装到/ 目录下 不然不会自动添加到系统服务。

make && make  安装

安装后会生成以下的目录和文件

Keepalived.conf 是主要配置文件

并且配置 服务开机自动启动 chkconfig keepalived on

配置防火墙 允许 80端口 和 目标地址是224.0.0.18的包 （224.0.0.18）是VRRP的通信地址  配置SNAT策略和允许源地址是80的转发包

修改/etc/sysctl.conf 配置文件 实现转发功能

把“net.ipv4.ip_forward = 0 ”的值给成1  启用转发

sysctl -p 生效

配置keepalived的主配置文件

主配置文件由三部分组成， 注释文字以”!”符号开头。

使用global_defs {……}区段指定全局参数。

使用vrrp_instance  实例名称{……}区段指定VRRP热备参数。

使用vritual_server  ip地址 {……}指定虚拟服务。

主配置调度器的配置

! Configuration File for keepalived #注释信息

global_defs { #全局配置开始

!   notification_email { #邮件提醒配置

!     [email protected] #本行和下两行指定收件人地址

!     [email protected]

!     [email protected]

!   }

!   notification_email_from [email protected] #指定发件人地址

!   smtp_server 192.168.200.1 #指定邮件服务器地址

!   smtp_connect_timeout 30 #链接超时时间

   router_id LVS_1 #本服务器的ID号为 LVS_1 必须是唯一的

}

!###############定义内部网关实例################################

vrrp_instance VI_1 { #开始定义VRRP实例 名称为VI_1 一组服务器的名称要一致

state MASTER #热备状态，MASTER表示主服务器；SLAVE表示备用服务器；当 有多台备用的服务器，热备状态改为 BACKUP,此状态是由 priority  的值来决定的,当前priority 的值小于备机的值,那么将会失MASTER  状态   

interface eth0 #检测承载VIP流量的网卡

    virtual_router_id 51   #虚拟路由器的ID号。主、辅机的 virtual_router_id 必须相同

    priority 100 #主机的优先级,数值越大优先能越高

    advert_int 1 #主备之间的通告间隔秒数（心跳频率）

    authentication { #认证信息，每个热备组保持一致

        auth_type PASS #认证类型，主备切换时的验证

        auth_pass 1111  #密码

    }

    virtual_ipaddress { #指定虚拟地址（VIP），可以有多个

        192.168.1.254 #HA 虚拟 ip,可加多个

    }

}

!#######################定义外网web服务实例#############################

vrrp_instance VI_11 {

    state MASTER

    interface eth1

    virtual_router_id 51

    priority 100

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

    }

    virtual_ipaddress {

        12.12.12.10

    }

}

!###############################定义网关虚拟地址######################

virtual_server 192.168.1.254 { #虚拟服务器地址（VIP）

    delay_loop 6 #健康检查的间隔时间（秒），每隔 6 秒查询 realserver状态

    lb_algo rr #lvs 调度算法,这里使用轮询

    lb_kind NAT #lvs 负载均衡机制,这里使用NAT

    nat_mask 255.255.255.0 #虚拟ip的子网掩码

!    persistence_timeout 50 #同一 IP 的连接 50 秒内被分配到同一台 realserver

    protocol TCP ##用 TCP 协议检查 realserver 状态

    real_server 192.168.1.1 { #第一个网关节点的地址

        weight 1 #节点的权重

        TCP_CHECK {  #健康检查方式

            connect_timeout 3 #故障重试秒数（即连接超时）

            nb_get_retry 3 #重试延迟（即重试次数）

            delay_before_retry 3 #重试间隔（秒）

                }

    }

    real_server 192.168.1.2 { #第二个网关节点的地址

        weight 1

        TCP_CHECK {

            connect_timeout 3

            nb_get_retry 3

            delay_before_retry 3

}

    }

}

!########################定义虚拟web地址 ##############################

virtual_server 12.12.12.10 80 { #虚拟服务器地址（VIP）、端口

    delay_loop 6

    lb_algo rr

    lb_kind NAT

     nat_mask 255.255.255.0

!persistence_timeout 50

    protocol TCP

    real_server 192.168.1.3 80 { #第一个web服务器

        weight 1

        TCP_CHECK {

connect_port 80 #指定检测的端口

            connect_timeout 3

            nb_get_retry 3

            delay_before_retry 3

        }

                                }

real_server 192.168.1.4 80 { #第二个服务器

        weight 1

        TCP_CHECK {

connect_port 80 

            connect_timeout 3

            nb_get_retry 3

            delay_before_retry 3

        }

                                }

辅助负载调度器的配置和主的大致相同  担忧三点配置不能一样

全局配置中的ID标识

状态

优先级  !注意这里一个VRRP 实例中有两个不一样 同理 两个VRRP实例中…… 自己算

然后负加载 ip_vs模块   modprobe ip_vs

注意从服务器重启后会失效

启动keepalived服务

好了 进度到一半了

辅助调度器一样的配置 处理keepalived的主配置文件不同

主调度器命令 ip address show dev 网卡名称 来查看端口监测的ip，主调度其中每个网卡应承载两个ip （VIP) 应为他是主 MASTER 优先级是100

辅助调度器 是一个正常ip  没有负载 VIP

为了测试keepalived能够正常实行故障切换  用ping + -t 命令检测 在ping的过程中断开主调度器的链接 然他不能和辅助调度器链接 VRRP 辅助调度器就认为主调度器down掉，边自动的成为主调度器 承载VIP的流量。Ping的过程中是 如下的效果

RIP（web节点）的配置

开启httpd服务

防火墙允许

网关指向VIP网关 也就是 192.168.1.254

这里两台web服务器我用了 不同的内容html文档

如果web节点down掉或出现问题

主从调度器上将把他排除  用ipvsadm命令查不到他

说明192.168.1.4这个web节点有问题 用TCP 协议检测他的80 端口

配置正常后

最后 测试页面如下

请求被发送到web节点1

请求被发送到web节点2

主负载调度器查看

ipvsadm  -lcn

还算比较平衡

LVS-DR +HA

实验拓扑如下：

主调度器：12.12.12.1/24

辅助调度器： 12.12.12.2/24

VIP:12.12.12.10/24

Web01: 12.12.12.3/24

Web02:12.12.12.4/24

分析：

思路基本一致

① 在主辅调度器上安装ipvsadm和keepalived软件

② 解决主辅调度器的连通性问题

③ ip_vs模块的应用

④ 配置文件配置

⑤ web节点的配置

步骤：

思路 ① ② ③ 就省去详细步骤了，参考LVS-NAT+HA或 链接 http://zhangyongli.blog.51cto.com/6691702/1288731

来直接看看配置文件的不同。

主负载调配器

! Configuration File for keepalived

global_defs {

!   notification_email {

!     [email protected]

!     [email protected]

!     [email protected]

!   }

!   notification_email_from [email protected]

!   smtp_server 192.168.200.1

!   smtp_connect_timeout 30

   router_id LVS_1

}

!##########################VRRP实例#################################

vrrp_instance VI_1 {

    state MASTER

    interface eth0

    virtual_router_id 51

    priority 100

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

    }

    virtual_ipaddress {

        12.12.12.10

    }

}

!################################定义虚拟服务器####################

virtual_server 12.12.12.10 80 {

    delay_loop 6

    lb_algo rr

lb_kind DR #注意是DR

    !persistence_timeout 50

    protocol TCP

    real_server 12.12.12.3 80 { #第一个真实web

        weight 1

        TCP_CHECK {

            connect_timeout 3

            nb_get_retry 3

            delay_before_retry 3

        }

    }

    real_server 12.12.12.4 80 { #第二个真实web

        weight 1

        TCP_CHECK {

            connect_timeout 3

            nb_get_retry 3

            delay_before_retry 3

        }

    }

}

辅助调度服务器

全局配置中  router_id 不同  vrrp实例中  状态不一样  优先级不一样

Web节点的配置

因为是LVS-DR模式

所以 web客户端是独立向客户端回应响应包的 添加ifcf-etho:0文件

内容如下

DEVICE=lo:0 #设备名称

IPADDR=12.12.12.10 #监听vip地址

NETMASK=255.255.255.255 #主机路由

注意sysctl.conf配置添加

详细含义参考 http://zhangyongli.blog.51cto.com/6691702/1288731 文档尾部

添加路由

route  add  12.12.12.10 dev lo：0

Web节点相同的配置 

然后测试;

主负载调度器

ip   addr   show   dev  echt0

好了  大功告成！！！