keepalived+LVS+nginx搭建高可用负载均衡(二)

操作系统:CentOS-7.8
keepalived版本:2.0.20
nginx版本:1.18.0

本篇是《keepalived+LVS+nginx搭建高可用负载均衡》的第二篇,上一篇主要是介绍了这些组件和基础知识,以及基础演示,本篇将把这三个组件进行结合做一个演示,对这三个组件不熟悉的朋友请先看上一篇文章《keepalived+LVS+nginx搭建高可用负载均衡(一)》传送门

一、准备工作

1.环境说明

该演示总共需要4台服务机器(可使用虚拟机),分别取名字:LVS1,LVS2,Server1、Server2。每台机器说明如下:

  • LVS1:LVS复杂均衡调度器,安装keepalived,配置LVS调度策略。真实IP:192.168.56.121,keepalived主实例虚拟IP:192.168.56.131,keepalived备用实例虚拟IP:192.168.56.132

  • LVS2:LVS复杂均衡调度器,安装keepalived,配置LVS调度策略,真实IP:192.168.56.122,keepalived主实例虚拟IP:192.168.56.132,keepalived备用实例虚拟IP:192.168.56.131

  • Server1:服务器集群服务器,安装nginx,keepalived。真实IP:192.168.56.101,keepalived主实例虚拟IP:192.168.56.121,keepalived备用实例虚拟IP:192.168.56.122,回环虚拟IP(对外隐藏):192.168.56.131、192.168.56.132

  • Server2:服务器集群服务器,安装nginx,keepalived。真实IP:192.168.56.102,keepalived主实例虚拟IP:192.168.56.122,keepalived备用实例虚拟IP:192.168.56.121,回环虚拟IP(对外隐藏):192.168.56.131、192.168.56.132

注意:两台LVS1服务器构成双主热备作为负载均衡,两台Server作为真实服务器提供nginx的web服务采用双主热备。(更深层次可以将nginx集群继续作为负载均衡集群,搭建多级负载均衡,在这里就不进行这种拓展了)

2.服务主机关系图

如下图即为本次演示的一个主机关系图,从图中可以清晰看出四台服务器的关系。

keepalived+LVS+nginx搭建高可用负载均衡(二)_第1张图片

二、配置与操作

1.准备工作

nginx活跃检测脚本

由于nginx和keepalived是两个独立的服务,默认情况下keepalived仅仅是检测集群中节点的keepalived服务是否存活来判断主机是否正常服务。而在keepalived服务正常,而nginx服务down掉了,这种情况下,keepalived服务是不会判定当前服务器宕机,也就不会进行虚拟IP绑定转移,所以此时使用虚拟IP访问服务会访问到nginx服务不可用的服务器,为了解决这种情况,我们需要配置keepalived使其可以坚持nginx状态来决定是否进行虚拟IP绑定转移。

nginx服务活跃检测脚本如下,建议将该脚本放在keepalived的配置目录便于配置使用。


#!/bin/bash

#判断当前服务器是否有nginx的进程
if [ `ps -C nginx --no-header | wc -l` -eq 0 ];then
	   #若没有则尝试启动nginx
        /usr/local/nginx/sbin/nginx
        sleep 5
        #继续判断当前服务器是否有nginx进程
        if [ `ps -C nginx --no-header | wc -l` -eq 0 ];then
        		#若仍然没有nginx进程,则停止当前节点的keepalived
                systemctl stop keepalived
        fi
fi

脚本写好先放着,后面再配置使用

配置真实服务器的回环虚拟IP

由于我们演示lvs是使用DR的工作模式,所以在server1和server2上需要将虚拟IP:192.168.56.131和192.168.56.132绑定在两台主机的lo回环接口上,具体理论请参加上一篇文章《keepalived+LVS+nginx搭建高可用负载均衡(一)》

server1和server分别在 /etc/sysconfig/network-scripts目录下,将ifcfg-lo复制两份

cd /etc/sysconfig/network-scripts

cp ifcfg-lo ifcfg-lo:1

cp ifcfg-lo ifcfg-lo:2

然后编辑网络配置文件


#ifcfg-lo:1配置如下
DEVICE=lo:1
IPADDR=192.168.56.131
NETMASK=255.255.255.255
NETWORK=127.0.0.0
# If you're having problems with gated making 127.0.0.0/8 a martian,
# you can change this to something else (255.255.255.255, for example)
BROADCAST=127.255.255.255
ONBOOT=yes
NAME=loopback

#ifcfg-lo:2配置如下
DEVICE=lo:2
IPADDR=192.168.56.132
NETMASK=255.255.255.255
NETWORK=127.0.0.0
# If you're having problems with gated making 127.0.0.0/8 a martian,
# you can change this to something else (255.255.255.255, for example)
BROADCAST=127.255.255.255
ONBOOT=yes
NAME=loopback

修改完成后,重启网络服务:systemctl restart network.service

随后使用:ifconfig lo:1 和 ifconfig lo:2 两个命令即可查看配置的虚拟IP

之后Server1和Server2增加路由(单次生效):route add -host 192.168.56.131 dev lo:1 和 route add -host 192.168.56.132 dev lo:2

2.nginx+keepalive双主热备配置

首先配置Server1的keepalived,我的配置文件在/etc/keepalived/keepalived.conf,该配置文件我仅说明新增的一些属性含义,没有说明的属性含义,请参加上一篇文章《keepalived+LVS+nginx搭建高可用负载均衡(一)》。Server1的配置如下


! Configuration File for keepalived

global_defs {
   router_id keep_101
}

#nginx活跃检测脚本配置
vrrp_script check_nginx_alive{
    #脚本所在位置
    script "/etc/keepalived/check_nginx_auto_pull.sh"
    #脚本执行间隔
    interval 3
    #脚本执行后权重增加1
    weight 1
}

#使用虚拟Ip:192.168.56.111的主实例
vrrp_instance VI_1 {
    state MASTER
    interface enp0s8
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        #两个实例使用了不同的密码
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.56.111
    }
    #引用上方配置的脚本,检测nginx是否活跃
    track_script{
        check_nginx_alive
    }
}

#使用虚拟Ip:192.168.56.112的备用实例
vrrp_instance VI_2 {
    state BACKUP
    interface enp0s8
    virtual_router_id 52
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        #两个实例使用了不同的密码
        auth_pass 2222
    }
    virtual_ipaddress {
        192.168.56.112
    }
    #引用上方配置的脚本,检测nginx是否活跃
    track_script{
        check_nginx_alive
    }
}


Server2的keepalived配置与Server1的keepalived配置类似,不同点就是主备实例调换,Server2的配置如下


! Configuration File for keepalived

global_defs {
   router_id keep_102
}


vrrp_script check_nginx_alive{
    script "/etc/keepalived/check_nginx_auto_pull.sh"
    interval 3
    weight 1
}

#使用虚拟Ip:192.168.56.111的备用实例
vrrp_instance VI_1 {
    state BACKUP
    interface enp0s8
    virtual_router_id 51
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.56.111
    }
    track_script{
        check_nginx_alive
    }
}

#使用虚拟Ip:192.168.56.112的主实例
vrrp_instance VI_2 {
    state MASTER
    interface enp0s8
    virtual_router_id 52
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 2222
    }
    virtual_ipaddress {
        192.168.56.112
    }
    track_script{
        check_nginx_alive
    }
}

配置完成后启动keepalived和nginx,这样配置完成后就保证了nginx的高可用,同时nginx可以作为负载均衡继续给更多的集群进行负载均衡。

3.LVS+keepalived双主热备配置

首先配置LVS1的keepalived,keepalived的配置中集成了对lvs的管理,所以在使用LVS+keepalived的时候,不用再使用上一篇文章讲的用命令配置了,我们直接将lvs的配置写在keepalived的配置文件中即可。

我仅说明新增的一些属性含义,没有说明的属性含义,请参加上一篇文章《keepalived+LVS+nginx搭建高可用负载均衡(一)》

LVS1服务器的keepalived配置如下:


! Configuration File for keepalived

global_defs {
   router_id keep_101
}


vrrp_instance VI_1 {
    state MASTER
    interface enp0s8
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 3333
    }
    virtual_ipaddress {
        192.168.56.131
    }
}

vrrp_instance VI_2 {
    state BACKUP
    interface enp0s8
    virtual_router_id 52
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 4444
    }
    virtual_ipaddress {
        192.168.56.132
    }
}

#lvs虚拟服务器,虚拟IP 端口号
virtual_server 192.168.56.131 80 {
    
    delay_loop 6
    #负载均衡策略,wrr代表加权轮询
    lb_algo wrr
    #lvs工作模式,DR模式
    lb_kind DR
    #连接持久化,超时时间,单位:秒
    persistence_timeout 5
    #连接类型,TCP
    protocol TCP

    #真实服务器信息,真实服务器IP 端口
    real_server 192.168.56.111 80 {
    	   #当前服务器的权重
        weight 1
        #TCP连接的检查配置
        TCP_CHECK {
        		#检查端口为 80
                connect_port 80
                #检查连接超时时间,单位:秒
                connect_timeout 2
                #超时后重试次数
                nb_get_retry 2
                #被认为宕机后,间隔多久继续重试,单位:秒
                delay_before_retry 3
        }
    }

    real_server 192.168.56.112 80 {
        weight 1
        TCP_CHECK {
                connect_port 80
                connect_timeout 2
                nb_get_retry 2
                delay_before_retry 3

        }
    }

}

virtual_server 192.168.56.132 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 5
    protocol TCP

    real_server 192.168.56.111 80 {
        weight 1
        TCP_CHECK {
                connect_port 80
                connect_timeout 2
                nb_get_retry 2
                delay_before_retry 3
        }
    }

    real_server 192.168.56.112 80 {
        weight 1
        TCP_CHECK {
                connect_port 80
                connect_timeout 2
                nb_get_retry 2
                delay_before_retry 3

        }
    }

}

LVS2的keepalived的配置与LVS1的不同之处仅在于keepalived的实例配置不同,lvs虚拟服务配置相同,所以我在下面仅列出不同的配置,相同的配置就不在写出来,LVS2服务器的keepalived的不同的配置如下:


! Configuration File for keepalived

global_defs {
   router_id keep_101
}

#主要是连个keepalived实例的主备配置与lvs1中配置相反

vrrp_instance VI_1 {
    state BACKUP
    interface enp0s8
    virtual_router_id 51
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 3333
    }
    virtual_ipaddress {
        192.168.56.131
    }
}

vrrp_instance VI_2 {
    state BACKUP
    interface enp0s8
    virtual_router_id 52
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 4444
    }
    virtual_ipaddress {
        192.168.56.132
    }
}

#下面是lvs虚拟服务器配置,这里就不在贴代码了

经过以上配置后,启动lvs1和lvs2两台服务器的keepalived

4.验证

通过浏览器访问效果如下

keepalived+LVS+nginx搭建高可用负载均衡(二)_第2张图片

查看两条lvs上的虚拟服务状态

keepalived+LVS+nginx搭建高可用负载均衡(二)_第3张图片

总结

到此一个实验keepalived+nginx+lvs搭建的高可用负载服务就完成了,在本演示案例中是将nginx作为web服务来使用的,其实在生成中可以将nginx作为层负载均衡是用,这样这就是一个基于lvs四层负载+nginx七层负载的高可用负载均衡集群,更多的搭配架构还需在实际使用时多探索,本演示案例仅仅是提供了一个简单思路,便于在学习的时候,可以快速理解

个人公众号【爱做梦的锤子】,全网同id,个站 http://te-amo.site,欢迎关注,里面会分享更多有用知识,还有我的私密照片

觉得不错就点个赞叭QAQ

你可能感兴趣的:(lvs,keepalived,运维)