LVS+Keepalived+Nginx高可用负载均衡

介绍:

1、lvs简介

LVS主要用来做四层负载均衡。

2、keepalived简介

Keepalived是分布式部署系统解决系统高可用的软件,结合LVS(Linux Virtual Server)使用,其功能类似于heartbeat,解决单机宕机的问题。
      Keepalived是以VRRP协议为实现基础的,VRRP全称Virtual Router Redundancy Protocol,即虚拟路由冗余协议。通过VRRP协议结合LVS,对组群服务器监控情况,若master出现宕机情况,则将VIP漂移到backup机上。实现了分布式系统高可用。可以理解为:keepalived是LVS的管理软件,根据监控情况,将宕机服务器从ipvsadm移除掉。
      Keepalived的诞生最初是为LVS ipvs(director)提供高可用性的,后来发展一个多功能、通用的轻量级高可用组件,可以为ipvs、nginx、haproxy等诸多服务提供高可用功能,主要应用在负载均衡调度器上,同时也可以检查后端各realserver的健康状态。

3、nginx简介

 Nginx(发音同engine x)是一个网页服务器,它能反向代理HTTP, HTTPS, SMTP, POP3, IMAP的协议链接,以及一个负载均衡器和一个HTTP缓存。

Nginx主要用来做七层负载均衡

4、负载均衡

四层负载均衡工作在OSI模型的传输层,由于在传输层,只有TCP/UDP协议,这两种协议中除了包含源IP、目标IP以外,还包含源端口号及目的端口号。四层负载均衡服务器在接受到客户端请求后,以后通过修改数据包的地址信息(IP+端口号)将流量转发到应用服务器。

      七层负载均衡工作在OSI模型的应用层,应用层协议较多,常用http、radius、dns等。七层负载就可以基于这些协议来负载。这些应用层协议中会包含很多有意义的内容。比如同一个Web服务器的负载均衡,除了根据IP加端口进行负载外,还可根据七层的URL、浏览器类别、语言来决定是否要进行负载均衡。

      四层通过虚拟 IP + 端口接收请求,然后再分配到真实的服务器,七层通过虚拟的 URL 或主机名接收请求,然后再分配到真实的服务器。所谓的四到七层负载均衡,就是在对后台的服务器进行负载均衡时,依据四层的信息或七层的信息来决定怎么样转发流量。

5、lvs和nginx区别

1.lvs工作在第4层,负载能力强,逻辑简单,能对几乎所有应用进行负载,包括web和数据库;nginx工作在第7层,适用场合远多于lvs,负载能力相对较差。
2.lvs对网络稳定性依赖比较大;Nginx对网络的依赖比较小,理论上只要Ping得通,网页访问正常就能连通。
3.Nginx可以通过服务器处理网页返回的状态码、超时等来检测服务器内部的故障,并会把返回错误的请求重新发送到另一个节点;目前LVS和LDirectd 也支持对服务器内部情况的监控,但不能重新发送请求。
4.Nginx安装和配置比较简单,测试起来比较方便,它基本能把错误用日志打印出来;LVS的配置、测试耗时较长。
5.每日PV1000万以下或并发请求1万以下都可以考虑用Nginx;构建大型网站或者提供重要服务且机器较多时,可多加考虑利用LVS。

架构拓扑

LVS+Keepalived+Nginx高可用负载均衡_第1张图片

主机信息

主机名        IP              操作系统            软件
lvs01    192.168.14.211    CentOS 7.6.1810    lvs+keepalived
lvs01    192.168.14.212    CentOS 7.6.1810    lvs+keepalived
Vip      192.168.14.216
nginx01  192.168.14.213    CentOS 7.6.1810    nginx(web)
nginx02  192.168.14.214    CentOS 7.6.1810    nginx(web)

一、Lvs+keepalived

1、关闭防火墙和selinux

#192.168.14.211主机
[root@localhost ~]# hostnamectl set-hostname lvs01
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
[root@localhost ~]# sed -i '/^SELINUX=/ s/enforcing/disabled/g' /etc/selinux/config 
[root@localhost ~]# setenforce 0

#192.168.14.212主机
[root@localhost ~]# hostnamectl set-hostname lvs02
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@localhost ~]# sed -i '/^SELINUX=/ s/enforcing/disabled/g' /etc/selinux/config 
[root@localhost ~]# setenforce 0

2、安装ipvs

LVS无需安装,安装的是管理工具,第一种叫ipvsadm,第二种叫keepalive。ipvsadm是通过命令行管理,而keepalive读取配置文件管理。

[root@lvs01 ~]# yum -y install ipvsadm
[root@lvs02 ~]# yum -y install ipvsadm

ipvsadm模块加载进系统

[root@lvs01 ~]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
[root@lvs01 ~]# lsmod | grep ip_vs
ip_vs                 145497  0 
nf_conntrack          133095  1 ip_vs
libcrc32c              12644  3 xfs,ip_vs,nf_conntrack


[root@lvs02 ~]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
[root@lvs02 ~]# lsmod | grep ip_vs
ip_vs                 145497  0 
nf_conntrack          133095  1 ip_vs
libcrc32c              12644  3 xfs,ip_vs,nf_conntrack

3、安装keepalived

[root@lvs01 ~]# yum install -y keepalived
[root@lvs02 ~]# yum install -y keepalived

4、修改keepalived配置文件

[root@lvs01 ~]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
[root@lvs01 ~]# vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
   router_id lvs01            #router_id 机器标识,通常为hostname,但不一定非得是hostname。故障发生时,邮件通知会用到。
}
vrrp_instance VI_1 {          #vrrp实例定义部分
    state MASTER              #设置lvs的状态,MASTER和BACKUP两种,必须大写 
    interface ens32           #设置对外服务的接口
    virtual_router_id 100     #设置虚拟路由标示,这个标示是一个数字,同一个vrrp实例使用唯一标示 
    priority 100              #定义优先级,数字越大优先级越高,在一个vrrp——instance下,master的优先级必须大于backup
    advert_int 1              #设定master与backup负载均衡器之间同步检查的时间间隔,单位是秒
    authentication {          #设置验证类型和密码
        auth_type PASS        #主要有PASS和AH两种
        auth_pass 1111        #验证密码,同一个vrrp_instance下MASTER和BACKUP密码必须相同
    }
    virtual_ipaddress {       #设置虚拟ip地址,可以设置多个,每行一个
        192.168.14.216
    }
}
virtual_server 192.168.14.216 80 {    #设置虚拟服务器,需要指定虚拟ip和服务端口
    delay_loop 6                      #健康检查时间间隔
    lb_algo wrr                       #负载均衡调度算法
    lb_kind DR                        #负载均衡转发规则
    persistence_timeout 50            #设置会话保持时间,对动态网页非常有用
    protocol TCP                      #指定转发协议类型,有TCP和UDP两种
    real_server 192.168.14.213 80 {   #配置服务器节点1,需要指定real server的真实IP地址和端口
    weight 1                          #设置权重,数字越大权重越高
    TCP_CHECK {                       #realserver的状态监测设置部分单位秒
       connect_timeout 10             #连接超时为10秒
       retry 3                        #重连次数
       delay_before_retry 3           #重试间隔
       connect_port 80                #连接端口为80,要和上面的保持一致
       }
    }
     real_server 192.168.14.214 80 {  #配置服务器节点2,需要指定real server的真实IP地址和端口
     weight 1                         #设置权重,数字越大权重越高
     TCP_CHECK {                      #realserver的状态监测设置部分单位秒
       connect_timeout 10             #连接超时为10秒
       retry 3                        #重连次数
       delay_before_retry 3           #重试间隔
       connect_port 80                #连接端口为80,要和上面的保持一致
       }
     }
}
[root@lvs02 ~]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
[root@lvs02 ~]# vi /etc/keepalived/keepalived.conf
[root@lvs02 ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
   router_id lvs02          #标识
}
vrrp_instance VI_1 {
    state BACKUP            #lvs标识,BACKUP
    interface ens32
    virtual_router_id 100
    priority 99             #优先级
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.14.216
    }
}
virtual_server 192.168.14.216 80 {
    delay_loop 6
    lb_algo wrr
    lb_kind DR
    persistence_timeout 50
    protocol TCP
    real_server 192.168.14.213 80 {
    weight 1
    TCP_CHECK {
       connect_timeout 10
       retry 3
       delay_before_retry 3
       connect_port 80 
       }
    }
     real_server 192.168.14.214 80 {
     weight 1
     TCP_CHECK {
       connect_timeout 10
       retry 3
       delay_before_retry 3
       connect_port 80
       }
     }
}

5、启动服务

[root@lvs01 ~]# systemctl start keepalived
[root@lvs02 ~]# systemctl start keepalived

6、查看vip,lvs01上有vip192.168.14.216,lvs02是备用所以没有

LVS+Keepalived+Nginx高可用负载均衡_第2张图片

LVS+Keepalived+Nginx高可用负载均衡_第3张图片

二、nginx

1、关闭防火墙和selinux

[root@localhost ~]# hostnamectl set-hostname nginx01
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
[root@localhost ~]# sed -i '/^SELINUX=/ s/enforcing/disabled/g' /etc/selinux/config 
[root@localhost ~]# setenforce 0

[root@localhost ~]# hostnamectl set-hostname nginx02
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
[root@localhost ~]# sed -i '/^SELINUX=/ s/enforcing/disabled/g' /etc/selinux/config 
[root@localhost ~]# setenforce 0

1、安装

#添加yum源
cat  <> /etc/yum.repos.d/nginx.repo 
[aliyun]
name=aliyun epel
baseurl=http://mirrors.aliyun.com/epel/7Server/x86_64/
gpgcheck=0
EOF

#net-tools是ifconfig使用需要
[root@nginx01 ~]# yum install -y nginx net-tools
[root@nginx02 ~]# yum install -y nginx net-tools

2、配置realserver.sh

打开Nginx所在服务器的“路由”功能、关闭“ARP查询”功能并设置回环ip,nginx01和nginx02配置如下

[root@nginx01 ~]# vi /etc/rc.d/init.d/realserver.sh
#!/bin/bash
    SNS_VIP=192.168.14.216
    /etc/rc.d/init.d/functions
    case "$1" in
    start)
        ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP
        /sbin/route add -host $SNS_VIP dev lo:0
        echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
        echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
        echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
        sysctl -p >/dev/null 2>&1
        echo "RealServer Start OK"
        ;;
    stop)
        ifconfig lo:0 down
        route del $SNS_VIP >/dev/null 2>&1
        echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
        echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
        echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
        echo "RealServer Stoped"
        ;;
    *)
        echo "Usage: $0 {start|stop}"
        exit 1
    esac
    exit 0

此脚本用于节点服务器绑定 VIP ,并抑制响应 VIP 的 ARP 请求。这样做的目的是为了不让关于 VIP 的 ARP 广播时,节点服务器应答( 因为节点服务器都绑定了 VIP ,如果不做设置它们会应答,就会乱套 )。

3、realserver.sh脚本授予执行权限

[root@nginx01 ~]# chmod u+x /etc/rc.d/init.d/realserver.sh
[root@nginx02 ~]# chmod u+x /etc/rc.d/init.d/realserver.sh

4、启动服务

[root@nginx01 ~]# /etc/rc.d/init.d/realserver.sh start 
/etc/rc.d/init.d/realserver.sh: line 3: /etc/rc.d/init.d/functions: Permission denied
RealServer Start OK

[root@nginx02 ~]# /etc/rc.d/init.d/realserver.sh  start 
/etc/rc.d/init.d/realserver.sh: line 3: /etc/rc.d/init.d/functions: Permission denied
RealServer Start OK

5、查看vip

LVS+Keepalived+Nginx高可用负载均衡_第4张图片

LVS+Keepalived+Nginx高可用负载均衡_第5张图片

6、修改一下网页显示,并重启服务

[root@nginx01 ~]# echo "nginx01" > /usr/share/doc/HTML/index.html
[root@nginx01 ~]# systemctl restart nginx

[root@nginx02 ~]# echo "nginx02 web" > /usr/share/doc/HTML/index.html
[root@nginx02 ~]# systemctl restart nginx 

7、客户端访问vip

LVS+Keepalived+Nginx高可用负载均衡_第6张图片

LVS+Keepalived+Nginx高可用负载均衡_第7张图片

三、故障模拟

1、停止lvs01服务,模拟故障

[root@lvs01 ~]# systemctl stop keepalived

lvs01停止服务

LVS+Keepalived+Nginx高可用负载均衡_第8张图片

lvs02从BACKUP转换为MASTER状态

LVS+Keepalived+Nginx高可用负载均衡_第9张图片

负载正常

LVS+Keepalived+Nginx高可用负载均衡_第10张图片

2、lvs01恢复之后自动抢占master状态

[root@lvs01 ~]# systemctl start keepalived

因为lvs02的优先级是99,lvs01的优先级是100,越高越优先

3、停止nginx02,默认后端web服务故障

[root@nginx02 ~]# systemctl stop nginx 

lvs01会检查后端web状态,异常就从服务器列表移除

lvs02同理

客户端访问只能是nginx01响应

LVS+Keepalived+Nginx高可用负载均衡_第11张图片

你可能感兴趣的:(Web架构实战,lvs,nginx)