LVS+Keepalived+Nginx高可用负载均衡

介绍：

1、lvs简介

LVS主要用来做四层负载均衡。

2、keepalived简介

Keepalived是分布式部署系统解决系统高可用的软件，结合LVS（Linux Virtual Server）使用，其功能类似于heartbeat，解决单机宕机的问题。
      Keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。通过VRRP协议结合LVS，对组群服务器监控情况，若master出现宕机情况，则将VIP漂移到backup机上。实现了分布式系统高可用。可以理解为：keepalived是LVS的管理软件，根据监控情况，将宕机服务器从ipvsadm移除掉。
      Keepalived的诞生最初是为LVS ipvs（director）提供高可用性的，后来发展一个多功能、通用的轻量级高可用组件，可以为ipvs、nginx、haproxy等诸多服务提供高可用功能，主要应用在负载均衡调度器上，同时也可以检查后端各realserver的健康状态。

3、nginx简介

 Nginx（发音同engine x）是一个网页服务器，它能反向代理HTTP, HTTPS, SMTP, POP3, IMAP的协议链接，以及一个负载均衡器和一个HTTP缓存。

Nginx主要用来做七层负载均衡

4、负载均衡

四层负载均衡工作在OSI模型的传输层，由于在传输层，只有TCP/UDP协议，这两种协议中除了包含源IP、目标IP以外，还包含源端口号及目的端口号。四层负载均衡服务器在接受到客户端请求后，以后通过修改数据包的地址信息（IP+端口号）将流量转发到应用服务器。

      七层负载均衡工作在OSI模型的应用层，应用层协议较多，常用http、radius、dns等。七层负载就可以基于这些协议来负载。这些应用层协议中会包含很多有意义的内容。比如同一个Web服务器的负载均衡，除了根据IP加端口进行负载外，还可根据七层的URL、浏览器类别、语言来决定是否要进行负载均衡。

      四层通过虚拟 IP + 端口接收请求，然后再分配到真实的服务器，七层通过虚拟的 URL 或主机名接收请求，然后再分配到真实的服务器。所谓的四到七层负载均衡，就是在对后台的服务器进行负载均衡时，依据四层的信息或七层的信息来决定怎么样转发流量。

5、lvs和nginx区别

1.lvs工作在第4层，负载能力强，逻辑简单，能对几乎所有应用进行负载，包括web和数据库；nginx工作在第7层，适用场合远多于lvs，负载能力相对较差。
2.lvs对网络稳定性依赖比较大；Nginx对网络的依赖比较小，理论上只要Ping得通，网页访问正常就能连通。
3.Nginx可以通过服务器处理网页返回的状态码、超时等来检测服务器内部的故障，并会把返回错误的请求重新发送到另一个节点；目前LVS和LDirectd 也支持对服务器内部情况的监控，但不能重新发送请求。
4.Nginx安装和配置比较简单，测试起来比较方便，它基本能把错误用日志打印出来；LVS的配置、测试耗时较长。
5.每日PV1000万以下或并发请求1万以下都可以考虑用Nginx；构建大型网站或者提供重要服务且机器较多时，可多加考虑利用LVS。

架构拓扑

主机信息

主机名        IP              操作系统            软件
lvs01    192.168.14.211    CentOS 7.6.1810    lvs+keepalived
lvs01    192.168.14.212    CentOS 7.6.1810    lvs+keepalived
Vip      192.168.14.216
nginx01  192.168.14.213    CentOS 7.6.1810    nginx（web）
nginx02  192.168.14.214    CentOS 7.6.1810    nginx（web）

一、Lvs+keepalived

1、关闭防火墙和selinux

#192.168.14.211主机
[root@localhost ~]# hostnamectl set-hostname lvs01
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
[root@localhost ~]# sed -i '/^SELINUX=/ s/enforcing/disabled/g' /etc/selinux/config 
[root@localhost ~]# setenforce 0

#192.168.14.212主机
[root@localhost ~]# hostnamectl set-hostname lvs02
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@localhost ~]# sed -i '/^SELINUX=/ s/enforcing/disabled/g' /etc/selinux/config 
[root@localhost ~]# setenforce 0

2、安装ipvs

LVS无需安装，安装的是管理工具，第一种叫ipvsadm，第二种叫keepalive。ipvsadm是通过命令行管理，而keepalive读取配置文件管理。

[root@lvs01 ~]# yum -y install ipvsadm
[root@lvs02 ~]# yum -y install ipvsadm

ipvsadm模块加载进系统

[root@lvs01 ~]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
[root@lvs01 ~]# lsmod | grep ip_vs
ip_vs                 145497  0 
nf_conntrack          133095  1 ip_vs
libcrc32c              12644  3 xfs,ip_vs,nf_conntrack


[root@lvs02 ~]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
[root@lvs02 ~]# lsmod | grep ip_vs
ip_vs                 145497  0 
nf_conntrack          133095  1 ip_vs
libcrc32c              12644  3 xfs,ip_vs,nf_conntrack

3、安装keepalived

[root@lvs01 ~]# yum install -y keepalived
[root@lvs02 ~]# yum install -y keepalived

4、修改keepalived配置文件

[root@lvs01 ~]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
[root@lvs01 ~]# vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
   router_id lvs01            #router_id 机器标识，通常为hostname，但不一定非得是hostname。故障发生时，邮件通知会用到。
}
vrrp_instance VI_1 {          #vrrp实例定义部分
    state MASTER              #设置lvs的状态，MASTER和BACKUP两种，必须大写 
    interface ens32           #设置对外服务的接口
    virtual_router_id 100     #设置虚拟路由标示，这个标示是一个数字，同一个vrrp实例使用唯一标示 
    priority 100              #定义优先级，数字越大优先级越高，在一个vrrp——instance下，master的优先级必须大于backup
    advert_int 1              #设定master与backup负载均衡器之间同步检查的时间间隔，单位是秒
    authentication {          #设置验证类型和密码
        auth_type PASS        #主要有PASS和AH两种
        auth_pass 1111        #验证密码，同一个vrrp_instance下MASTER和BACKUP密码必须相同
    }
    virtual_ipaddress {       #设置虚拟ip地址，可以设置多个，每行一个
        192.168.14.216
    }
}
virtual_server 192.168.14.216 80 {    #设置虚拟服务器，需要指定虚拟ip和服务端口
    delay_loop 6                      #健康检查时间间隔
    lb_algo wrr                       #负载均衡调度算法
    lb_kind DR                        #负载均衡转发规则
    persistence_timeout 50            #设置会话保持时间，对动态网页非常有用
    protocol TCP                      #指定转发协议类型，有TCP和UDP两种
    real_server 192.168.14.213 80 {   #配置服务器节点1，需要指定real server的真实IP地址和端口
    weight 1                          #设置权重，数字越大权重越高
    TCP_CHECK {                       #realserver的状态监测设置部分单位秒
       connect_timeout 10             #连接超时为10秒
       retry 3                        #重连次数
       delay_before_retry 3           #重试间隔
       connect_port 80                #连接端口为80，要和上面的保持一致
       }
    }
     real_server 192.168.14.214 80 {  #配置服务器节点2，需要指定real server的真实IP地址和端口
     weight 1                         #设置权重，数字越大权重越高
     TCP_CHECK {                      #realserver的状态监测设置部分单位秒
       connect_timeout 10             #连接超时为10秒
       retry 3                        #重连次数
       delay_before_retry 3           #重试间隔
       connect_port 80                #连接端口为80，要和上面的保持一致
       }
     }
}

[root@lvs02 ~]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
[root@lvs02 ~]# vi /etc/keepalived/keepalived.conf
[root@lvs02 ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
   router_id lvs02          #标识
}
vrrp_instance VI_1 {
    state BACKUP            #lvs标识，BACKUP
    interface ens32
    virtual_router_id 100
    priority 99             #优先级
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.14.216
    }
}
virtual_server 192.168.14.216 80 {
    delay_loop 6
    lb_algo wrr
    lb_kind DR
    persistence_timeout 50
    protocol TCP
    real_server 192.168.14.213 80 {
    weight 1
    TCP_CHECK {
       connect_timeout 10
       retry 3
       delay_before_retry 3
       connect_port 80 
       }
    }
     real_server 192.168.14.214 80 {
     weight 1
     TCP_CHECK {
       connect_timeout 10
       retry 3
       delay_before_retry 3
       connect_port 80
       }
     }
}

5、启动服务

[root@lvs01 ~]# systemctl start keepalived
[root@lvs02 ~]# systemctl start keepalived

6、查看vip，lvs01上有vip192.168.14.216，lvs02是备用所以没有

二、nginx

1、关闭防火墙和selinux

[root@localhost ~]# hostnamectl set-hostname nginx01
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
[root@localhost ~]# sed -i '/^SELINUX=/ s/enforcing/disabled/g' /etc/selinux/config 
[root@localhost ~]# setenforce 0

[root@localhost ~]# hostnamectl set-hostname nginx02
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
[root@localhost ~]# sed -i '/^SELINUX=/ s/enforcing/disabled/g' /etc/selinux/config 
[root@localhost ~]# setenforce 0

1、安装

#添加yum源
cat  <> /etc/yum.repos.d/nginx.repo 
[aliyun]
name=aliyun epel
baseurl=http://mirrors.aliyun.com/epel/7Server/x86_64/
gpgcheck=0
EOF

#net-tools是ifconfig使用需要
[root@nginx01 ~]# yum install -y nginx net-tools
[root@nginx02 ~]# yum install -y nginx net-tools

2、配置realserver.sh

打开Nginx所在服务器的“路由”功能、关闭“ARP查询”功能并设置回环ip，nginx01和nginx02配置如下

[root@nginx01 ~]# vi /etc/rc.d/init.d/realserver.sh
#!/bin/bash
    SNS_VIP=192.168.14.216
    /etc/rc.d/init.d/functions
    case "$1" in
    start)
        ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP
        /sbin/route add -host $SNS_VIP dev lo:0
        echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
        echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
        echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
        sysctl -p >/dev/null 2>&1
        echo "RealServer Start OK"
        ;;
    stop)
        ifconfig lo:0 down
        route del $SNS_VIP >/dev/null 2>&1
        echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
        echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
        echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
        echo "RealServer Stoped"
        ;;
    *)
        echo "Usage: $0 {start|stop}"
        exit 1
    esac
    exit 0

此脚本用于节点服务器绑定 VIP ，并抑制响应 VIP 的 ARP 请求。这样做的目的是为了不让关于 VIP 的 ARP 广播时，节点服务器应答（ 因为节点服务器都绑定了 VIP ，如果不做设置它们会应答，就会乱套 ）。

3、realserver.sh脚本授予执行权限

[root@nginx01 ~]# chmod u+x /etc/rc.d/init.d/realserver.sh
[root@nginx02 ~]# chmod u+x /etc/rc.d/init.d/realserver.sh

4、启动服务

[root@nginx01 ~]# /etc/rc.d/init.d/realserver.sh start 
/etc/rc.d/init.d/realserver.sh: line 3: /etc/rc.d/init.d/functions: Permission denied
RealServer Start OK

[root@nginx02 ~]# /etc/rc.d/init.d/realserver.sh  start 
/etc/rc.d/init.d/realserver.sh: line 3: /etc/rc.d/init.d/functions: Permission denied
RealServer Start OK

5、查看vip

6、修改一下网页显示，并重启服务

[root@nginx01 ~]# echo "nginx01" > /usr/share/doc/HTML/index.html
[root@nginx01 ~]# systemctl restart nginx

[root@nginx02 ~]# echo "nginx02 web" > /usr/share/doc/HTML/index.html
[root@nginx02 ~]# systemctl restart nginx 

7、客户端访问vip

三、故障模拟

1、停止lvs01服务，模拟故障

[root@lvs01 ~]# systemctl stop keepalived

lvs01停止服务

lvs02从BACKUP转换为MASTER状态

负载正常

2、lvs01恢复之后自动抢占master状态

[root@lvs01 ~]# systemctl start keepalived

因为lvs02的优先级是99，lvs01的优先级是100，越高越优先

3、停止nginx02，默认后端web服务故障

[root@nginx02 ~]# systemctl stop nginx 

lvs01会检查后端web状态，异常就从服务器列表移除

lvs02同理

客户端访问只能是nginx01响应