Nginx + Keepalive生产环境搭建

Nginx的主要用途有反向代理,负载均衡等,无论它作为哪种用途,Nginx本身也需要高可用来预防单点故障,Nginx的高可用可以通过搭配Keepalive来实现。主要思路即配置主备Nginx服务,通过Keepalive来进行检测,当主Nginx挂掉时,能够通过转移VIP的方式自动切换到备Nginx,进而实现Nginx的高可用。

1 部署架构

Nginx+Keepalive部署架构

2 Nginx部署

对于很多公司可能生产环境机器都是无法联网的,所以我们这里通过源码来安装Nginx。

1) 下载源码包:nginx: download,解压缩后文件目录如下(这里我们使用了最新稳定版nginx-1.20.1):

image.png

2) 安装gcc等编译依赖环境:

yum -y install gcc pcre-devel zlib-devel

3) 进入安装包目录,执行以下命令配置安装路径:

./configure --prefix=/home/nginx

默认情况下安装路径是/usr/local/nginx,因为生产环境机器都会单独挂载磁盘,而且Nginx的访问日志会随着时间变大,为了不影响操作系统所在磁盘,这里我们配置成单独挂载的磁盘目录。

4) 执行完配置命令后,当前目录下会生成Makefile文件,继续执行以下命令安装:

make && make install

5) 因为配置了安装目录,所以Nginx会安装在/home/nginx目录下,启动Nignx:

cd /home/nginx/sbin
./nginx

主从机器都按照上述步骤安装Nginx。

3 Keepalive部署

1) yum安装keepalive:

yum -y install keepalived

2) 修改配置文件:

vi /etc/keepalived/keepalived.conf

主机keepalived.conf:

global_defs {
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
    script "/home/shell/check_nginx_pid.sh" #nginx进程检测脚本
    interval 2
    weight 2
}

vrrp_instance VI_1 {
    state MASTER   
    interface ens33  #网卡设备
    virtual_router_id 51  #虚拟路由编号,主从要一致
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }

    track_script {
        chk_nginx
    }
    virtual_ipaddress {
        192.168.1.200 #虚拟ip设置
    }
}

因为Keepalived转移虚ip是根据Keepalived进程是否存活来进行的,所以如果Nginx挂了,但Keepalived进程还在的话,是不会转移ip的,所以如果Nginx挂掉并且无法重启,则需要在检查脚本中关闭Keepalived进程:

check_nginx_pid.sh:

#!/bin/bash
A=`ps -C nginx --no-header |wc -l`
if [ $A -eq 0 ];then    #如果nginx没有启动就启动nginx
      /home/nginx/sbin/nginx                #重启nginx
      if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then    #nginx重启失败,则停掉keepalived服务,进行VIP转移
              systemctl stop keepalived
      fi
fi

需要给check_nginx_pid.sh脚本权限:

chmod 777 check_nginx_pid.sh

备机keepalive.conf:

global_defs {
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
    script "/home/shell/check_nginx_pid.sh" #nginx进程检测脚本
    interval 2
    weight 2
}

vrrp_instance VI_1 {
    state BACKUP   
    interface ens33  #网卡设备
    virtual_router_id 51  #虚拟路由编号,主从要一致
    priority 90 #这里的priority小于MASTER
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }

    track_script {
        chk_nginx
    }
    virtual_ipaddress {
        192.168.1.200 #虚拟ip设置
    }
}

3) 主从keepalived配置好后,可以通过命令启动:

systemctl start keepalived

4) 查看是否启动成功,以及当前机器是MASTER还是SLAVE可以查看日志:

tail -f /var/log/message

5) 通过如下命令查看虚ip是否配置成功:

ip addr

4 主从切换测试

停掉主机上的Keepalived来查看虚ip是否转移到SLAVE主机上,如果转移成功则说明后续的请求都是通过备机上的Nginx来处理的,即实现了Nginx的高可用。

MASTER主机执行:

systemctl stop keepalived

从机上查看虚ip是否转移:

ip addr

查看切换过程中的日志:

tail -f /var/log/message

成功转移,则说明环境搭建完成。

5 其他说明

5.1 keepalive.conf weight参数说明

细心的同学可能会发现vrrp_script中有个weight参数,这个参数是什么意思呢?

官网中的解释如下Keepalived for Linux:

# adjust priority by this weight, (default: 0)
# For description of reverse, see track_script.
# 'weight 0 reverse' will cause the vrrp instance to be down when the
# script is up, and vice versa.
weight [reverse]

第一句话的意思是该参数会调整priority参数,而priority是用来选举MASTER的。所以该参数会影响到keepalived MASTER选举:

for electing MASTER, highest priority wins.
to be MASTER, make this 50 more than on other machines.
priority 100

后面的意思应该是如果weight设置为 weight 0 reverse的话,如果检测脚本返回失败,则keepalived会down掉,进而完成切换。

那weight是如何调整priority的呢,继续看官网说明:

vrrp tracking scripts that will cause vrrp instances to go down it
they exit a non-zero exist status, or if a weight is specified will add
or subtract the weight to/from the priority of that vrrp instance.

也就是说Keepalived会根据脚本检测结果,然后根据配置的weight对priority进行相应的增加或减少,进而影响MASTER选举。

实际测试当weight大于0时,脚本检测成功时,priority会增加weight,脚本检测失败时,priority会减少weight。

当weight < 0时,当脚本检测成功时,priority保持不变,而脚本检测失败时,priority会减少weight。

实际测试这里的priority不会一直改变,也就是说一直检测成功或者失败,也不会对priority一直增加或减少,这里应该是Keepalive内部的优化了。

5.2 主从切换失败的常见问题解决

1) 确认防火墙及selinux是否关闭
2) 转移过程中的具体日志可以查看/var/log/message文件

5.3 一个Nginx反向代理及负载均衡的生产环境配置

nginx.conf

user  root;
worker_processes  8; #工作线程,配置成cpu核心数

events {
    worker_connections  1024; #每个工作线程能够处理的最大连接数,包括与客户端的连接和代理服务器的连接
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65; #与客户端连接的keepalive_timeout参数

    #gzip  on;

    upstream api_server {
        server 192.168.1.106:8848;
        server 192.168.1.107:8848;
        server 192.168.1.108:8848;
        keepalive 15;  #与后台服务器保持的空闲连接数
    }

    server {
        listen       8848;
        server_name  192.168.1.200; # 这里配置成虚ip的地址,因为客户端都是通过虚ip来访问Nginx的

        location / {
           proxy_pass http://api_server;
           proxy_http_version 1.1;  #设置http 1.1协议,可以与后端http服务保持长连接,防止出现过多time_wait
           proxy_set_header Connection "";
        }
    }
}

上述是nginx-1.20.1的生产环境配置,有很多参数未涉及,实际上保持系统默认即可。

写在最后

希望今天的内容能对大家有所帮助,更多精彩内容欢迎关注微信公众号:WU双

你可能感兴趣的:(Nginx + Keepalive生产环境搭建)