Nginx + Keepalibed安装应用

目录：

一、Nginx

1、Nginx概述

1.1、Nginx介绍

1.2、Nginx优点

1.3、为什么使用Nginx

1.4、Nginx应用场景

2、Nginx安装

2.1、Nginx下载

2.2、环境要求

2.3、编译及安装

2.4、Nginx常用命令

4、Nginx配置与应用

4.1、Nginx支持HTTP转发方式

4.2、Nginx支持Socket转发方式

二、Keepalived

1、keepalived+nginx实现主备

1.1、什么是keepalived

1.2、keepalived工作原理

1.3、keepalived+nginx实现主备过程

2、配置keepalived

2.2、安装keepalived

2.3、配置日志文件

3、Keepalived配置应用

3.2、检测Keepalived是否启动成功

3.3、备机配置

4、解决nginx进程和keepalived不同时存在问题

4.1、问题描述

4.2、nginx进程检测脚本

4.3、修改keepalived.conf

4.4、测试

---

一、Nginx

1、Nginx概述

1.1、Nginx介绍

Nginx ("engine x") 是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP服务器。Nginx是由Igor Sysoev为俄罗斯访问量第二的Rambler.ru站点开发的，第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。2011年6月1日，nginx 1.0.4发布。

Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like 协议下发行。由俄罗斯的程序设计师Igor Sysoev所开发，供俄国大型的入口网站及搜索引擎Rambler（俄文：Рамблер）使用。其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。

1.2、Nginx优点

Nginx 可以在大多数 UnixLinux OS 上编译运行，并有 Windows 移植版。 Nginx 的1.4.0稳定版已经于2013年4月24日发布，一般情况下，对于新建站点，建议使用最新稳定版作为生产版本，已有站点的升级急迫性不高。Nginx 的源代码使用 2-clause BSD-like license。

Nginx 是一个很强大的高性能Web和反向代理服务器，它具有很多非常优越的特性：

在连接高并发的情况下，Nginx是Apache服务器不错的替代品：Nginx在美国是做虚拟主机生意的老板们经常选择的软件平台之一。能够支持高达 50,000 个并发连接数的响应，感谢Nginx为我们选择了 epoll and kqueue作为开发模型。

1.3、为什么使用Nginx

互联网飞速发展的今天,大用户量高并发已经成为互联网的主体.怎样能让一个网站能够承载几万个或几十万个用户的持续访问呢？这是一些中小网站急需解决的问题。用单机tomcat搭建的网站，在比较理想的状态下能够承受的并发访问量在150到200左右。按照并发访问量占总用户数量的5%到10%这样计算，单点tomcat网站的用户人数在1500到4000左右。对于一个为全国范围提供服务的网站显然是不够用的，为了解决这个问题引入了负载均衡方法。负载均衡就是一个web服务器解决不了的问题可以通过多个web服务器来平均分担压力来解决，并发过来的请求被平均分配到多个后台web服务器来处理，这样压力就被分解开来。

负载均衡服务器分为两种:一种是通过硬件实现的负载均衡服务器，简称硬负载例如：f5。另一种是通过软件来实现的负载均衡，简称软负载:例如apache和nginx。硬负载和软负载相比前者作用的网络层次比较多可以作用到socket接口的数据链路层对发出的请求进行分组转发但是价格成本比较贵，而软负载作用的层次在http协议层之上可以对http请求进行分组转发并且因为是开源的所以几乎是0成本，并且阿里巴巴，京东等电商网站使用的都是Nginx服务器。

1.4、Nginx应用场景

1、http服务器，可以做静态网页的http服务器。

2、配置虚拟机。

一个域名可以被多个ip绑定。可以根据域名的不同请求转发给运行在不同端口的服务器。

3、反向代理，负载均衡。把请求转发给不同的服务器。

正向代理它隐藏了客户端。

反向代理它隐藏是服务器端。

2、Nginx安装

2.1、Nginx下载

官方网站：http://nginx.org/

下载稳定版本：wget http://nginx.org/download/nginx-1.13.7.tar.gz

2.2、环境要求

• gcc：

       安装nginx需要先将官网下载的源码进行编译，编译依赖gcc环境，如果没有gcc环境，需要安装gcc：

yum install gcc-c++

• PCRE：

       PCRE(Perl Compatible Regular Expressions)是一个Perl库，包括 perl 兼容的正则表达式库。nginx的http模块使用pcre来解析正则表达式，所以需要在linux上安装pcre库。

yum install -y pcre pcre-devel

注：pcre-devel是使用pcre开发的一个二次开发库。nginx也需要此库。

• zlib：

       zlib库提供了很多种压缩和解压缩的方式，nginx使用zlib对http包的内容进行gzip，所以需要在linux上安装zlib库。

yum install -y zlib zlib-devel

• openssl：

       OpenSSL 是一个强大的安全套接字层密码库，囊括主要的密码算法、常用的密钥和证书封装管理功能及SSL协议，并提供丰富的应用程序供测试或其它目的使用。

       nginx不仅支持http协议，还支持https（即在ssl协议上传输http），所以需要在linux安装openssl库。

yum install -y openssl openssl-devel

2.3、编译及安装

       第一步：把nginx的源码包上传到linux服务器。

       第二步：解压源码包。

              [root@spark2 ~]# cd /opt/

              [root@spark3 opt]# tar -zxvf nginx-1.13.7.tar.gz

       第三步：进入nginx-1.13.7目录。使用configure命令创建makefile文件   

              [root@spark2 opt]# cd nginx-1.13.7/

              [root@spark2 nginx-1.13.7]# mkdir /var/temp/nginx

[root@spark2 nginx-1.13.7]#             

./configure \

--prefix=/usr/local/nginx \

--pid-path=/var/run/nginx/nginx.pid \

--lock-path=/var/lock/nginx.lock \

--error-log-path=/var/log/nginx/error.log \

--http-log-path=/var/log/nginx/access.log \

--with-http_gzip_static_module \

--http-client-body-temp-path=/var/temp/nginx/client \

--http-proxy-temp-path=/var/temp/nginx/proxy \

--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \

--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \

--http-scgi-temp-path=/var/temp/nginx/scgi

       注意：上边将临时文件目录指定为/var/temp/nginx，需要在/var下创建temp及nginx目录

       第三步：make && make install

              [root@spark2 nginx-1.13.7]# make

              [root@spark2 nginx-1.13.7]# make install

以上操作完成后，进入/usr/local/nginx目录

[root@spark2 ~]# cd /usr/local/nginx/

       [root@spark2 ~]# ls

              conf  html  logs  sbin

conf它里面装入的是nginx相关的配置文件。

html目录 它里面装入的html代码。

sbin目录它里面有一个nginx。

想要启动nginx只需要执行bin目录下的nginx命令就可以。

[root@spark2 sbin]# ./nginx

Nginx服务在启动时会启动两个服务：

        

查看是否启动成功：

http://26.47.30.177:80 （看到欢迎页面即可）      

2.4、Nginx常用命令

• 关闭nginx需要使用：

nginx -s stop 相当于找到nginx进程kill。

• 退出命令：

nginx -s quit 等程序执行完毕后关闭，建议使用此命令。

• 重新加载配置文件:

nginx -s reload 可以不关闭nginx的情况下更新配置文件。

4、Nginx配置与应用

4.1、Nginx支持HTTP转发方式

[root@spark2 ~]# cd /usr/local/nginx/conf/

[root@spark2 conf]# vim nginx.conf

重启nginx后访问http://26.47.30.177:80

4.2、Nginx支持Socket转发方式

安装nginx时stream模块默认不安装的，需要手动添加参数：–with-stream，官方下载地址：download，根据自己系统版本选择nginx1.9或以上版本。

[root@spark2 sbin]# cd /opt/nginx-1.13.7/

[root@spark2 nginx-1.13.7]# ./configure  --prefix=/usr/local/nginx --with-stream

[root@spark2 nginx-1.13.7]# make & make install

[root@spark2 nginx-1.13.7]# vim /usr/local/nginx/conf/nginx.conf

#user  nobody;

worker_processes  1;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
error_log  logs/error.log  info;


#pid        logs/nginx.pid;

events {
   worker_connections  1024;
}


stream{
    # 添加socket转发的代理
    upstream abc{
        # 使用一致性哈希
        hash $remote_addr consistent;
        # 转发的目的地址和端口
        server 26.47.30.177:12345;
        server 26.47.30.177:12346;
        server 26.47.30.177:12347;
        server 26.47.30.177:12348;
    }

     # 提供转发的服务，即访问localhost:12000，会跳转至代理abc指定的转发地址
    server{
        listen 12000;
        proxy_connect_timeout 1s;
        proxy_timeout 3s;
        proxy_pass abc;
    }
}

注：备机26.47.30.178同上述配置一样。

二、Keepalived

1、keepalived+nginx实现主备

1.1、什么是keepalived

         keepalived是集群管理中保证集群高可用的一个服务软件，用来防止单点故障。

        Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。

1.2、keepalived工作原理

         keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。

         虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（VIP = Virtual IP Address，虚拟IP地址，该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到VRRP包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。

         keepalived主要有三个模块，分别是core、check和VRRP。core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查，包括常见的各种检查方式。VRRP模块是来实现VRRP协议的。

1.3、keepalived+nginx实现主备过程

初始状态：

       

宕机状态：

       

流程介绍：

首先Keepalived可以在主机上产生一个虚拟的ip, 这里叫做vip(v是virtual的意思), keepalived会将这个vip绑定到交换机上。

当访问主机:26.47.30.177, 交换机会通过这个ip和vip的对应找到26.47.30.177上的Nginx进行处理。

如果当有一天26.47.30.177上的Nginx挂掉的时候, Keepalived会立即在备机上生成相同的vip: 192.168.200.16, 192.168.200.17, 192.168.200.18

当用户继续访问26.47.30.177时, 交换机上已经绑定了vip, 这时发现这个vip是存在于26.47.30.178上面的, 所以直接将请求转发到了备机上。

如果主机被修复好能够继续对外提供服务时, 这时keepalived会将主机上继续生成这个vip, 同时回收在备机上生成的vip. 这个是通过心跳检查来判断主机已恢复使用。

2、配置keepalived

两台nginx，一主一备：26.47.30.177和26.47.30.178。

2.1、安装环境

ssu - root

yum -y install kernel-devel*

yum -y install openssl-*

yum -y install popt-devel

yum -y install lrzsz

yum -y install openssh-clients

yum -y install libnl libnl-devel popt

2.2、安装keepalived

下载稳定版本：wget  http://www.keepalived.org/software/keepalived-1.2.15.tar.gz

解压配置

1、将keepalived-1.2.15.tar.gz上传到服务器/usr/local/下。

[root@spark2 opt]# cd /opt

[root@spark2 opt]# tar -zxvf keepalived-1.2.15.tar.gz

[root@spark2 opt]# cd keepalived-1.2.15

2、执行配置命令

[root@spark2 keepalived-1.2.18]# ./configure --prefix=/usr/local/keepalived

3、编译

[root@spark2 keepalived-1.2.18]# make

4、安装

[root@spark2 keepalived-1.2.18]# make install

至此安装成功。

5、拷贝执行文件

cp /usr/local/keepalived/sbin/keepalived /usr/sbin/

6、将init.d文件拷贝到etc下,加入开机启动项

cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/keepalived

7、将keepalived文件拷贝到etc下，加入网卡配置

cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

8、创建keepalived文件夹

mkdir -p /etc/keepalived

9、将keepalived配置文件拷贝到etc下

cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf

10、添加可执行权限

chmod +x /etc/init.d/keepalived

加入开机启动：

chkconfig --add keepalived       #添加时必须保证/etc/init.d/keepalived存在

chkconfig keepalived on

添加完可查询系统服务是否存在：chkconfig --list

启动keepalived：

启动：service keepalived start

停止：service keepalived stop

重启：service keepalived restart

2.3、配置日志文件

1、将keepalived日志输出到local0：

vim /etc/sysconfig/keepalived

添加：KEEPALIVED_OPTIONS="-D -d -S 0"

2、vim s/etc/rsyslog.conf 添加:

local0.*  /var/log/keepalived.log

3、重新启动keepalived和rsyslog服务：

service rsyslog restart

service keepalived restart

注：备机26.47.30.178同上述配置一样。

3、Keepalived配置应用

3.1、配置keepalived.conf

[root@spark3 keepalived]# cd /etc/keepalived/

[root@spark3 keepalived]# vim keepalived.conf

        

注意：interface eth0配置ifconfig查看对应的26.47.30.177对应的网卡是否是eth0。

3.2、检测Keepalived是否启动成功

查看主nginx的eth0设置：vip绑定在主nginx的eth0上。

[root@spark3 keepalived]# service keepalived start

[root@spark3 keepalived]# ip add show eth0

        

         这里查看 我们的机器多了3个ip, 其实这3个ip都是虚拟ip。

3.3、备机配置

配置备nginx时需要注意：

需要修改state为BACKUP , priority比MASTER低，virtual_router_id和master的值一致。

[root@spark3 ~]# cd /etc/keepalived/

[root@spark3 keepalived]# vim keepalived.conf

        

启动备机的keepalived：

        

当主机停止服务时, 备机即可接管，继续服务。

4、解决nginx进程和keepalived不同时存在问题

4.1、问题描述

         keepalived是通过检测keepalived进程是否存在判断服务器是否宕机，如果keepalived进程在但是nginx进程不在了那么keepalived是不会做主备切换，所以我们需要写个脚本来监控nginx进程是否存在，如果nginx不存在就将keepalived进程杀掉。

4.2、nginx进程检测脚本

         在主nginx上需要编写nginx进程检测脚本（check_nginx.sh），判断nginx进程是否存在，如果nginx不存在就将keepalived进程杀掉，check_nginx.sh内容如下：

#!/bin/bash
# 如果进程中没有nginx则将keepalived进程kill掉
A=`ps -C nginx --no-header |wc -l`      ## 查看是否有 nginx进程 把值赋给变量A
if [ $A -eq 0 ];then                    ## 如果没有进程值得为 零
       service keepalived stop          ## 则结束 keepalived 进程
fi

将check_nginx.sh拷贝至/etc/keepalived下，

脚本测试：

将nginx停止，将keepalived启动，执行脚本：sh /etc/keepalived/check_nginx.sh

从执行可以看出自动将keepalived进程kill掉了。

                

4.3、修改keepalived.conf

修改主nginx的keepalived.conf，添加脚本定义检测：

# 全局配置

global_defs {

   # 指定keepalived在发生切换时需要发送email到的对象，一行一个

   notification_email {

     [email protected]

     [email protected]

     [email protected]

   }

   # 指定发件人

   notification_email_from [email protected]

   # 指定smtp服务器地址

   smtp_server 192.168.200.1

   # 指定SMTP连接超时时间

   smtp_connect_timeout 30

   # 运行keepalived机器的一个标识

   router_id LVS_DEVEL

}


vrrp_script check_nginx {

    script "/etc/keepalived/check_nginx.sh"         ##监控脚本

    interval 2                                      ##时间间隔，2秒

    weight 2                                        ##权重

}


vrrp_instance VI_1 {

    state MASTER                #标识状态为MASTER,备机为BACKUP

    interface eth0              #设置实例绑定的网卡

    virtual_router_id 51        #同一个实例下virtual_router_id必须相同

    priority 100                #MASTER 权重高于BACKUP,比如BACKUP为99

    advert_int 1                #MASTER与BACKUP负载均衡之间同步检查的时间间隔，单位而为秒

    authentication {            #设置认证

        auth_type PASS          #主服务器验证方式

        auth_pass 1111

    }


    track_script {

        check_nginx        #监控脚本

   }


    virtual_ipaddress {         #设置vip

        192.168.200.16          #可以多个虚拟ip，换行即可，要和备机保持一致

        192.168.200.17

        192.168.200.18

    }

}

修改后重启keepalived。

4.4、测试

回到负载均衡高可用的初始状态，保证主、备上的keepalived、nginx全部启动。

停止主nginx服务

[root@spark2 ~]# cd /usr/local/nginx/sbin/

[root@spark2 sbin]# ./nginx -s stop

观察keepalived日志：

tail -f /var/log/keepalived.log

查看keepalived进程已经不存在。

查看eth0已经没有绑定vip。

[root@spark2 ~]# ip add show eth0