keepalived + nginx 实现高可用集群方案

keepalived + nginx 实现高可用集群方案

一.使用场景介绍：
nginx做负载均衡，来达到分发请求的目的，但是不能很好的避免单点故障，假如nginx服务器挂点了，那么所有的服务也会跟着瘫痪 。keepalived+nginx，就能很好的解决这一问题。

二.原理介绍：
Keepalived 是一种高性能的服务器高可用或热备解决方案，Keepalived 可以用来防止服务器单点故
障的发生，通过配合 Nginx 可以实现 web 前端服务的高可用。
Keepalived 以 VRRP 协议为实现基础，用 VRRP 协议来实现高可用性(HA)。VRRP(Virtual Router
Redundancy Protocol)协议是用于实现路由器冗余的协议，VRRP 协议将两台或多台路由器设备虚拟成一个
设备，对外提供虚拟路由器 IP(一个或多个)，而在路由器组内部，如果实际拥有这个对外 IP 的路由器如
果工作正常的话就是 MASTER， 或者是通过算法选举产生， MASTER 实现针对虚拟路由器 IP 的各种网络功能，
如 ARP 请求，ICMP，以及数据的转发等；其他设备不拥有该虚拟 IP，状态是 BACKUP，除了接收 MASTER 的
VRRP 状态通告信息外，不执行对外的网络功能。当主机失效时，BACKUP 将接管原先 MASTER 的网络功能。
VRRP 协议使用多播数据来传输 VRRP 数据， VRRP 数据使用特殊的虚拟源 MAC 地址发送数据而不是自身
网卡的 MAC 地址，VRRP 运行时只有 MASTER 路由器定时发送 VRRP 通告信息，表示 MASTER 工作正常以及虚
拟路由器 IP(组)，BACKUP 只接收 VRRP 数据，不发送数据，如果一定时间内没有接收到 MASTER 的通告信
息，各 BACKUP 将宣告自己成为 MASTER，发送通告信息，重新进行 MASTER 选举状态。

三.准备工作
两台虚拟机如：
192.168.0.121 和 192.168.0.122

四.开始安装
1, 安装nginx所需的库:
yum install -y gcc gcc-c++ zlib zlib-devel pcre pcre-devel openssl openssl-devel
解析:
gcc: gcc编译器
gcc-c++: c++编译器用于编译nginx的http模块
zlib, zlib-devel: 用于对http包的内容作gzip压缩
pcre, pcre-devel: pcre库, nginx中rewrite模块需要的
openssl, openssl-devel:用于支持在SSL协议上传输HTTP

2, 用户及用户组:
groupadd www #创建www用户组
useradd -g www www -s /sbin/nologin #创建www用户归入www组, 并禁止www用户登录系统
mkdir -p /alidata/server/nginx #创建nginx安装目录

3.开始安装：
cd /alidata/server/source #统一搁置压缩包
wget http://nginx.org/download/nginx-1.9.5.tar.gz #获取nginx源码
tar -zxvf nginx-1.9.5.tar.gz #解压
cd nginx-1.9.5 #进入源码目录
./configure –user=www –group=www –prefix=/alidata/server/nginx –with-http_stub_status_module
–with-http_ssl_module –with-pcre
使用./configure –help 可以查看有哪些编译选项, nginx的模块必须要在编译的时候加入, 无法动态的加入

以上执行完如果显示这样, 便是成功的,再执行下面的命令即可完成安装:

make && make install #编译并安装
至此nginx便安装完成.

注：以上两台需都需要安装。

无报错则启动服务
启动ngin:(确保Linux中没有其他程序占用80端口)
cd /alidata/server/nginx #进入安装目录
./sbin/nginx #启动

五.安装 keepalived:
1.进入放置压缩包目录，如我的为 cd /alidata/resource
wget http://www.keepalived.org/software/keepalived-1.2.22.tar.gz 开始下载
创建目录： mkdir -p /alidata/server/keepalived
tar -zxvf keepalived-1.2.22.tar.gz
cd keepalived-1.2.22
./configure –prefix=/alidata/server/keepalived
make && make install
cp keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
cp /alidata/server/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
ln -s /alidata/server/keepalived/sbin/keepalived /usr/sbin/
./keepalived/etc/rc.d/init.d/keepalived start #启动服务

以上为安装完成
注：两台均需要安装。

六.修改配置文件选项

! Configuration File for keepalived

global_defs {
    # keepalived 自带的邮件提醒需要开启 sendmail 服务。建议用独立的监控或第三方 SMTP,也可配置邮件发送
   router_id 192.168.0.121
}

vrrp_script chk_nginx {
    script "/alidata/server/keepalived/nginx_check.sh" #运行脚本，脚本内容下面有，就是起到一个nginx宕机以后，自动开启服务
    interval 2 #检测时间间隔
    weight -20 #如果条件成立的话，则权重 -20
}
# 定义虚拟路由，VI_1 为虚拟路由的标示符，自己定义名称
vrrp_instance VI_1 {
    state MASTER #来决定主从
    interface eno16777736 # 绑定虚拟 IP 的网络接口，根据自己的机器填写
    virtual_router_id 121 # 虚拟路由的 ID 号， 两个节点设置必须一样
    mcast_src_ip 192.168.0.121 #填写本机ip
    priority 100 # 节点优先级,主要比从节点优先级高
    nopreempt # 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题
    advert_int 1 # 组播信息发送间隔，两个节点设置必须一样，默认 1s
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    # 将 track_script 块加入 instance 配置块
    track_script {
        chk_nginx #执行 Nginx 监控的服务
    }

    virtual_ipaddress {
        192.168.0.50 # 虚拟ip,也就是解决写死程序的ip怎么能切换的ip,也可扩展，用途广泛。可配置多个。
    }
}

以上配置为主节点配置，从节点类似，有区别的已经标明。下面是监控服务脚本内容

#!/bin/bash
A=`ps -C nginx –no-header |wc -l`
if [ $A -eq 0 ];then
    /alidata/server/nginx/sbin/nginx
    sleep 2
    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
        killall keepalived
    fi
fi

解读脚本，定义变量，此变量为检查nginx进程脚本，如果进程为0，则启动nginx服务，再次检查nginx服务，如果仍没启动 ，杀掉所有keepalived的进程。

七.测试高可用
打开浏览器，输入虚拟ip地址

我是分别在两台机器装有环境，ip为192.168.0.121和192.168.0.122，此时我停掉其中一台nginx服务，结果如图


此时，我停掉其中一台的keepalived服务

浏览器显示

我们打开cmd窗口来看

虚拟ip对应的物理地址，所对应的真实ip地址的物理地址的ip,反之停掉另一个ip的服务keepalived服务，再查看结果试试。

此时，我们已完成标题内容。由此可以扩展高可用架构，如fastdfs集群管理，LVS负载均衡管理等。如有问题，欢迎一起探讨。有时间，下面会更新 redis高可用，高扩展集群方案。fastdfs集群方案，Lvs负载均衡配置方案。存手工写入，有错误的地方见谅。分享的同时，自己也在进步，我们都想成为一名架构师，但是，那只不过是一个头衔而已，让自己每天进步一点点就够了。