RabbitMQ精讲9：镜像模式集群搭建，整合KeepAlived+HaProxy组件

 

目录

1. 镜像模式集群搭建

1.1 集群节点安装

1、安装依赖包

2、下载安装包

3、安装服务命令

4、修改集群用户与连接心跳检测

5、安装管理插件

6、服务指令

1.2 文件同步步骤

1.3 组成集群步骤

1、停止MQ服务

2、组成集群操作

3、slave加入集群操作（重新加入集群也是如此，以最开始的主节点为加入节点）

4、修改集群名称

5、查看集群状态

6、管控台界面

1.4 配置镜像队列

1.5 安装Ha-Proxy

1、Haproxy简介

HAProxy如何实现性能最大化

2、Haproxy安装

3、Haproxy配置

4、启动haproxy

5、访问haproxy

6、关闭haproxy

1.6  安装KeepAlived 

1、Keepalived简介

Keepalived特性

Keepalived高可用原理

 2、Keepalived安装

3、Keepalived配置

79节点（Master）配置如下

80节点（backup）配置如下

4、执行脚本编写

5、执行脚本赋权

6、启动keepalived

7、高可用测试

1.7 集群配置文件

环境变量配置文件：rabbitmq-env.conf

配置信息配置文件：rabbitmq.config

2. RabbitMQ集群恢复与故障转移

场景一：A先停, B后停

场景二：A, B同时停机

场景三：A先停, B后停, 且A无法恢复

场景四：A先停, B后停, 且B无法恢复

场景五：A先停, B后停, 且A, B均无法恢复, 但是能得到A或B的磁盘文件

场景六：A,B均停机, A,B均无法恢复, 且A或B的磁盘文件都无法恢复, 极端情况

---

1. 镜像模式集群搭建

1.1 集群节点安装

镜像模式集群搭建

镜像模式集群搭建

 

1、安装依赖包

PS:安装rabbitmq所需要的依赖包

yum install build-essential openssl openssl-devel unixODBC unixODBC-devel make gcc gcc-c++ kernel-devel m4 ncurses-devel tk tc xz

2、下载安装包

wget www.rabbitmq.com/releases/erlang/erlang-18.3-1.el7.centos.x86_64.rpm
wget http://repo.iotti.biz/CentOS/7/x86_64/socat-1.7.3.2-5.el7.lux.x86_64.rpm
wget www.rabbitmq.com/releases/rabbitmq-server/v3.6.5/rabbitmq-server-3.6.5-1.noarch.rpm

3、安装服务命令

rpm -ivh erlang-18.3-1.el7.centos.x86_64.rpm 
rpm -ivh socat-1.7.3.2-5.el7.lux.x86_64.rpm
rpm -ivh rabbitmq-server-3.6.5-1.noarch.rpm

4、修改集群用户与连接心跳检测

注意修改vim /usr/lib/rabbitmq/lib/rabbitmq_server-3.6.5/ebin/rabbit.app文件

修改：loopback_users 中的 <<"guest">>,只保留guest

修改：heartbeat 为1

5、安装管理插件

//首先启动服务

/etc/init.d/rabbitmq-server start stop status restart

//查看服务有没有启动： lsof -i:5672

rabbitmq-plugins enable rabbitmq_management

//可查看管理端口有没有启动： lsof -i:15672 或者 netstat -tnlp|grep 15672

6、服务指令

/etc/init.d/rabbitmq-server start stop status restart

验证单个节点是否安装成功：http://192.168.11.71:15672/

  Ps：以上操作三个节点（71、72、73）同时进行操作

1.2 文件同步步骤

PS: 选择76、77、78任意一个节点为Master（这里选择76为Master），

也就是说我们需要把76的Cookie文件同步到77、78节点上去，

• 进入/var/lib/rabbitmq目录下，把/var/lib/rabbitmq/.erlang.cookie文件的权限修改为777，原来是400；
• 然后把.erlang.cookie文件copy到各个节点下；
• 最后把所有cookie文件权限还原为400即可。

/etc/init.d/rabbitmq-server stop 
//进入目录修改权限；远程copy77、78节点，比如：
scp /var/lib/rabbitmq/.erlang.cookie 到192.168.11.77和192.168.11.78中

1.3 组成集群步骤

1、停止MQ服务

PS:我们首先停止3个节点的服务

rabbitmqctl stop

2、组成集群操作

PS:接下来我们就可以使用集群命令，配置76、77、78为集群模式，3个节点（76、77、78）执行启动命令，后续启动集群使用此命令即可。

rabbitmq-server -detached

3、slave加入集群操作（重新加入集群也是如此，以最开始的主节点为加入节点）

//注意做这个步骤的时候：需要配置/etc/hosts 必须相互能够寻址到

bhz77：rabbitmqctl stop_app

bhz77：rabbitmqctl join_cluster --ram rabbit@bhz76

bhz77：rabbitmqctl start_app

bhz78：rabbitmqctl stop_app

bhz78：rabbitmqctl join_cluster rabbit@bhz76

bhz78：rabbitmqctl start_app

//在另外其他节点上操作要移除的集群节点

rabbitmqctl forget_cluster_node rabbit@bhz24

4、修改集群名称

PS:修改集群名称（默认为第一个node名称）：

rabbitmqctl set_cluster_name rabbitmq_cluster1

5、查看集群状态

PS:最后在集群的任意一个节点执行命令：查看集群状态

rabbitmqctl cluster_status

6、管控台界面

PS: 访问任意一个管控台节点：http://192.168.11.76:15672 

 

1.4 配置镜像队列

设置镜像队列策略（在任意一个节点上执行）

rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'

PS:将所有队列设置为镜像队列，即队列会被复制到各个节点，各个节点状态一致，RabbitMQ高可用集群就已经搭建好了,我们可以重启服务，查看其队列是否在从节点同步。

1.5 安装Ha-Proxy

1、Haproxy简介

Haproxy简介

• HAProxy是一款提供高可用性、负载均衡以及基于TCP和HTTP应用的代理软件，HAProxy是完全免费的、借助HAProxy可以快速并且可靠的提供基于TCP和HTTP应用的代理解决方案。
• HAProxy适用于那些负载较大的web站点，这些站点通常又需要会话保持或七层处理。
• HAProxy可以支持数以万计的并发连接,并且HAProxy的运行模式使得它可以很简单安全的整合进架构中，同时可以保护web服务器不被暴露到网络上。

HAProxy如何实现性能最大化

HAProxy如何实现性能最大化

HAProxy如何实现性能最大化

2、Haproxy安装

PS:79、80节点同时安装Haproxy，下面步骤统一

//下载依赖包

yum install gcc vim wget

//下载haproxy

wget http://www.haproxy.org/download/1.6/src/haproxy-1.6.5.tar.gz

//解压

tar -zxvf haproxy-1.6.5.tar.gz -C /usr/local

//进入目录、进行编译、安装

cd /usr/local/haproxy-1.6.5

make TARGET=linux31 PREFIX=/usr/local/haproxy

make install PREFIX=/usr/local/haproxy

mkdir /etc/haproxy

//赋权

groupadd -r -g 149 haproxy

useradd -g haproxy -r -s /sbin/nologin -u 149 haproxy

//创建haproxy配置文件

touch /etc/haproxy/haproxy.cfg

3、Haproxy配置

PS:haproxy 配置文件haproxy.cfg详解

vim /etc/haproxy/haproxy.cfg

#logging options
global
	log 127.0.0.1 local0 info
	maxconn 5120
	chroot /usr/local/haproxy
	uid 99
	gid 99
	daemon
	quiet
	nbproc 20
	pidfile /var/run/haproxy.pid

defaults
	log global
	#使用4层代理模式，”mode http”为7层代理模式
	mode tcp
	#if you set mode to tcp,then you nust change tcplog into httplog
	option tcplog
	option dontlognull
	retries 3
	option redispatch
	maxconn 2000
	contimeout 5s
     ##客户端空闲超时时间为 60秒 则HA 发起重连机制
     clitimeout 60s
     ##服务器端链接超时时间为 15秒 则HA 发起重连机制
     srvtimeout 15s	
#front-end IP for consumers and producters

listen rabbitmq_cluster
	bind 0.0.0.0:5672
	#配置TCP模式
	mode tcp
	#balance url_param userid
	#balance url_param session_id check_post 64
	#balance hdr(User-Agent)
	#balance hdr(host)
	#balance hdr(Host) use_domain_only
	#balance rdp-cookie
	#balance leastconn
	#balance source //ip
	#简单的轮询
	balance roundrobin
	#rabbitmq集群节点配置 #inter 每隔五秒对mq集群做健康检查， 2次正确证明服务器可用，2次失败证明服务器不可用，并且配置主备机制
        server bhz76 192.168.11.76:5672 check inter 5000 rise 2 fall 2
        server bhz77 192.168.11.77:5672 check inter 5000 rise 2 fall 2
        server bhz78 192.168.11.78:5672 check inter 5000 rise 2 fall 2
#配置haproxy web监控，查看统计信息
listen stats
	bind 192.168.11.79:8100
	mode http
	option httplog
	stats enable
	#设置haproxy监控地址为http://localhost:8100/rabbitmq-stats
	stats uri /rabbitmq-stats
	stats refresh 5s

4、启动haproxy

/usr/local/haproxy/sbin/haproxy -f /etc/haproxy/haproxy.cfg
//查看haproxy进程状态
ps -ef | grep haproxy

5、访问haproxy

PS:访问如下地址可以对rmq节点进行监控：http://192.168.11.79:8100/rabbitmq-stats

Haproxy

6、关闭haproxy

killall haproxy
ps -ef | grep haproxy

1.6  安装KeepAlived 

1、Keepalived简介

Keepalived简介

Keepalived，它是一个高性能的服务器高可用或热备解决方案，Keepalived主要来防止服务器单点故障的发生问题，可以通过其与Nginx、Haproxy等反向代理的负载均衡服务器配合实现web服务端的高可用。Keepalived以VRRP协议为实现基础，用VRRP协议来实现高可用性（HA）.VRRP（Virtual Router Redundancy Protocol）协议是用于实现路由器冗余的协议，VRRP协议将两台或多台路由器设备虚拟成一个设备，对外提供虚拟路由器IP（一个或多个）。

Keepalived特性

Keepalived特性

Keepalived高可用原理

Keepalived高可用原理

Keepalived高可用原理

 2、Keepalived安装

PS:下载地址：http://www.keepalived.org/download.html

//安装所需软件包
yum install -y openssl openssl-devel

//下载
wget http://www.keepalived.org/software/keepalived-1.2.18.tar.gz

//解压、编译、安装
tar -zxvf keepalived-1.2.18.tar.gz -C /usr/local/
cd keepalived-1.2.18/ && ./configure --prefix=/usr/local/keepalived
make && make install

//将keepalived安装成Linux系统服务，因为没有使用keepalived的默认安装路径（默认路径：/usr/local）,安装完成之后，需要做一些修改工作
//首先创建文件夹，将keepalived配置文件进行复制：
mkdir /etc/keepalived
cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/

//然后复制keepalived脚本文件：
cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
ln -s /usr/local/sbin/keepalived /usr/sbin/
ln -s /usr/local/keepalived/sbin/keepalived /sbin/

//可以设置开机启动：chkconfig keepalived on，到此我们安装完毕!
chkconfig keepalived on

3、Keepalived配置

PS:修改keepalived.conf配置文件

vim /etc/keepalived/keepalived.conf

79节点（Master）配置如下

! Configuration File for keepalived

global_defs {
   router_id bhz79  ##标识节点的字符串，通常为hostname

}

vrrp_script chk_haproxy {
    script "/etc/keepalived/haproxy_check.sh"  ##执行脚本位置
    interval 2  ##检测时间间隔
    weight -20  ##如果条件成立则权重减20
}

vrrp_instance VI_1 {
    state MASTER  ## 主节点为MASTER，备份节点为BACKUP
    interface eth0 ## 绑定虚拟IP的网络接口（网卡），与本机IP地址所在的网络接口相同（我这里是eth0）
    virtual_router_id 79  ## 虚拟路由ID号（主备节点一定要相同）
    mcast_src_ip 192.168.11.79 ## 本机ip地址
    priority 100  ##优先级配置（0-254的值）
    nopreempt
    advert_int 1  ## 组播信息发送间隔，俩个节点必须配置一致，默认1s
authentication {  ## 认证匹配
        auth_type PASS
        auth_pass bhz
    }

    track_script {
        chk_haproxy
    }

    virtual_ipaddress {
        192.168.11.70  ## 虚拟ip，可以指定多个
    }
}

80节点（backup）配置如下

! Configuration File for keepalived

global_defs {
   router_id bhz80  ##标识节点的字符串，通常为hostname

}

vrrp_script chk_haproxy {
    script "/etc/keepalived/haproxy_check.sh"  ##执行脚本位置
    interval 2  ##检测时间间隔
    weight -20  ##如果条件成立则权重减20
}

vrrp_instance VI_1 {
    state BACKUP  ## 主节点为MASTER，备份节点为BACKUP
    interface eno16777736 ## 绑定虚拟IP的网络接口（网卡），与本机IP地址所在的网络接口相同（我这里是eno16777736）
    virtual_router_id 79  ## 虚拟路由ID号（主备节点一定要相同）
    mcast_src_ip 192.168.11.80  ## 本机ip地址
    priority 90  ##优先级配置（0-254的值）
    nopreempt
    advert_int 1  ## 组播信息发送间隔，俩个节点必须配置一致，默认1s
authentication {  ## 认证匹配
        auth_type PASS
        auth_pass bhz
    }

    track_script {
        chk_haproxy
    }

    virtual_ipaddress {
        192.168.1.70  ## 虚拟ip，可以指定多个
    }
}

4、执行脚本编写

添加文件位置为/etc/keepalived/haproxy_check.sh（79、80两个节点文件内容一致即可）

#!/bin/bash
COUNT=`ps -C haproxy --no-header |wc -l`
if [ $COUNT -eq 0 ];then
    /usr/local/haproxy/sbin/haproxy -f /etc/haproxy/haproxy.cfg
    sleep 2
    if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then
        killall keepalived
    fi
fi

5、执行脚本赋权

PS:haproxy_check.sh脚本授权,赋予可执行权限.

chmod +x /etc/keepalived/haproxy_check.sh

6、启动keepalived

PS:当我们启动俩个haproxy节点以后，我们可以启动keepalived服务程序：

//启动两台机器的keepalived

service keepalived start | stop | status | restart

//查看状态

ps -ef | grep haproxy

ps -ef | grep keepalived

7、高可用测试

vip在79节点上 

• ip a查看 有个 inet  192.168.11.70/32 scope global eth0的信息

79节点宕机测试：停掉79的keepalived服务即可(service keepalived stop )

查看80节点状态：我们发现VIP漂移到了80节点上，那么80节点的haproxy可以继续对外提供服务！

1.7 集群配置文件

创建如下配置文件位于：/etc/rabbitmq目录下（这个目录需要自己创建）

环境变量配置文件：rabbitmq-env.conf

rabbitmq-env.conf配置文件：

---------------------------------------关键参数配置-------------------------------------------

RABBITMQ_NODE_IP_ADDRESS=本机IP地址

RABBITMQ_NODE_PORT=5672

RABBITMQ_LOG_BASE=/var/lib/rabbitmq/log

RABBITMQ_MNESIA_BASE=/var/lib/rabbitmq/mnesia

 

配置参考参数如下：

RABBITMQ_NODENAME=FZTEC-240088 节点名称

RABBITMQ_NODE_IP_ADDRESS=127.0.0.1 监听IP

RABBITMQ_NODE_PORT=5672 监听端口

RABBITMQ_LOG_BASE=/data/rabbitmq/log 日志目录

RABBITMQ_PLUGINS_DIR=/data/rabbitmq/plugins 插件目录

RABBITMQ_MNESIA_BASE=/data/rabbitmq/mnesia 后端存储目录

更详细的配置参见： http://www.rabbitmq.com/configure.html#configuration-file

配置信息配置文件：rabbitmq.config

配置文件信息修改：

/usr/lib/rabbitmq/lib/rabbitmq_server-3.6.4/ebin/rabbit.app和rabbitmq.config配置文件配置任意一个即可，我们进行配置如下：

vim /usr/lib/rabbitmq/lib/rabbitmq_server-3.6.4/ebin/rabbit.app

 

-------------------------------------关键参数配置----------------------------------------

tcp_listerners 设置rabbimq的监听端口，默认为[5672]。
disk_free_limit 磁盘低水位线，若磁盘容量低于指定值则停止接收数据，默认值为{mem_relative, 1.0},即与内存相关联1：1，也可定制为多少byte.
vm_memory_high_watermark，设置内存低水位线，若低于该水位线，则开启流控机制，默认值是0.4，即内存总量的40%。
hipe_compile 将部分rabbimq代码用High Performance Erlang compiler编译，可提升性能，该参数是实验性，若出现erlang vm segfaults，应关掉。
force_fine_statistics， 该参数属于rabbimq_management，若为true则进行精细化的统计，但会影响性能

------------------------------------------------------------------------------------------

更详细的配置参见：http://www.rabbitmq.com/configure.html

2. RabbitMQ集群恢复与故障转移

前提 : A, B两个节点组成一个镜像队列, B是Master节点

场景一：A先停, B后停

解决方案 : 该场景下B是Master, 只要先启动B, 在启动A即可。或者先启动A, 30秒之内启动B即可恢复镜像队列

场景二：A, B同时停机

解决方案 : 只需要在30秒内连续启动A和B即可恢复镜像

场景三：A先停, B后停, 且A无法恢复

解决场景 : 因为B是Master, 所以等B启起来以后, 在B节点上调用控制台命令 : rabbitmqctl forget_cluster_node A解除与A的Cluster关系, 再将新的Slave节点加入B即可重新恢复镜像队列

场景四：A先停, B后停, 且B无法恢复

解决方案 :

因为Master节点无法恢复, 所以较难处理, 在3.4.2之前没有什么好的解决方案, 但是现在已经有解决方案了, 在3.4.2以后的版本。

因为B是主节点, 所以直接启动A是不行的, 当A无法启动时, 也就没有办法在A节点上调用rabbitmqctl forget_cluster_node B 命令了。但是在新版本中forget_cluster_node支持–offline参数, 支持线下移除节点。

这就意味着运行rabbitmqctl在理想节点上执行命令, 迫使RabbitMQ在未启动Slave节点中选择一个节点作为Master。

当在A节点执行**rabbitmqctl forget_cluster_node --offline B **时, RabbitMQ会mock一个节点代表A, 执行 forget_cluster_node命令将B移除cluster, 然后A就可以正常启动了, 最后将新的Slave节点加入A即可重新恢复镜像队列

场景五：A先停, B后停, 且A, B均无法恢复, 但是能得到A或B的磁盘文件

解决方案 : 这种场景更加难以处理, 只能通过恢复数据的方式去尝试恢复, 将A或B的数据库文件默认在$RABBIT_HOME/var/lib目录中, 把它拷贝到新节点对应的目录下, 再将新节点的hostname改成A或B的hostname, 如果是A节点(Slave)的磁盘文件, 按照场景四处理即可, 如果是B节点(Master)的磁盘文件, 则按照场景三处理, 最后将新的Slave加入到新节点后完成恢复
这种场景很极端, 只能尝试恢复

场景六：A,B均停机, A,B均无法恢复, 且A或B的磁盘文件都无法恢复, 极端情况

解决方案 : 一首凉凉送给大家, 这种情况完全没办法解决