RabbitMQ集群HA搭建

集群概述

通过 Erlang 的分布式特性(通过 magic cookie 认证节点)进行 RabbitMQ 集群,各 RabbitMQ 服务为对等节点,即每个节点都提供服务给客户端连接,进行消息发送与接收。

这些节点通过 RabbitMQ HA 队列(镜像队列)进行消息队列结构复制。本方案中搭建 2 个节点,并且都是磁盘节点(所有节点状态保持一致,节点完全对等),只要有任何一个节点能够工作,RabbitMQ 集群对外就能提供服务。

环境

CentOS7.2
RabbitMQ 3.6.5
HAproxy

RabbitMQ集群安装在2个节点上:10.2.2.155、10.2.2.156、10.2.2.157

HAproxy安装在10.2.2.155上,用于对外提供RabbitMQ负载均衡。

软件包下载地址

http://pan.baidu.com/s/1c24CMAG

配置步骤

1、安装erlang、RabbitMQ

在10.2.2.155、10.2.2.156、10.2.2.157上安装

erlang安装

安装依赖包

yum install -y *epel* gcc-c++ unixODBC unixODBC-devel openssl-devel ncurses-devel

编译安装

tar -zxvf otp_src_19.0.tar.gz
cd otp_src_19.0
./configure --prefix=/usr/local/bin/erlang --without-javac
make && make install
echo "export PATH=$PATH:/usr/local/bin/erlang/bin:/usr/local/bin/rabbitmq_server-3.6.5/sbin" >> /etc/profile
source /etc/profile

输入erl出现命令行证明安装成功。

RabbitMQ安装

编译安装

wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.5/rabbitmq-server-generic-unix-3.6.5.tar.xz
yum install -y xz
xz -d rabbitmq-server-3.6.3.tar.xz
tar -xvf rabbitmq-server-generic-unix-3.6.5.tar -C /usr/local/bin/
vim /etc/profile
export PATH=$PATH:/usr/local/bin/erlang/bin:/usr/local/bin/rabbitmq_server-3.6.5/sbin

导入RabbitMQ地管理界面

rabbitmq-plugins enable rabbitmq_management 

2、修改/etc/hosts

写下

10.2.2.155 node1
10.2.2.156 node2
10.2.2.157 node3

3、设置Erlang Cookie

找到Erlang Cookie 文件.erlang.cookie的位置

官方在介绍集群的文档中提到过.erlang.cookie一般会存在这两个地址:第一个是$home/.erlang.cookie;第二个地方就是/var/lib/rabbitmq/.erlang.cookie。

如果我们使用解压缩方式安装部署的rabbitmq,那么这个文件会在${home}目录下,也就是$home/.erlang.cookie。
如果我们使用rpm等安装包方式进行安装的,那么这个文件会在/var/lib/rabbitmq目录下。

这里将 node1 的该文件复制到 node2、node3,注意这个文件的权限是 400。

4. 使用 -detached 参数运行各节点

rabbitmqctl stop
rabbitmq-server -detached

由于guest这个用户,只能在本地访问,所以我们要新增一个用户并赋予权限:

添加用户并设置密码:

rabbitmqctl add_user admin QQzjUUw*

添加权限:

rabbitmqctl set_permissions -p "/" admin ".*" ".*" ".*"

修改用户角色

rabbitmqctl set_user_tags admin administrator

然后就可以远程访问了,然后可直接配置用户权限等信息。

到此,就可以通过http://ip:15672 使用admin QQzjUUw* 进行登陆了

到这里的话,每个节点是作为单独的一台RabbitMQ存在的,也可以正常提供服务了。

5、组成集群

将 node2、node3与 node1 组成集群:

node2# rabbitmqctl stop_app

node2# rabbitmqctl join_cluster rabbit@node1

node2# rabbitmqctl start_app

此时 node2 与 node3 也会自动建立连接;如果要使用内存节点,则可以使用

node2 # rabbitmqctl join_cluster --ram rabbit@node1

加入集群。

集群配置好后,可以在 RabbitMQ 任意节点上执行 rabbitmqctl cluster_status 来查看是否集群配置成功。

6. 设置镜像队列策略

在任意一个节点上执行:

rabbitmqctl set_policy -p /core ha-all "^" '{"ha-mode":"all"}'

/core vhost名称, "^"匹配所有的队列, ha-all 策略名称为ha-all, '{"ha-mode":"all"}' 策略模式为 all 即复制到所有节点,包含新增节点。

最后设置完毕后Queues栏下应该是这样的

queues

列表内没policy这一项的同学可以点右边的+号添加。

将所有队列设置为镜像队列,即队列会被复制到各个节点,各个节点状态保持一直。

完成这 6 个步骤后,RabbitMQ 高可用集群就已经搭建好了,最后一个步骤就是搭建均衡器。

7. 安装并配置 HAProxy

在10.2.2.155上安装HAProxy,然后修改 /etc/haproxy/haproxy.cfg:

global 
    
    log         127.0.0.1 local2

    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon

    stats socket /var/lib/haproxy/stats

defaults 
       log        global 
       mode       tcp 
       option     tcplog 
       option     dontlognull 
       retries    3 
       option redispatch 
       maxconn 2000 
       contimeout      5s 
       clitimeout      120s 
       srvtimeout      120s 

listen rabbitmq_cluster 10.2.2.155:5670
       mode      tcp 
       balance roundrobin 
       server rabbit1  10.2.2.155:5672 check inter 5000 rise 2 fall 2 
       server rabbit2  10.2.2.156:5672 check inter 5000 rise 2 fall 2 

listen private_monitoring :8100 
       mode    http 
       option  httplog 
       stats   enable 
       stats   uri  /rabbitmqstats
       stats   refresh 5s

重启HAProxy

service haproxy restart

登录浏览器输入地址http://10.2.2.155:8100/rabbitmqstats查看HAProxy的状态

常见错误:

一、

使用 sudo rabbitmq-server -detached命令启动rabbitmq时,出现以下提示
Warning: PID file not written; -detached was passed.
ERROR: node with name "rabbit" already running
但是,通过命令sudo rabbitmqctl status又提示rabbitmq没有启动
解决:
ps aux | grep erl
kill -9 该进程

二、
rabbitmqctl stop_app 仅关闭应用,不关闭节点
rabbitmqctl start_app 开启应用
rabbitmq--server -detached 启动节点和应用
rabbitmqctl 关闭节点和应用

常用命令

Rabbitmq服务器的主要通过rabbitmqctl和rabbimq-plugins两个工具来管理,以下是一些常用功能。

1). 服务器启动与关闭

  启动: rabbitmq-server –detached
  关闭:rabbitmqctl stop
  若单机有多个实例,则在rabbitmqctlh后加–n 指定名称

2). 插件管理

  开启某个插件:rabbitmq-pluginsenable xxx
  关闭某个插件:rabbitmq-pluginsdisablexxx
  注意:重启服务器后生效。

3).virtual_host管理

  新建virtual_host: rabbitmqctladd_vhost  xxx
  撤销virtual_host:rabbitmqctl  delete_vhost xxx

4). 用户管理

  新建用户:rabbitmqctl add_user xxxpwd
  删除用户:   rabbitmqctl delete_user xxx
  改密码: rabbimqctlchange_password {username} {newpassword}
  设置用户角色:rabbitmqctlset_user_tags {username} {tag ...}
          Tag可以为 administrator,monitoring, management

5). 权限管理

  权限设置:set_permissions [-pvhostpath] {user} {conf} {write} {read}
           Vhostpath
           Vhost路径
           user
  用户名
          Conf
  一个正则表达式match哪些配置资源能够被该用户访问。
          Write
  一个正则表达式match哪些配置资源能够被该用户读。
           Read
  一个正则表达式match哪些配置资源能够被该用户访问。

6). 获取服务器状态信息

  服务器状态:rabbitmqctl status

7).获取集群状态信息

rabbitmqctl cluster_status

你可能感兴趣的:(RabbitMQ集群HA搭建)