集群概述
通过 Erlang 的分布式特性(通过 magic cookie 认证节点)进行 RabbitMQ 集群,各 RabbitMQ 服务为对等节点,即每个节点都提供服务给客户端连接,进行消息发送与接收。
这些节点通过 RabbitMQ HA 队列(镜像队列)进行消息队列结构复制。本方案中搭建 2 个节点,并且都是磁盘节点(所有节点状态保持一致,节点完全对等),只要有任何一个节点能够工作,RabbitMQ 集群对外就能提供服务。
环境
CentOS7.2
RabbitMQ 3.6.5
HAproxy
RabbitMQ集群安装在2个节点上:10.2.2.155、10.2.2.156、10.2.2.157
HAproxy安装在10.2.2.155上,用于对外提供RabbitMQ负载均衡。
软件包下载地址
http://pan.baidu.com/s/1c24CMAG
配置步骤
1、安装erlang、RabbitMQ
在10.2.2.155、10.2.2.156、10.2.2.157上安装
erlang安装
安装依赖包
yum install -y *epel* gcc-c++ unixODBC unixODBC-devel openssl-devel ncurses-devel
编译安装
tar -zxvf otp_src_19.0.tar.gz
cd otp_src_19.0
./configure --prefix=/usr/local/bin/erlang --without-javac
make && make install
echo "export PATH=$PATH:/usr/local/bin/erlang/bin:/usr/local/bin/rabbitmq_server-3.6.5/sbin" >> /etc/profile
source /etc/profile
输入erl出现命令行证明安装成功。
RabbitMQ安装
编译安装
wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.5/rabbitmq-server-generic-unix-3.6.5.tar.xz
yum install -y xz
xz -d rabbitmq-server-3.6.3.tar.xz
tar -xvf rabbitmq-server-generic-unix-3.6.5.tar -C /usr/local/bin/
vim /etc/profile
export PATH=$PATH:/usr/local/bin/erlang/bin:/usr/local/bin/rabbitmq_server-3.6.5/sbin
导入RabbitMQ地管理界面
rabbitmq-plugins enable rabbitmq_management
2、修改/etc/hosts
写下
10.2.2.155 node1
10.2.2.156 node2
10.2.2.157 node3
3、设置Erlang Cookie
找到Erlang Cookie 文件.erlang.cookie的位置
官方在介绍集群的文档中提到过.erlang.cookie一般会存在这两个地址:第一个是$home/.erlang.cookie;第二个地方就是/var/lib/rabbitmq/.erlang.cookie。
如果我们使用解压缩方式安装部署的rabbitmq,那么这个文件会在${home}目录下,也就是$home/.erlang.cookie。
如果我们使用rpm等安装包方式进行安装的,那么这个文件会在/var/lib/rabbitmq目录下。
这里将 node1 的该文件复制到 node2、node3,注意这个文件的权限是 400。
4. 使用 -detached 参数运行各节点
rabbitmqctl stop
rabbitmq-server -detached
由于guest这个用户,只能在本地访问,所以我们要新增一个用户并赋予权限:
添加用户并设置密码:
rabbitmqctl add_user admin QQzjUUw*
添加权限:
rabbitmqctl set_permissions -p "/" admin ".*" ".*" ".*"
修改用户角色
rabbitmqctl set_user_tags admin administrator
然后就可以远程访问了,然后可直接配置用户权限等信息。
到此,就可以通过http://ip:15672 使用admin QQzjUUw* 进行登陆了
到这里的话,每个节点是作为单独的一台RabbitMQ存在的,也可以正常提供服务了。
5、组成集群
将 node2、node3与 node1 组成集群:
node2# rabbitmqctl stop_app
node2# rabbitmqctl join_cluster rabbit@node1
node2# rabbitmqctl start_app
此时 node2 与 node3 也会自动建立连接;如果要使用内存节点,则可以使用
node2 # rabbitmqctl join_cluster --ram rabbit@node1
加入集群。
集群配置好后,可以在 RabbitMQ 任意节点上执行 rabbitmqctl cluster_status 来查看是否集群配置成功。
6. 设置镜像队列策略
在任意一个节点上执行:
rabbitmqctl set_policy -p /core ha-all "^" '{"ha-mode":"all"}'
/core vhost名称, "^"匹配所有的队列, ha-all 策略名称为ha-all, '{"ha-mode":"all"}' 策略模式为 all 即复制到所有节点,包含新增节点。
最后设置完毕后Queues栏下应该是这样的
列表内没policy这一项的同学可以点右边的+号添加。
将所有队列设置为镜像队列,即队列会被复制到各个节点,各个节点状态保持一直。
完成这 6 个步骤后,RabbitMQ 高可用集群就已经搭建好了,最后一个步骤就是搭建均衡器。
7. 安装并配置 HAProxy
在10.2.2.155上安装HAProxy,然后修改 /etc/haproxy/haproxy.cfg:
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
stats socket /var/lib/haproxy/stats
defaults
log global
mode tcp
option tcplog
option dontlognull
retries 3
option redispatch
maxconn 2000
contimeout 5s
clitimeout 120s
srvtimeout 120s
listen rabbitmq_cluster 10.2.2.155:5670
mode tcp
balance roundrobin
server rabbit1 10.2.2.155:5672 check inter 5000 rise 2 fall 2
server rabbit2 10.2.2.156:5672 check inter 5000 rise 2 fall 2
listen private_monitoring :8100
mode http
option httplog
stats enable
stats uri /rabbitmqstats
stats refresh 5s
重启HAProxy
service haproxy restart
登录浏览器输入地址http://10.2.2.155:8100/rabbitmqstats查看HAProxy的状态
常见错误:
一、
使用 sudo rabbitmq-server -detached命令启动rabbitmq时,出现以下提示
Warning: PID file not written; -detached was passed.
ERROR: node with name "rabbit" already running
但是,通过命令sudo rabbitmqctl status又提示rabbitmq没有启动
解决:
ps aux | grep erl
kill -9 该进程
二、
rabbitmqctl stop_app 仅关闭应用,不关闭节点
rabbitmqctl start_app 开启应用
rabbitmq--server -detached 启动节点和应用
rabbitmqctl 关闭节点和应用
常用命令
Rabbitmq服务器的主要通过rabbitmqctl和rabbimq-plugins两个工具来管理,以下是一些常用功能。
1). 服务器启动与关闭
启动: rabbitmq-server –detached
关闭:rabbitmqctl stop
若单机有多个实例,则在rabbitmqctlh后加–n 指定名称
2). 插件管理
开启某个插件:rabbitmq-pluginsenable xxx
关闭某个插件:rabbitmq-pluginsdisablexxx
注意:重启服务器后生效。
3).virtual_host管理
新建virtual_host: rabbitmqctladd_vhost xxx
撤销virtual_host:rabbitmqctl delete_vhost xxx
4). 用户管理
新建用户:rabbitmqctl add_user xxxpwd
删除用户: rabbitmqctl delete_user xxx
改密码: rabbimqctlchange_password {username} {newpassword}
设置用户角色:rabbitmqctlset_user_tags {username} {tag ...}
Tag可以为 administrator,monitoring, management
5). 权限管理
权限设置:set_permissions [-pvhostpath] {user} {conf} {write} {read}
Vhostpath
Vhost路径
user
用户名
Conf
一个正则表达式match哪些配置资源能够被该用户访问。
Write
一个正则表达式match哪些配置资源能够被该用户读。
Read
一个正则表达式match哪些配置资源能够被该用户访问。
6). 获取服务器状态信息
服务器状态:rabbitmqctl status
7).获取集群状态信息
rabbitmqctl cluster_status