RabbitMQ集群搭建

说明

• RabbitMQ集群搭建比较简单，都是通过命令设置即可，无需配置文件。
• 在配置中，有个别步骤存在先后顺序，所以需要注意。后面会详细说明。

准备

• 系统Centos 7
• Rabbit版本：3.10.0
• Erlang版本：23.3.4.11
• 3台虚拟机，IP地址分别为：192.168.250.101、192.168.250.102 和 192.168.250.103
• 3台虚拟机上已正常安装RabbitMQ
• 安装rabbitmq看：centos7下安装rabbitmq

避坑点（写前面）

• 在设置加入的node节点时，此节点必须要开放4369 和 25672端口（为了方便，建议给每台机器都开这2个端口）
  • Centos7使用firewall-cmd命令来开放端口。
  • 比如：rabbitmqctl join_cluster rabbit@rabbit-101，将当前rabbitmq添加到rabbit-101节点集群上，此时就必须要给rabbit-101开放4369和25672端口。
• 每台机器上，都需要设置其他node节点和本机器node节点的 host主机名称。否则rabbitmq无法与其他node节点通信。
• 每台机器上的rabbitmq，在修改玩host主机名称后，注意要重启网卡，让host主机名生效：service network restart
• 在host主机名称修改完成后，需要先重启动一次rabbitmq，主要目的是在 /var/lib/rabbitmq/mnesia/ 目录下生成已当前host主机名称为名的rabbitmq服务 和 /var/lib/rabbitmq/.erlang.cookie文件。
• 每个rabbitmq需要使用同一个.erlang.cookie文件（可以使用远程scp命令，将一个node节点上/var/lib/rabbitmq/.erlang.cookie文件同步到其他机器上）

开始

添加host主机名

• 在每天机器上添加 host主机名称（rabbitmq的node节点名，就是host主机名，所以每个node节点，都需要添加，否则会出现当前node节点，无法与另一个节点同步）

[root@rabbit-101 ~]# vim /etc/hosts

// 我的配置是如下，根据自行的机器ip地址，自行取名即可 
192.168.250.101 rabbit-101
192.168.250.102 rabbit-102
192.168.250.103 rabbit-103

• 注意：每台机器都要配置。且都要配置其他node节点的host名称
• 重启网卡，让host生效：service network restart
• 3台机器，相互ping 一下hostname，确保互通

[root@rabbit-102 rabbitmq]# ping rabbit-101
[root@rabbit-102 rabbitmq]# ping rabbit-102
[root@rabbit-102 rabbitmq]# ping rabbit-103

先重启一次rabbitmq

• 使用：rabbitmq-server start & 命令启动一下
• 再使用：rabbitmqctl stop 命令停止。
• 在停止时，会有提示当前rabbit的名称是什么，如果是配置的指定host主机名，则表示配置正确。

// 比如：我在192.168.250.103机器下，重启rabbitmq后，会有如下提示
[root@rabbit-103 ~]# rabbitmqctl stop

// 这里能够看到，node名称为 rabbit@rabbit-103
Stopping and halting node rabbit@rabbit-103 ...

Gracefully halting Erlang VM
[root@rabbit-103 mnesia]# 

// 停止后，我们到 /var/lib/rabbitmq/mnesia/目录下看看是否生成对应的rabbit@rabbit-103类的文件和目录
[root@rabbit-103 mnesia]# ll
总用量 8
drwxr-xr-x. 5 rabbitmq rabbitmq 4096 5月  23 16:40 rabbit@rabbit-103
-rw-r--r--. 1 rabbitmq rabbitmq  194 5月  23 15:48 rabbit@rabbit-103-feature_flags
drwxr-xr-x. 2 rabbitmq rabbitmq    6 5月  23 15:48 rabbit@rabbit-103-plugins-expand
[root@rabbit-103 mnesia]#  

同步.erlang.cookie文件

• 选择一台主机，将 /var/lib/rabbitmq/.erlang.cookie文件同步到另外2台机器上。（这里使用scp命令，来的方便）
• scp命令使用方法
• 从192.168.250.101中将/var/lib/rabbitmq/.erlang.cookie同步到 192.168.250.102 和 192.168.250.103 机器上。

// 使用scp命令，[email protected]，root是用户名，表示远程ssh登录的用户。
[root@rabbit-101 rabbitmq]# scp /var/lib/rabbitmq/.erlang.cookie [email protected]:/var/lib/rabbitmq/
[root@rabbit-101 rabbitmq]# scp /var/lib/rabbitmq/.erlang.cookie [email protected]:/var/lib/rabbitmq/

开放端口

• Centos7中使用firewall-cmd命令开放端口
• Centos7 防火墙（firewalld）相关

[root@rabbit-101 rabbitmq]# firewall-cmd --zone=public --add-port=4369/tcp --permanent
success
[root@rabbit-101 rabbitmq]# firewall-cmd --zone=public --add-port=25672/tcp --permanent
success
[root@rabbit-101 rabbitmq]# firewall-cmd --reload  // 重启防火墙
success
[root@rabbit-101 rabbitmq]# 

开始配置

• 先启动rabbitmq：rabbitmq-server start &
• 停止应用程序（rabbitmq在启动时，会启动Erlang节点 和 rabbitmq应用程序2个进程）：rabbitmqctl stop_app
• 将rabbitmq加入集群：rabbitmqctl join_cluster rabbit@rabbit-101
• 启动应用程序：rabbitmqctl start_app

查看集群信息

• 查看集群信息：rabbitmqctl cluster_status
  
  集群信息

常见问题

• 在rabbitmqctl join_cluster 命令时的问题：

  • 如果 /etc/hosts 文件中没有设置其他node节点ip时，那么指定node节点会出现下图问题（on node xxx nodedown）：
    

    image.png

  • 如果是master没有开启指定端口，那么就会出现下图中，未连接的错误提示。

  • 如果当前rabbitmq没有使用同一个erlang.cookie时，就会出现如下提示：

    
    
    image.png

节点操作

• 节点删除。比如：将rabbit-103节点，从集群中删除（在需要删除节点上操作）

  • rabbitmqctl stop_app（停止app）
  • rabbitmqctl reset （重置）
  • rabbitmqctl start_app（启动app）

• 硬删除，直接删掉集群中的某个节点（在master机器上操作）

  • rabbitmqctl forget_cluster_node rabbit@rabbit-103
  • 硬删除后，会导致rabbit-103无法启动，只需要将 /var/lib/rabbitmq/ 目录下所有文件删除（包括：.erlang.cookie文件）

RabbitMQ集群恢复与故障转移的5种解决方案