第七章----RabbitMQ集群和镜像队列

1. 集群简介

  1. RabbitMQ 集群中的所有节点都会备份所有的元数据信息:

    • 队列元数据: 队列的名称及属性
    • 交换器: 交换器的名称及属性
    • 绑定关系元数据: 交换器与队列或者交换器与交换器之间的绑定关系
    • vhost元数据: 为vhost 内的队列、交换器和绑定提供命名空间及安全属性
集群存储关系

2. RabbitMQ 节点类型:磁盘节点(disc)(默认)、内存节点(ram)

内存节点将所有的队列、交换器、绑定关系、用户、权限和vhost的元数据定义都存储在内存中,而磁盘节点则将这些信息存储到磁盘中。

如果集群中唯一的磁盘节点宕机,集群虽然可以保持收发消息但不能进行执行创建队列、交换器、绑定关系、用户,以及更改权限、添加或删除集群节点的操作。

在内存节点重启后,它们会连接到预先配置的磁盘节点,下载当前集群元数据的副本。

2. 单机多节点

在一台机器上部署多个RabbitMQ 服务节点,需要确保每个节点都有独立的名称、数据存储位置、端口号(包括插件的端口号)等。

以一台机器运行3个rabbit节点为例,确保这台机器已经正常运行rabbit,首先停掉rabbit服务,关闭可视化页面插件,然后开始启动多节点搭建集群。

  • 设置名称、端口 启动rabbit三个节点
RABBITMQ_NODENAME=rabbit1 RABBITMQ_NODE_PORT=5672 rabbitmq-server -detached
RABBITMQ_NODENAME=rabbit2 RABBITMQ_NODE_PORT=5673 rabbitmq-server -detached
RABBITMQ_NODENAME=rabbit3 RABBITMQ_NODE_PORT=5674 rabbitmq-server -detached

# 如果需要开启可视化页面插件 上面执行语句需加上这句话配置不同端口号
RABBITMQ_SERVER_START_ARGS="-rabbitmq_management listener [{port , 15672}] "
  • 把rabbit2以内存节点身份加入到集群中
rabbitmqctl -n rabbit2@iZm5e5v1gnvihwh0k62o37Z stop_app
rabbitmqctl -n rabbit2@iZm5e5v1gnvihwh0k62o37Z reset
rabbitmqctl -n rabbit2@iZm5e5v1gnvihwh0k62o37Z join_cluster rabbit1@iZm5e5v1gnvihwh0k62o37Z --ram
rabbitmqctl -n rabbit2@iZm5e5v1gnvihwh0k62o37Z start_app
  • 把rabbit3以内存节点身份加入到集群中
rabbitmqctl -n rabbit3@iZm5e5v1gnvihwh0k62o37Z stop_app
rabbitmqctl -n rabbit3@iZm5e5v1gnvihwh0k62o37Z reset
rabbitmqctl -n rabbit3@iZm5e5v1gnvihwh0k62o37Z join_cluster rabbit1@iZm5e5v1gnvihwh0k62o37Z --ram
rabbitmqctl -n rabbit3@iZm5e5v1gnvihwh0k62o37Z start_app
  • 开启rabbit1的可视化页面插件
rabbitmq-plugins -n rabbit1 enable rabbitmq_management
  • 查看集群
rabbitmqctl -n rabbit1 cluster_status

至此RabbitMQ单机多节点集群搭建完毕!

3. 多机多节点集群

准备3台物理机,分别安装好rabbit,主机名为:rabbit1、rabbit2、rabbit3。RabbitMQ集群对延迟非常敏感,应当只在本地局域网内使用。

  • 配置各个节点的hosts 文件
vim /etc/hosts

192.168.89.101 rabbit1
192.168.89.102 rabbit2
192.168.89.103 rabbit3
  • 复制RabbitMQ 的cookie 文件到各个节点,cookie 相当于密钥令牌,集群中的RabbitMQ 节点需要通过交换密钥令牌以获得相互认证。
# 位置
/var/lib/rabbitmq/.erlang.cookie
  • 启动各个节点
systemctl  start rabbitmq-server.service 
  • 配置rabbit2加入rabbit1集群
# 停止节点中的 RabbitMQ 应用程序
rabbitmqctl stop_app

# 清空节点状态
rabbitmqctl reset

# 将 rabbit2加入rabbit1集群
rabbitmqctl join_cluster rabbit@rabbit1

# 启动节点中的 RabbitMQ 应用程序
rabbitmqctl start_app
  • 配置rabbit3加入rabbit1集群
# 停止节点中的 RabbitMQ 应用程序
rabbitmqctl stop_app

# 清空节点状态
rabbitmqctl reset

# 将 rabbit3加入rabbit1集群 --ram 以内存节点加入
rabbitmqctl join_cluster rabbit@rabbit1 --ram

# 启动节点中的 RabbitMQ 应用程序
rabbitmqctl start_app
  • 查看集群状态
rabbitmqctl cluster_status
  • 修改节点类型
# 停止节点中的 RabbitMQ 应用程序
rabbitmqctl stop_app

# 更改节点类型 disc ram
rabbitmqctl change_cluster_node_type disc

# 启动节点中的 RabbitMQ 应用程序
rabbitmqctl start_app
  • 删除集群节点
# 停止节点中的 RabbitMQ 应用程序
rabbitmqctl stop_app

# 清空节点状态
rabbitmqctl reset

# 启动节点中的 RabbitMQ 应用程序
rabbitmqctl start_app

4. 镜像队列

为了实现高可用,RabbitMQ提供了镜像队列机制,所谓镜像队列其实就是在另外一个RabbitMQ服务器Broker存放一个该队列的一个拷贝队列,实现队列内消息的冗余存储。该模式带来的副作用也很明显,随着镜像队列越来越多,会大大消耗掉系统性能。
镜像队列解决的是消息高可用问题,而不是基于负载均衡实现的高吞吐量问题。高吞吐量主要是通过RabbitMQ集群来实现的。

1. 在控制台配置镜像策略

配置镜像队列
  • Name: policy的名称
  • Pattern: queue的匹配模式(正则表达式)
  • Apply to:使用对象
  • Priority: 可选参数, policy的优先级
  • Definition: 镜像定义,包括三个部分 ha-mode,ha-params,ha-sync-mode
    1. ha-mode: 指明镜像队列的模式
      • all:表示在集群所有的节点上进行镜像
      • exactly:表示在指定个数的节点上进行镜像,节点的个数由ha-params指定
      • nodes:表示在指定的节点上进行镜像,节点名称通过ha-params指定
    2. ha-params: ha-mode模式需要用到的参数
    3. ha-sync-mode: 镜像队列中消息的同步方式,有效值为automatic,manually

2. 用命令配置镜像队列

rabbitmqctl  set_policy  fzb-ha  "^hello"  '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}'

3. 镜像队列机制

镜像队列机制是基于Master-Slave主从模式的,镜像队列所有操作都是只能在Master节点进行操作,产者发布消息到队列,分发消息给消费者,跟踪消费者的消费确认ACK,消费者不管连接的哪个节点最终都会转发到Master节点,然后将这些操作对应的消息由Master节点广播同步给其他节点。

在某种程度上你可以理解镜像队列拥有一个隐藏的fanout交换器,它指示着信道将消息分发到队列的从拷贝上。

传播行为

Master节点宕机时,会从所有slave节点中选择最早加入这个镜像队列集合的slave作为新的master。


不畏失败,不畏挑战

你可能感兴趣的:(第七章----RabbitMQ集群和镜像队列)