RabbitMQ精讲8:集群架构模式-主备模式、远程模式、多活模式、镜像模式

目录

RabbitMQ集群架构模式-主备模式(Warren)--并发和数据量不高

RabbitMQ集群架构模式-远程模式(Shovel)--很少使用

RabbitMQ集群架构模式-多活模式(Federation)--异地数据复制的主流模式

RabbitMQ集群架构模式-镜像模式(Mirror)--常用


RabbitMQ集群架构模式-主备模式(Warren)--并发和数据量不高

RabbitMQ精讲8:集群架构模式-主备模式、远程模式、多活模式、镜像模式_第1张图片 RabbitMQ集群架构模式-主备模式(Warren)
  • 实现RabbitMQ的高可用集群,一般在并发和数据量不高的情况下,这种模式非常的好且简单。主备模式也称为Warren模式
  • 主备模式:主节点提供读写,从节点不提供读写服务,只是负责提供备份服务,备份节点的主要功能是在主节点宕机时,完成自动切换 从-->主
  • 主从模式:主节点提供读写,从节点只读
RabbitMQ精讲8:集群架构模式-主备模式、远程模式、多活模式、镜像模式_第2张图片 RabbitMQ集群架构模式-主备模式(Warren)
  • 主备模式:所谓rabbitmq另外一种模式就是warren(兔子窝),就是一个主/备方案(主节点如果挂了,从节点提供服务而已,和activemq利用zookeeper做主/备一样)
RabbitMQ精讲8:集群架构模式-主备模式、远程模式、多活模式、镜像模式_第3张图片 RabbitMQ集群架构模式-主备模式(Warren)

备注:rabbitmq集群节点配置 

#inter 每隔5秒对mq集群做健康检查,2次正确证明服务器可用,3次失败证明服务器不可用,并且配置主备机制

RabbitMQ集群架构模式-远程模式(Shovel)--很少使用

RabbitMQ精讲8:集群架构模式-主备模式、远程模式、多活模式、镜像模式_第4张图片 RabbitMQ集群架构模式-远程模式(Shovel)
  • 远程模式可以实现双活的一种模式,简称 shovel [ˈʃʌvəl] 模式,所谓的 shovel 就是把消息进行不同数据中心的复制工作,可以跨地域的让两个 MQ 集群互联,远距离通信和复制。
RabbitMQ精讲8:集群架构模式-主备模式、远程模式、多活模式、镜像模式_第5张图片 RabbitMQ集群架构模式-远程模式(Shovel)
  •  如图所示,有两个异地的 MQ 集群(可以是更多的集群),当用户在地区 1 这里下单了,系统发消息到 1 区的 MQ 服务器,发现 MQ 服务已超过设定的阈值,负载过高,这条消息就会被转到 地区 2 的 MQ 服务器上,由 2 区的去执行后面的业务逻辑,相当于分摊我们的服务压力。
  •  在使用了 shovel 插件后,模型变成了近端同步确认,远端异步确认的方式,大大提高了订单确认速度,并且还能保证可靠性。
RabbitMQ精讲8:集群架构模式-主备模式、远程模式、多活模式、镜像模式_第6张图片 shovel 模式拓扑图

 

如上图所示,当我们的消息到达 exchange,它会判断当前的负载情况以及设定的阈值,如果负载不高就把消息放到我们正常的 warehouse_goleta 队列中,如果负载过高了,就会放到 backup_orders 队列中。backup_orders 队列通过 shovel 插件与另外的 MQ 集群进行同步数据,把消息发到第二个 MQ 集群上。

这是 rabbitMQ 比较早期的架构模型了,现在很少使用了。

RabbitMQ精讲8:集群架构模式-主备模式、远程模式、多活模式、镜像模式_第7张图片 shovel 集群的配置

shovel 集群的配置,首先启动 rabbitmq 插件,命令如下:

    rabbitmq-plugins enable amqp_client

    rabbitmq-plugins enable  rabbitmq_shovel

RabbitMQ精讲8:集群架构模式-主备模式、远程模式、多活模式、镜像模式_第8张图片 shovel 集群的配置

在 /etc/rabbitmq/ 目录下创建 rabbitmq.config 文件。

注意,我们源服务器和目的地服务器都使用这个相同的配置文件。

具体配置如下

 

RabbitMQ精讲8:集群架构模式-主备模式、远程模式、多活模式、镜像模式_第9张图片 shovel 集群的配置

RabbitMQ集群架构模式-多活模式(Federation)--异地数据复制的主流模式

RabbitMQ精讲8:集群架构模式-主备模式、远程模式、多活模式、镜像模式_第10张图片 RabbitMQ集群架构模式-多活模式(Federation)

也是实现异地数据复制的主流模式,因为 shovel 模式配置比较复杂,所以一般来说,实现异地集群的都是采用这种双活 或者 多活模型来实现的。这种模式需要依赖 rabbitMQ 的 federation 插件,可以实现持续的,可靠的 AMQP 数据通信,多活模式在实际配置与应用非常的简单。

RabbitMQ精讲8:集群架构模式-主备模式、远程模式、多活模式、镜像模式_第11张图片 RabbitMQ集群架构模式-多活模式(Federation)

rabbitMQ 部署架构采用双中心模式(多中心),那么在两套(或多套)数据中心各部署一套 rabbitMQ 集群,各中心的rabbitMQ 服务除了需要为业务提供正常的消息服务外,中心之间还需要实现部分队列消息共享。

RabbitMQ精讲8:集群架构模式-主备模式、远程模式、多活模式、镜像模式_第12张图片 RabbitMQ集群架构模式-多活模式(Federation)

 

RabbitMQ精讲8:集群架构模式-主备模式、远程模式、多活模式、镜像模式_第13张图片 RabbitMQ集群架构模式-多活模式(Federation)

 

federation 插件是一个不需要构建 cluster ,而在 brokers 之间传输消息的高性能插件,federation 插件可以在 brokers 或者 cluster 之间传输消息,连接的双方可以使用不同的 users 和 virtual hosts,双方也可以使用不同版本的 rabbitMQ 和 erlang。

federation 插件使用 AMQP 协议通信,可以接受不连续的传输。federation 不是建立在集群上的,而是建立在单个节点上的,如图上黄色的 rabbit node 3 可以与绿色的 node1、node2、node3 中的任意一个利用 federation 插件进行数据同步。

RabbitMQ精讲8:集群架构模式-主备模式、远程模式、多活模式、镜像模式_第14张图片 标题

 

如上图所示,federation exchanges 可以看成 downstream 从 upstream 主动拉取消息,但是并不是拉取所有消息,必须是在 downstream 上已经明确定义 Bingdings 关系的 exchange,也就是有实际的物理 queue 来接收消息,才会从 upstream 拉取消息到 downstream 。

它使用 AMQP 协议实现代理间通信,downstream 会将绑定关系组合在一起,绑定/解绑命令将发送到 upstream 交换机。因此,federation exchange 只接收具有订阅的消息。

RabbitMQ集群架构模式-镜像模式(Mirror)--常用

RabbitMQ精讲8:集群架构模式-主备模式、远程模式、多活模式、镜像模式_第15张图片 RabbitMQ集群架构模式-镜像模式(Mirror)
  • 非常经典的 mirror 镜像模式,保证 100% 数据不丢失。在实际工作中也是用得最多的,并且实现非常的简单,一般互联网大厂都会构建这种镜像集群模式。
  • mirror 镜像队列,目的是为了保证 rabbitMQ 数据的高可靠性解决方案,主要就是实现数据的同步,一般来讲是 2 - 3 个节点实现数据同步。对于 100% 数据可靠性解决方案,一般是采用 3 个节点。
RabbitMQ精讲8:集群架构模式-主备模式、远程模式、多活模式、镜像模式_第16张图片 RabbitMQ集群架构模式-镜像模式(Mirror)

 

  • 如上图所示,用 KeepAlived 做了 HA-Proxy 的高可用,然后有 3 个节点的 MQ 服务,消息发送到主节点上,主节点通过 mirror [ˈmɪrə(r)] 队列把数据同步到其他的 MQ 节点,这样来实现其高可靠。

 

你可能感兴趣的:(RabbitMQ:可靠,安全,性能高)