RabbitMQ镜像集群+均衡负载

一、概述

为什么会产生消息队列?有几个原因:
不同进程(process)之间传递消息时,两个进程之间耦合程度过高,改动一个进程,引发必须修改另一个进程,为了隔离这两个进程,在两进程间抽离出一层(一个模块),所有两进程之间传递的消息,都必须通过消息队列来传递,单独修改某一个进程,不会影响另一个;

不同进程(process)之间传递消息时,为了实现标准化,将消息的格式规范化了,并且,某一个进程接受的消息太多,一下子无法处理完,并且也有先后顺序,必须对收到的消息进行排队,因此诞生了事实上的消息队列;

RabbitMQ 是比较有代表性的消息队列,因为是基于主从(非分布式)做高可用性的。

RabbitMQ 有三种模式:单机模式、普通集群模式、镜像集群模式。

单机模式: Demo 级别的,一般就是你本地启动了玩玩儿的,没人生产用单机模式。

普通集群模式(无高可用性,主要是提高吞吐量):在多台机器上启动多个 RabbitMQ 实例,每个机器启动一个。你创建的 queue,只会放在一个 RabbitMQ 实例上,但是每个实例都同步 queue 的元数据。你消费的时候,实际上如果连接到了另外一个实例,那么那个实例会从 queue 所在实例上拉取数据过来。缺点就是如果放 queue 的实例宕机了,会导致接下来其他实例就无法从该实例拉取,如果你开启了消息持久化,消息不会丢,但是要等这个实例恢复了,然后才可以继续从这个 queue 拉取数据。

镜像集群模式(高可用性):跟普通集群模式不一样的是,在镜像集群模式下,你创建的 queue,无论元数据还是 queue 里的消息都会存在于多个实例上,就是说,每个 RabbitMQ 节点都有这个 queue 的一个完整镜像,包含 queue 的全部数据的意思。然后每次你写消息到 queue 的时候,都会自动把消息同步到多个实例的 queue 上。

RabbitMQ的5种队列模式


image.png

二、部署安装

1、安装

先行启动三台RQ容器,直接上配置文件

rancher-compose.yml

version: '2'
services:
  rabbitmq3:
    scale: 1
    start_on_create: true
  rabbitmq2:
    scale: 1
    start_on_create: true
  rabbitmq1:
    scale: 1
    start_on_create: true
  lb-rabbitmq-server:
    scale: 1
    start_on_create: true
    lb_config:
      certs: []
      port_rules:
      - priority: 1
        protocol: http
        service: rabbitmq1
        source_port: 15761
        target_port: 15672
      - priority: 2
        protocol: http
        service: rabbitmq2
        source_port: 15761
        target_port: 15672
      - priority: 3
        protocol: http
        service: rabbitmq3
        source_port: 15761
        target_port: 15672
      - priority: 4
        protocol: tcp
        service: rabbitmq1
        source_port: 5761
        target_port: 5672
      - priority: 5
        protocol: tcp
        service: rabbitmq1
        source_port: 5761
        target_port: 5672
      - priority: 6
        protocol: tcp
        service: rabbitmq3
        source_port: 5761
        target_port: 5672
    health_check:
      healthy_threshold: 2
      response_timeout: 2000
      port: 42
      unhealthy_threshold: 3
      initializing_timeout: 60000
      interval: 2000
      reinitializing_timeout: 60000

docker-compose.yml

version: '2'
services:
  rabbitmq3:
    privileged: true
    image: rabbitmq:3.7.17-management
    hostname: rabbit3
    environment:
      RABBITMQ_DEFAULT_USER: jfwang
      RABBITMQ_DEFAULT_PASS: 123456
      RABBITMQ_ERLANG_COOKIE: rabbitcookie
    stdin_open: true
    volumes:
    - /etc/localtime:/etc/localtime
    - /rabbitmq/bgn/rabbit3:/var/lib/rabbitmq/mnesia/rabbit
    tty: true
    links:
    - rabbitmq1:rabbit1
    - rabbitmq2:rabbit2
    labels:
      io.rancher.container.pull_image: always
  rabbitmq2:
    privileged: true
    image: rabbitmq:3.7.17-management
    hostname: rabbit2
    environment:
      RABBITMQ_DEFAULT_USER: jfwang
      RABBITMQ_DEFAULT_PASS: 123456
      RABBITMQ_ERLANG_COOKIE: rabbitcookie
    stdin_open: true
    volumes:
    - /etc/localtime:/etc/localtime
    - /rabbitmq/bgn/rabbit2:/var/lib/rabbitmq/mnesia/rabbit
    tty: true
    links:
    - rabbitmq1:rabbit1
    - rabbitmq3:rabbit3
    labels:
      io.rancher.container.pull_image: always
  rabbitmq1:
    privileged: true
    image: rabbitmq:3.7.17-management
    hostname: rabbit1
    environment:
      RABBITMQ_DEFAULT_USER: jfwang
      RABBITMQ_DEFAULT_PASS: 123456
      RABBITMQ_ERLANG_COOKIE: rabbitcookie
    stdin_open: true
    volumes:
    - /etc/localtime:/etc/localtime
    - /rabbitmq/bgn/rabbit1:/var/lib/rabbitmq/mnesia/rabbit
    tty: true
    links:
    - rabbitmq3:rabbit3
    - rabbitmq2:rabbit2
    labels:
      io.rancher.container.pull_image: always
  lb-rabbitmq-server:
    image: rancher/lb-service-haproxy:v0.9.11
    ports:
    - 15761:15761/tcp
    - 5761:5761/tcp
    labels:
      io.rancher.container.agent.role: environmentAdmin,agent
      io.rancher.container.agent_service.drain_provider: 'true'
      io.rancher.container.create_agent: 'true'

2、加入集群

内存节点和磁盘节点的选择:
每个RabbitMQ节点可配置为内存节点或者磁盘节点(默认)。如果采用集群的方式,可以选择至少配置一个节点为磁盘节点,其余部分配置为内存节点,,这样可以获得更快的响应。所以本集群中配置节点1位磁盘节点,节点2和节点3位内存节点。
在rabbit1中执行以下命令

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app

在rabbit2和rabbit3中执行以下命令加入集群

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster --ram rabbit@rabbit1
rabbitmqctl start_app

节点设置完成之后,在浏览器访问127.0.0.1:15671,都会看到RabbitMQ集群已经创建成功。


image.png

3、配置镜像队列

镜像队列工作原理:在非镜像队列的集群中,消息会路由到指定的队列。当配置为镜像队列之后,消息除了按照路由规则投递到相应的队列外,还会投递到镜像队列的拷贝。也可以想象在镜像队列中隐藏着一个fanout交换器,将消息发送到镜像的队列的拷贝。

进入任意一个RabbitMQ节点,执行如下命令:

rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'

可以设置镜像队列,"^"表示匹配所有队列,即所有队列在各个节点上都会有备份。在集群中,只需要在一个节点上设置镜像队列,设置操作会同步到其他节点。

查看集群的状态:

rabbitmqctl cluster_status

4、均衡负载

均衡负载使用Rancher的,配置信息直接包含在rancher-compose.yml中

你可能感兴趣的:(RabbitMQ镜像集群+均衡负载)