一、概述
为什么会产生消息队列?有几个原因:
不同进程(process)之间传递消息时,两个进程之间耦合程度过高,改动一个进程,引发必须修改另一个进程,为了隔离这两个进程,在两进程间抽离出一层(一个模块),所有两进程之间传递的消息,都必须通过消息队列来传递,单独修改某一个进程,不会影响另一个;
不同进程(process)之间传递消息时,为了实现标准化,将消息的格式规范化了,并且,某一个进程接受的消息太多,一下子无法处理完,并且也有先后顺序,必须对收到的消息进行排队,因此诞生了事实上的消息队列;
RabbitMQ 是比较有代表性的消息队列,因为是基于主从(非分布式)做高可用性的。
RabbitMQ 有三种模式:单机模式、普通集群模式、镜像集群模式。
单机模式: Demo 级别的,一般就是你本地启动了玩玩儿的,没人生产用单机模式。
普通集群模式(无高可用性,主要是提高吞吐量):在多台机器上启动多个 RabbitMQ 实例,每个机器启动一个。你创建的 queue,只会放在一个 RabbitMQ 实例上,但是每个实例都同步 queue 的元数据。你消费的时候,实际上如果连接到了另外一个实例,那么那个实例会从 queue 所在实例上拉取数据过来。缺点就是如果放 queue 的实例宕机了,会导致接下来其他实例就无法从该实例拉取,如果你开启了消息持久化,消息不会丢,但是要等这个实例恢复了,然后才可以继续从这个 queue 拉取数据。
镜像集群模式(高可用性):跟普通集群模式不一样的是,在镜像集群模式下,你创建的 queue,无论元数据还是 queue 里的消息都会存在于多个实例上,就是说,每个 RabbitMQ 节点都有这个 queue 的一个完整镜像,包含 queue 的全部数据的意思。然后每次你写消息到 queue 的时候,都会自动把消息同步到多个实例的 queue 上。
RabbitMQ的5种队列模式
二、部署安装
1、安装
先行启动三台RQ容器,直接上配置文件
rancher-compose.yml
version: '2'
services:
rabbitmq3:
scale: 1
start_on_create: true
rabbitmq2:
scale: 1
start_on_create: true
rabbitmq1:
scale: 1
start_on_create: true
lb-rabbitmq-server:
scale: 1
start_on_create: true
lb_config:
certs: []
port_rules:
- priority: 1
protocol: http
service: rabbitmq1
source_port: 15761
target_port: 15672
- priority: 2
protocol: http
service: rabbitmq2
source_port: 15761
target_port: 15672
- priority: 3
protocol: http
service: rabbitmq3
source_port: 15761
target_port: 15672
- priority: 4
protocol: tcp
service: rabbitmq1
source_port: 5761
target_port: 5672
- priority: 5
protocol: tcp
service: rabbitmq1
source_port: 5761
target_port: 5672
- priority: 6
protocol: tcp
service: rabbitmq3
source_port: 5761
target_port: 5672
health_check:
healthy_threshold: 2
response_timeout: 2000
port: 42
unhealthy_threshold: 3
initializing_timeout: 60000
interval: 2000
reinitializing_timeout: 60000
docker-compose.yml
version: '2'
services:
rabbitmq3:
privileged: true
image: rabbitmq:3.7.17-management
hostname: rabbit3
environment:
RABBITMQ_DEFAULT_USER: jfwang
RABBITMQ_DEFAULT_PASS: 123456
RABBITMQ_ERLANG_COOKIE: rabbitcookie
stdin_open: true
volumes:
- /etc/localtime:/etc/localtime
- /rabbitmq/bgn/rabbit3:/var/lib/rabbitmq/mnesia/rabbit
tty: true
links:
- rabbitmq1:rabbit1
- rabbitmq2:rabbit2
labels:
io.rancher.container.pull_image: always
rabbitmq2:
privileged: true
image: rabbitmq:3.7.17-management
hostname: rabbit2
environment:
RABBITMQ_DEFAULT_USER: jfwang
RABBITMQ_DEFAULT_PASS: 123456
RABBITMQ_ERLANG_COOKIE: rabbitcookie
stdin_open: true
volumes:
- /etc/localtime:/etc/localtime
- /rabbitmq/bgn/rabbit2:/var/lib/rabbitmq/mnesia/rabbit
tty: true
links:
- rabbitmq1:rabbit1
- rabbitmq3:rabbit3
labels:
io.rancher.container.pull_image: always
rabbitmq1:
privileged: true
image: rabbitmq:3.7.17-management
hostname: rabbit1
environment:
RABBITMQ_DEFAULT_USER: jfwang
RABBITMQ_DEFAULT_PASS: 123456
RABBITMQ_ERLANG_COOKIE: rabbitcookie
stdin_open: true
volumes:
- /etc/localtime:/etc/localtime
- /rabbitmq/bgn/rabbit1:/var/lib/rabbitmq/mnesia/rabbit
tty: true
links:
- rabbitmq3:rabbit3
- rabbitmq2:rabbit2
labels:
io.rancher.container.pull_image: always
lb-rabbitmq-server:
image: rancher/lb-service-haproxy:v0.9.11
ports:
- 15761:15761/tcp
- 5761:5761/tcp
labels:
io.rancher.container.agent.role: environmentAdmin,agent
io.rancher.container.agent_service.drain_provider: 'true'
io.rancher.container.create_agent: 'true'
2、加入集群
内存节点和磁盘节点的选择:
每个RabbitMQ节点可配置为内存节点或者磁盘节点(默认)。如果采用集群的方式,可以选择至少配置一个节点为磁盘节点,其余部分配置为内存节点,,这样可以获得更快的响应。所以本集群中配置节点1位磁盘节点,节点2和节点3位内存节点。
在rabbit1中执行以下命令
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app
在rabbit2和rabbit3中执行以下命令加入集群
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster --ram rabbit@rabbit1
rabbitmqctl start_app
节点设置完成之后,在浏览器访问127.0.0.1:15671,都会看到RabbitMQ集群已经创建成功。
3、配置镜像队列
镜像队列工作原理:在非镜像队列的集群中,消息会路由到指定的队列。当配置为镜像队列之后,消息除了按照路由规则投递到相应的队列外,还会投递到镜像队列的拷贝。也可以想象在镜像队列中隐藏着一个fanout交换器,将消息发送到镜像的队列的拷贝。
进入任意一个RabbitMQ节点,执行如下命令:
rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'
可以设置镜像队列,"^"表示匹配所有队列,即所有队列在各个节点上都会有备份。在集群中,只需要在一个节点上设置镜像队列,设置操作会同步到其他节点。
查看集群的状态:
rabbitmqctl cluster_status
4、均衡负载
均衡负载使用Rancher的,配置信息直接包含在rancher-compose.yml中