详解rabbitmq

1 概述

1.1 认识消息队列

message queue 简称MQ,是一种跨进程的通信机制,用于上下游传递信息

MQ作为消息的中间件,最主要的作用是各个系统之间的消息传递进行"解耦",mq是数据可靠性的重要保证

1.2 什么是rabbitMq

rabbitmq是全世界最火的开源代理服务器,再全世界有35000个项目部署再rabbitMq

rabbitmq 几乎支持所有的操作系统与编程语言

rabbitmq提供了高并发,高可用的部署方案,支持多种消息协议,容易部署和维护

1.3 rabbitmq 和其他mq比较

rabbitmqactivemqkafkarocketmq

社区活跃度非常活跃非常活跃活跃不活跃

持久化支持支持支持支持

并发吞吐量高一般极高极高

数据可靠性极高一般高高

生态完整性很好很好很好一般

用户总量多多==>一般较多少

应用场景分布式 高可靠的交易系统传统业务系统日志处理和大数据应用互联网高并发,高可用

2 安装

基于docker 安装rabbitmq#指定版本，该版本包含了web控制页面

docker pull rabbitmq:management

#方式一：默认guest 用户，密码也是 guest

docker run -d --hostname my-rabbit --name rabbit -p 15672:15672 -p 5672:5672 rabbitmq:management

#方式二：设置用户名和密码

docker run -d --hostname my-rabbit --name rabbit -e RABBITMQ_DEFAULT_USER=user -e RABBITMQ_DEFAULT_PASS=password -p 15672:15672 -p 5672:5672 rabbitmq:management

方式三：jar包安装

1 下载esl-erlang_21.0-1~centos~7_amd64.rpm**

– Erlang运行环境RPM包

2. 下载rabbitmq-server-3.7.7-1.el7.noarch.rpm**

– rabbitmq服务器程序

3. mkdir /usr/local/temp*

4. cd /usr/local/temp**

5. 通过XFTP将文件上传至temp目录**

6. rpm -ivh --nodeps esl-erlang_21.0-1~centos~7_amd64.rpm**

安装RPM包

7.rpm -ivh --nodeps rabbitmq-server-3.7.7-1.el7.noarch.rpm**

8. rabbitmq-plugins enable rabbitmq_management**

启用控制台

9. rabbitmq-server

10. chown rabbitmq:rabbitmq /var/lib/rabbitmq/.erlang.cookie**

启用服务

11. 防火墙放行5672/15672端口

访问

http://localhost:15672/

3 常用命令

3.1启动和关闭

rabbitmq-server 前台启动服务

rabbitmq-server -detached 后台启动服务

rabbitmqctl stop 停止服务

3.2 终止和启动应用

rabbitmqctl start_app 启动应用

rabbitmqctl stop_app 终止应用

3.3 用户管理

rabbitmqctl add_user {username} {password}

– 创建新用户

rabbitmqctl delete_user {username}

– 删除用户

rabbitmqctl change_password {username} {newpassword}

– 重置密码

rabbitmqctl set_user_tags {username} {tag}

– 授予用户角色(Tag)

rabbitmqctl set_permissions -p / user_admin '.' '.' '.*'

– 设置用户允许访问的vhost

3.4 rabbitmq 四种tag

超级管理员(administrator)

– 可登陆管理控制台(启用management plugin的情况下)，可查看所有 的信息，并且可以对用户，策略(policy)进行操作。

监控者(monitoring)

– 登陆管理控制台(启用management plugin的情况下)，同时可以查看 rabbitmq节点的相关信息(进程数，内存使用情况，磁盘使用情况等)

策略制定者(policymaker)

– 可登陆管理控制台(启用management plugin的情况下), 同时可以对 policy进行管理。但无法查看节点的相关信息(上图红框标识的部分)

普通管理者(management)

仅可登陆管理控制台(启用management plugin的情况下)，无法看到 节点信息，也无法对策略进行管理。

4 第一次MQ通信

4.1 AMQP

AMQP，即Advanced Message Queuing Protocol,一个提供统 一消息服务的应用层标准高级消息队列协议,是应用层协议的一个开 放标准,为面向消息的中间件设计。基于此协议的客户端与消息中间 件可传递消息，并不受客户端/中间件不同产品，不同的开发语言等 条件的限制。Erlang中的实现有 RabbitMQ等

4.2 基本概念

Producer:生产者,消息的提供者

Consumer:消费者,消息的使用者

Message:消息，程序间的通信的数据

Queue:队列，消息存放的容器，消息先进先出

Vhost:虚拟主机,相当于MQ的“数据库” ，用于存储队列

5 rabbitmq的工作模式

1  一个生产这  多个消费者  一个消息 只适用于一个消费者

2发布订阅  交换机  （把消息生成副本） 多个消费者都可以看一个消息,消息会重复发给一个消费者

3 路由器  根据一定条件把消息 送给消费者,再3的基础上强调了根据规则

4  主题模式  定义一个表达式规程  按照规则把消息送给指定的人(再4 的基础上根据模糊匹配实现)

5 Rpc 远程调用  不同语言(dubbo  springcloud  webservice都可以实现,rpc不是mq的强项)

6 Work Queue工作队列

本讲将创建一个工作队列（Work Queue），它会发 送一些耗时的任务给多个工作者（Worker）。

在多个消息的情况下，Work Queue会将消息分派给 不同的消费者，每个消费者都会接收到不同的消息，并且可以根据处理消息的速度来接收消息的数量，进

而让消费者程序发挥最大性能。

Work Queue特别适合在集群环境中做异步处理，能最大程序发挥每一台服务器的性能。

7 发布(Publish)/订阅(Subscribe)模式

发布/订阅模式中，生产者不再直接与队列绑定， 而是将数据发送至“交换机Exchange

交换机Exchange用于将数据按某种规则送入与之绑定的队列，进而供消费者使用。 发布/订阅模式中，交换机将无差别的将所有消 息送入与之绑定的队列，所有消费者拿到的消息完全相同，交换机的类型被称为fanout

7.1 发布/订阅模式使用场景

发布订阅模式因为所有消费者获得相同的消息，所以 特别适合“数据提供商与应用商

例如：中国气象局提供“天气预报”送入交换机，网易、新浪、百度、搜狐等门户接入通过队列绑定到该

交换机，自动获取气象局推送的气象数据。

8 路由Routing模式

路由（Routing）模式是在发布订阅模式 基础上的变种。 发布订阅模式是无条件将所有消息分发给 所有消费者队列。

路由模式则是交换机根据Routing Key有条件的将数据筛选后发给消费者队列。

路由模式下交换机的类型被称为direct，队列和交换机可以自己绑定

9 主题Topic模式

主题Topic模式是在Routing模式基础上， 提供了对RouteKey模糊匹配的功能，可以

简化程序的编写。

主题模式下，模糊匹配表达式规则为

– * 匹配单个关键字

– # 匹配所有关键字

主题模式下交换机的类型被称为topic。队列和交换机可以自己绑定

10  Confirm & Return

Confirm代表生产者将消息送到Broker时产生的状态，后续

会出现两种情况：

– ack 代表Broker已经将数据接收。

– nack 代表Broker拒收消息。原因有多种，队列已满，限流，IO异常...

Return代表消息被Broker正常接收（ack)后，但Broker没

有对应的队列进行投递时产生的状态，消息被退回给生产者。

注意：上面两种状态只代表生产者与Broker之间消息投递的

情况。与消费者是否接收/确认消息无关。

11 RabbitMQ集群架构模式

RabbitMQ集群包含四种架构模式：

主备模式 （Warren）

镜像模式 （Mirror）

远程模式 （Shovel）

多活模式 （Federation）

11.1 主备模式 （Warren）

主备模式; 实现rabbitmq的高可用集群，一般在并发数量不高的情况下使用。这种模型非常好用并且简单，主备模式也称为 warren模式

11.2  镜像模式 （Mirror）

集群模式非常经典的就是mirror 镜像模式 ，保证数据100% 不丢失，实际工作中也是使用最多的。并且实现集群非常简单，互联网大厂通常会构建这种集群模式

11.3 远程模式 （Shovel）

远程模式可以实现双活的一种模式，简称shovel，所谓shovel就是我们可以把消息进行不同的数据中心复制的工作，我们可以地域让两个mq集群互联

11.4 多活模式 （Federation）

多活模式是实现异地数据复制的主流模式，因为shovel 模式配置比较复杂，所以一般来说实现异地集群都是用这种双活或者多活模式，这种模型需要依赖rabbitmq 的federation插件，可以实现持续的amqp数据通信。

12 搭建mirror集群

12.1 准备两个已安装好RabbitMQ的Centos环境

修改hostname

– vim /etc/hostname

– m1

– m2

加入主机列表 vim /etc/hosts

– vim /etc/hosts

– 192.168.132.137 m1

– 192.168.132.139 m2

12.2 准备工作-开放防火墙端口

开放防火墙 4369/5672/15672/25672端口

– firewall-cmd --zone=public --add-port=4369/tcp --permanent

– firewall-cmd --zone=public --add-port=5672/tcp --permanent

– firewall-cmd --zone=public --add-port=15672/tcp --permanent

– firewall-cmd --zone=public --add-port=25672/tcp --permanent

– firewall-cmd --reload

重启两台主机

– reboot

12.3 复制.erlang.cookie

.erlang.cookie是erlang分布式的token文件，集群内所有设备要

持有相同的.erlang.cookie文件才允许彼此通信。

– find / -name *.cookie

– scp /var/lib/rabbitmq/.erlang.cookie 192.168.132.134:/var/lib/rabbitmq/

在两台电脑上执行chmod进行授权

– chmod 400 /var/lib/rabbitmq/.erlang.cookie

12.4 配置镜像集群

在m2服务器上执行下面的命令将与m1服务器进行复制

– rabbitmqctl stop_app 暂停服务

– rabbitmqctl join_cluster rabbit@m1 加入到m1的集群

– rabbitmqctl start_app 启动服务

– rabbitmqctl cluster_status 验证集群结果

13 利用haproxy负载均衡

13.1镜像模式遇到的问题

13.2 HAProxy 代理服务器

HAProxy 是一款提供高可用性、负载均衡以及基于TCP（第四层）

和HTTP（第七层）应用的代理软件，支持虚拟主机，它是免费、

快速并且可靠的一种解决方案。

RabbitMQ集群镜像模式中，HAProxy用于做Tcp，提供节点负载

均衡（LB-LoadBalance）与故障发现。

13.3 haproxy安装

yum install haproxy  //安装

rpm -ql haproxy  //查看安装是不是成功

find / -name haproxy.cfg  //找到核心配置文件

haproxy -f /etc/haproxy/haproxy.cfg    //启动命令

13.4 haproxy.cfg配置详解

listen rabbitmq_cluster

bind 0.0.0.0:5672 #通过5672对M1、M2进行映射

option tcplog #记录tcp 连接的状态和时间

mode tcp #四层协议代理，即对TCP协议转发

option clitcpka #开启TCP的Keep Alive（长连接模式）

timeout connect 1s #haproxy与mq建立连接的超时时间

timeout client 10s #客户端与haproxy最大空闲时间。

timeout server 10s #服务器与haproxy最大空闲时间。

balance roundrobin #采用轮询转发消息

#每5秒发送一次心跳包，如连续两次有响应则代表状态良好，

#如连续三次没有响应，则视为服务故障，该节点将被剔除。

server node1 192.168.132.137:5672 check inter 5s rise 2 fall 3

server node2 192.168.132.139:5672 check inter 5s rise 2  2 fall 3

listen http_front

#监听端口

bind 0.0.0.0:1080

#统计页面自动刷新时间

stats refresh 30s

#统计页面url

stats uri /haproxy?stats

#统计页面用户名和密码设置

stats auth admin:admin

访问 ：http://am3:1080/ha