消息队列和微服务1-MQ
1.MQ
1.1 定义
消息队列的目的是为了实现各个 APP 之间的通讯，APP 基于 MQ 实现消息的发送和接收实现应用程序之间的通讯，这样多个应用程序可以运行在不同的主机上，通过 MQ 就可以实现跨网络通信，因此 MQ 实现了业务的解耦和异步机制。
1.2 MQ特点
帮助业务系统结构提升开发效率和系统稳定性，消息队列主要具有以下特点：
- 削峰填谷（主要解决瞬时写压力大于应用服务能力导致消息丢失、系统奔溃等问题）
- 系统解耦（解决不同重要程度、不同能力级别系统之间依赖导致一死全死）
- 提升性能（当存在一对多调用时，可以发一条消息给消息系统，让消息系统通知相关系统）
- 蓄流压测（线上有些链路不好压测，可以通过堆积一定量消息再放开来压测）
1.3 RabbitMQ
1.3.1 特点
RabbitMQ是一款使用Erlang语言开发的，实现AMQP(高级消息队列协议)的开源消息中间件。首先要知道一些RabbitMQ的特点，官网可查：
- 可靠性。支持持久化，传输确认，发布确认等保证了MQ的可靠性。
- 灵活的分发消息策略。这应该是RabbitMQ的一大特点。在消息进入MQ前由Exchange(交换机)进行路由消息。分发消息策略有：简单模式、工作队列模式、发布订阅模式、路由模式、通配符模式。
- 支持集群。多台RabbitMQ服务器可以组成一个集群，形成一个逻辑Broker。
- 多种协议。RabbitMQ支持多种消息队列协议，比如 STOMP、MQTT 等等。
- 支持多种语言客户端。RabbitMQ几乎支持所有常用编程语言，包括 Java、.NET、Ruby 等等。
- 可视化管理界面。RabbitMQ提供了一个易用的用户界面，使得用户可以监控和管理消息 Broker。
- 插件机制。RabbitMQ提供了许多插件，可以通过插件进行扩展，也可以编写自己的插件
1.3.2 单机版部署
环境：centos7.9
1.3.2.1 下载RabbitMQ rpm文件
下载地址：https://www.rabbitmq.com/download.html
1.3.2.2 下载Erlang
RabbitMQ是采用 Erlang语言开发的，所以系统环境必须提供 Erlang环境，需要是安装 Erlang
这里安装最新版本3.8.14的RabbitMQ，对应的Erlang版本推荐23.x，我们下载erlang-23.2.7-2.el7.x86_64.rpm
[root@localhost ~]# wget https://packagecloud.io/rabbitmq/erlang/packages/el/7/erlang-23.2.7-2.el7.x86_64.rpm
1.3.2.3 安装Erlang
root@localhost(192.168.1.52)~>rpm -ivh erlang-23.2.7-2.el7.x86_64.rpm
warning: erlang-23.2.7-2.el7.x86_64.rpm: Header V4 RSA/SHA1 Signature, key ID 6026dfca: NOKEY
Preparing... ################################# [100%]
Updating / installing...
1:erlang-23.2.7-2.el7 ################################# [100%]
root@localhost(192.168.1.52)~>
查看版本
root@localhost(192.168.1.52)~>erl -v
Erlang/OTP 23 [erts-11.1.8] [source] [64-bit] [smp:4:4] [ds:4:4:10] [async-threads:1] [hipe]
Eshell V11.1.8 (abort with ^G)
1>
1.3.2.4 安装rabbitmq
解决依赖
在RabiitMQ安装过程中需要依赖socat插件，首先安装该插件
root@localhost(192.168.1.52)~>yum install -y socat
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
* base: mirrors.aliyun.com
* extras: mirrors.aliyun.com
* updates: mirrors.aliyun.com
解压rabbitmq安装包
root@localhost(192.168.1.52)~>rpm -Uvh rabbitmq-server-3.12.4-1.el8.noarch.rpm
warning: rabbitmq-server-3.12.4-1.el8.noarch.rpm: Header V4 RSA/SHA512 Signature, key ID 6026dfca: NOKEY
error: Failed dependencies:
erlang >= 25.0 is needed by rabbitmq-server-3.12.4-1.el8.noarch
root@localhost(192.168.1.52)~>
报错 因为rabbit-3-12要求erlang版本大于25
但是我上面的版本是23 所以我才去降低rabbitmq的版本
root@localhost(192.168.1.52)~>rpm -ivh rabbitmq-server-3.8.14-1.el7.noarch.rpm
warning: rabbitmq-server-3.8.14-1.el7.noarch.rpm: Header V4 RSA/SHA256 Signature, key ID 6026dfca: NOKE
Preparing... ################################# [100%]
package rabbitmq-server-3.8.14-1.el7.noarch is already installed
1.3.2.5 启动服务
# 启动rabbitmq
systemctl start rabbitmq-server
# 查看rabbitmq状态
systemctl status rabbitmq-server
1.3.2.6 RabbitMQWeb管理界面及授权操作
默认情况下，rabbitmq没有安装web端的客户端软件，需要安装才可以生效
# 打开RabbitMQWeb管理界面插件
rabbitmq-plugins enable rabbitmq_management
root@localhost(192.168.1.52)~>rabbitmq-plugins enable rabbitmq_management
Enabling plugins on node rabbit@localhost:
rabbitmq_management
The following plugins have been configured:
rabbitmq_management
rabbitmq_management_agent
rabbitmq_web_dispatch
Applying plugin configuration to rabbit@localhost...
The following plugins have been enabled:
rabbitmq_management
rabbitmq_management_agent
rabbitmq_web_dispatch
started 3 plugins.
root@localhost(192.168.1.52)~>
1.3.2.7 访问
rabbitmq有一个默认的账号密码guest，但该情况仅限于本机localhost进行访问，所以需要添加一个远程登录的用户
添加远程用户
# 添加用户
rabbitmqctl add_user 用户名 密码
# 设置用户角色,分配操作权限
rabbitmqctl set_user_tags 用户名 角色
# 为用户添加资源权限(授予访问虚拟机根节点的所有权限)
rabbitmqctl set_permissions -p / 用户名 ".*" ".*" ".*"
- administrator：可以登录控制台、查看所有信息、并对rabbitmq进行管理
- monToring：监控者；登录控制台，查看所有信息
- policymaker：策略制定者；登录控制台指定策略
- managment：普通管理员；登录控制
这里创建用户zfl，密码123456，设置administrator角色，赋予所有权限
root@localhost(192.168.1.52)~>rabbitmqctl add_user zfl 123456
Adding user "zfl" ...
Done. Don't forget to grant the user permissions to some virtual hosts! See 'rabbitmqctl help set_permissions' to learn more.
root@localhost(192.168.1.52)~>rabbitmqctl set_user_tags zfl administrator
Setting tags for user "zfl" to [administrator] ...
root@localhost(192.168.1.52)~>rabbitmqctl set_permissions -p / zfl ".*" ".*" ".*"
Setting permissions for user "zfl" in vhost "/" ...
root@localhost(192.168.1.52)~>
旧版本允许登录方式：
# vim /usr/lib/rabbitmq/lib/rabbitmq_server-3.8.3/ebin/rabbit.app
39 {loopback_users, []}, #删除被禁止登陆的 guest 账户
# systemctl restart rabbitmq-server.service #重启 rabbitmq 服务
新版本的guset远程登录方式
开启guest用户远程登录功能
ls /etc/rabbitmq
enabled_plugins
#创建配置文件开启远程登录功能
echo " loopback_users = none"> /etc/rabbitmq/rabbitmq.conf
systemcti restart rabbitmg-server.service
其他命令
# 修改密码
rabbitmqctl change_ password 用户名 新密码
# 删除用户
rabbitmqctl delete_user 用户名
# 查看用户清单
rabbitmqctl list_users
1.3.3 docker部署
docker run -itd --name rabbitmq -p 5672:5672 -p 15672:15672 rabbitmq:3.12-management
输入默认的guset出现，也是因为没有创建用户
docker run -itd --name rabbitmq -e RABBITMQ_DEFAULT_USER=zfl -e RABBITMQ_DEFAULT_PASS=123456 -p 5672:5672 -p 15672:15672 rabbitmq:3.12-management
1.3.4 rabbitmq的命令
创建 vhost
root@localhost(192.168.1.52)~>rabbitmqctl add_vhost zoey
Adding vhost "zoey" ...
root@localhost(192.168.1.52)~>
列出所有 vhost
root@localhost(192.168.1.52)~> rabbitmqctl list_vhosts
Listing vhosts ...
name
/
zoey
root@localhost(192.168.1.52)~>
# 添加用户
rabbitmqctl add_user 用户名 密码
# 设置用户角色,分配操作权限
rabbitmqctl set_user_tags 用户名 角色
# 为用户添加资源权限(授予访问虚拟机根节点的所有权限)
rabbitmqctl set_permissions -p / 用户名 ".*" ".*" ".*"
2 rabbitmq集群部署
2.1 普通模式
普 通 集 群 模 式：queue 创建之后，如果没有其它 policy，消息实体只存在于其中
一个节点，A、B 两个 Rabbitmq 节点仅有相同的元数据，即队列结构，但队列的
数据仅保存有一份，即创建该队列的 rabbitmq 节点（A 节点），当消息进入 A 节
点的 Queue 中后，consumer 从 B 节点拉取时，RabbitMQ 会临时在 A、B 间进行
消息传输，把 A 中的消息实体取出并经过 B 发送给 consumer，所以 consumer
可以连接每一个节点，从中取消息，该模式存在一个问题就是当 A 节点故障后，
B 节点无法取到 A 节点中还未消费的消息实体。
2.2 镜像集群模式
把需要的队列做成镜像队列，存在于多个节点，属于 RabbitMQ 的 HA 方案（镜
像模式是在普通模式的基础上，增加一些镜像策略）
该模式解决了普通模式中的数据丢失问题，其实质和普通模式不同之处在于，消
息实体会主动在镜像节点间同步，而不是在 consumer 取数据时临时拉取，该模
式带来的副作用也很明显，除了降低系统性能外，如果镜像队列数量过多，加之
大量的消息进入，集群内部的网络带宽将会被这种同步通讯大大消耗掉，所以在
对可靠性要求较高的场合中适用，一个队列想做成镜像队列，需要先设置 policy，
然后客户端创建队列的时候，rabbitmq 集群根据“队列名称”自动设置是普通集
群模式或镜像队列。
2.3 集群中有两种节点类型
-
内存节点：只将数据保存到内存
-
磁盘节点：保存数据到内存和磁盘。
内存节点虽然不写入磁盘，但是它执行比磁盘节点要好，集群中，只需要一个磁
盘节点来保存数据就足够了如果集群中只有内存节点，那么不能全部停止它们，
否则所有数据消息在服务器全部停机之后都会丢失。
2.4 推荐设计架构
在一个 rabbitmq 集群里，有 3 台或以上机器，其中 1 台使用磁盘模式，其它节
点使用内存模式，内存节点无访问速度更快，由于磁盘 IO 相对较慢，因此可作
为数据备份使用。
2.5 集群部署
2.5.1 环境
192.168.199.50
192.168.199.51
192.168.199.52
2.5.2 配置域名解析及名称
hostnamectl set-hostname mq-server1
[root@master ~]# cat >> /etc/hosts <2.5.3 在各自机器安装单机的rabbitmq并配置web端
写好一个脚本 直接执行
[root@mq-server1 rabbit]# cat rabbitmqinstall.sh
#! /bin/bash
rpm -ivh erlang-23.2.7-2.el7.x86_64.rpm
if [ $? -eq 0 ];then
echo erlang安装成功；
else
break
fi
yum install -y socat
if [ $? -eq 0 ];then
echo socat安装成功；
else
break
fi
rpm -ivh rabbitmq-server-3.8.14-1.el7.noarch.rpm
if [ $? -eq 0 ];then
echo rabbitmq安装成功；
else
break
fi
systemctl start rabbitmq-server
if [ $? -eq 0 ];then
echo rabbitmq启动成功；
else
echo rabbitmq启动失败
fi
#配置web端
rabbitmq-plugins enable rabbitmq_management
#修改guest用户可以直接登录
echo " loopback_users = none"> /etc/rabbitmq/rabbitmq.conf
systemctl restart rabbitmq-server
2.5.4 同步 magic cookie
Rabbitmq 的集群是依赖于 erlang 的集群来工作的，所以必须先构建起 erlang 的集群环境,而 Erlang 的集群中各节点是通过一个 magic cookie 来实现的，这个cookie 存放在/var/lib/rabbitmq/.erlang.cookie 中，文件是 400 的权限,所以必须保证各节点 cookie 保持一致，否则节点之间就无法通信。
各服务器关闭RabbitMQ：
[root@mq-server1 rabbit]# systemctl stop rabbitmq-server
在192.168.199.50上
[root@mq-server1 rabbit]scp -r /var/lib/rabbitmq/.erlang.cookie 192.168.199.51:/var/lib/rabbitmq/.erlang.cookie
[root@mq-server1 rabbit]# scp -r /var/lib/rabbitmq/.erlang.cookie 192.168.199.52:/var/lib/rabbitmq/.erlang.cookie
在启动服务rabbitmq
[root@mq-server1 rabbit]# systemctl start rabbitmq-server
2.5.5 查看集群状态
[root@mq-server1 ~]# rabbitmqctl cluster_status
Cluster status of node rabbit@mq-server1 ...
Basics
Cluster name: rabbit@mq-server1
Disk Nodes
rabbit@mq-server1
Running Nodes
rabbit@mq-server1
Versions
rabbit@mq-server1: RabbitMQ 3.8.14 on Erlang 23.2.7
Maintenance status
Node: rabbit@mq-server1, status: not under maintenance
Alarms
(none)
Network Partitions
(none)
Listeners
Node: rabbit@mq-server1, interface: [::], port: 15672, protocol: http, purpose: HTTP API
Node: rabbit@mq-server1, interface: [::], port: 25672, protocol: clustering, purpose: inter-node and CLI tool communication
Node: rabbit@mq-server1, interface: [::], port: 5672, protocol: amqp, purpose: AMQP 0-9-1 and AMQP 1.0
Feature flags
Flag: drop_unroutable_metric, state: enabled
Flag: empty_basic_get_metric, state: enabled
Flag: implicit_default_bindings, state: enabled
Flag: maintenance_mode_status, state: enabled
Flag: quorum_queue, state: enabled
Flag: user_limits, state: enabled
Flag: virtual_host_metadata, state: enabled
2.5.6 各节点加入到集群
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster rabbit@rabbitmqserver1 --ram
mq-server1默认为disk节点
只需要将mq-server2 mq-server3设置为内存节点
在mq-server2上面将 加入到mq-server1上并作为内存节点
并设置将rabbitmqserver2 为磁盘存储
rabbitmqctl stop_app
rabbitmqctl reset reset #清空元数据
rabbitmqctl join_cluster rabbit@mq-server1 mq-server1
并成为内存节点，不加--ram 默认是磁盘
[root@mq-server2 ~]# rabbitmqctl stop_app
[root@mq-server2 ~]# rabbitmqctl reset
Resetting node rabbit@mq-server2 ...
[root@mq-server2 ~]# rabbitmqctl join_cluster rabbit@mq-server1 --ram
Clustering node rabbit@mq-server2 with rabbit@mq-server1
[root@mq-server2 ~]#
mq-server3上面将 加入到mq-server1上
[root@mq-server3 ~]# rabbitmqctl stop_app
Stopping rabbit application on node rabbit@mq-server3 ...
[root@mq-server3 ~]# rabbitmqctl reset
Resetting node rabbit@mq-server3 ...
[root@mq-server3 ~]# rabbitmqctl join_cluster rabbit@mq-server1 --ram
Clustering node rabbit@mq-server3 with rabbit@mq-server1
[root@mq-server3 ~]#
2.5.7 查看集群状态
[root@mq-server1 ~]# rabbitmqctl cluster_status
Cluster status of node rabbit@mq-server1 ...
Basics
Cluster name: rabbit@mq-server1
Disk Nodes
rabbit@mq-server1
RAM Nodes
rabbit@mq-server2
rabbit@mq-server3
Running Nodes
rabbit@mq-server1
rabbit@mq-server2
rabbit@mq-server3
Versions
rabbit@mq-server1: RabbitMQ 3.8.14 on Erlang 23.2.7
rabbit@mq-server2: RabbitMQ 3.8.14 on Erlang 23.2.7
rabbit@mq-server3: RabbitMQ 3.8.14 on Erlang 23.2.7
