李凯-KAIVI-Blog
李凯-KAIVI-Blog

MQ--1( Message queuing）>>>>RabbitMQ

MQ( Message queuing）

消息队列作为高并发系统的核心组件之一，能够帮助业务系统结构提升开发效率和系统稳定性，消息队列主要具有以下特点：
削峰填谷（主要解决瞬时写压力大于应用服务能力导致消息丢失、系统奔溃等问题）

系统解耦（解决不同重要程度、不同能力级别系统之间依赖导致一死全死）

提升性能（当存在一对多调用时，可以发一条消息给消息系统，让消息系统通知相关系统）

蓄流压测（线上有些链路不好压测，可以通过堆积一定量消息再放开来压测）

目前主流的消息队列软件有RabbitMQ 、 kafka 、 A ctiveMQ 、 R ocket MQ 等 还有小众的消息队列软件如 ZeroMQ 、 Apache Qpid 等 。

一.RabbitMQ：

https://www.rabbitmq.com/ #RabbitMQ官网

https://www.aliyun.com/product/ons?spm=5176.234368.h2v3icoap.427.2620db25lcHi1Q&aly_as=Tz_Lue_o #阿里云消息队列

1.1 RabbitMQ 简介

Message Queue的需求由来已久，在 1 9 世纪 80 年代金融交易中，美国高盛等公司采用 Teknekron 公司的产品，当时的 Message queuing 软件叫做 the informationbus TIB 后来 TIB 被电信和通讯 等 公司采用， 然后 路透社收购了 Teknekron 公司 ，再然 后 IBM 公司 开发了 MQSeries 并且 微软 也 开发了 Microsoft MessageQueue MSMQ ），但是 这些商业 MQ 供应商的问题是厂商锁定及使用价格高昂，于是 2001 年， Java Message queuing 试图解决 锁定和交互性的问题，但对应用来说反而更加麻烦了，于是 2004 年，摩根大通和 iMatrix 开始着手 Advanced MessageQueuing Protocol AMQP ）开放标准的开发 2006 年， AMQP 规范发布， 2007年， Rabbit 技术公司基于 AMQP 标准开发的 Rab bitMQ 1.0 发布。
路透社Reuters LSE RTR NASDAQ: RTRSY ）是世界上最早 创办的通讯社之一，也是目前英国最大的通讯社和西方四大通讯社之一， 路透社是世界前三大的多媒体新闻通讯社，提供各类新闻和金融数据，在 128 个国家运行。
摩根大通集团 业界称西摩或小摩，总部位于美国纽约，总资产 2.5 万亿美元，总存款 1.5 万亿美元，占美国存款总额的 25%25%，分行 6000 多家，是美国最大金融服务机构之一 。
iMatrix 是一个企业级的 JAVA 快速开发平台 。
MQ--1( Message queuing）>>>>RabbitMQ_第1张图片
RabbitMQ: 采用 Erlang 语 言开发， Erlang 语言由 Ericson 设计， Erlang 在分布式编程和故障恢复方面表现出色，电信领域被广泛使用。
Broker: 接收和分发消息的应用， RabbitMQ Server 就是 Message Broker 。
Virtual host: 出于多租户和安全因素设计的，把 AMQP 的基本组件 划分到一个虚拟的分组中，类似于网络中的 namespace概念当多个不同的用户使用同 一个RabbitMQ server 提供的服务时，可以划分出多个vhost ，每个用户在自己的 vhost创建 exchange queue 等。
Connection: publisher consumer 和 broker 之间的 TCP 连接。
Channel: 如果每一次访问 RabbitMQ 都建立一个 Connection ，在消息量大的时候建立 TCP Connection 的开销将是巨大的，效率也较低。 Channel 是在 connection内部建立的逻辑连接，如果应用程序支持多线程，通常每个 thread 创建单独的chann el 进行通讯， AMQP method 包含了 channel id 帮助客户端和 message broker识别 channel ，所以 channel 之间是完全隔离的。 Channel 作为轻量级的 Connection极大减少了操作系统建立 TCP connection 的开销。
Exchange: message 到达 broker 的第一站，根据分发规则，匹配查询表中的 routing key ，分发消息到 queue 中去。常用的类型有： direct (point to point), topic (publish subscribe) and fanout (multicast) 。
Queue: 消息最终被送到这里等待 consumer 取走。
Binding : exchange 和 queue 之间的虚拟连接， binding 中可以包含 routing key 。Binding 信息被保存到 exchange 中的查询表中，用于 message 的分发依据。

1.2Rabbit M Q 中的生产者消费者示例

MQ--1( Message queuing）>>>>RabbitMQ_第2张图片

生产者发送消息到 broker server （RabbitMQ） 在 Broker 内部，用户创建Exchange/Queue ，通过 Binding 规则将 两者联系在一起， Exchange 分发消息，根据类型／binding 的不同分发策略有区别， 消息最后来到 Queue 中，等待消费者取走。

JMS是在2001 年发布的 Java 消息服务（ Java Message Service ）应用程序接口是一个 Java 平台中关于面向消息中间件（ MOM message oriented middleware）的 API ，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。

1.3RabbitMQ 单机部署

https://www.rabbitmq.com/download.html #官网下载链接
https://github.com/rabbitmq/rabbitmq-server/releases #github下载地址
https://www.rabbitmq.com/install-debian.html #环境部署参考
http://dl.bintray.com/rabbitmq-erlang/debian/pool/erlang/ #erlang版本参考
服务器环境
172.18.0.51 mq server1
实验：
172.20.10.100 MQ-server1.kaivi.tech
root@MQ-server1:~# hostnamectl set-hostname MQ-server1.kaivi.tech

1.3.1 Ubuntu 1804 安装 单机版 RabbitMQ

https://www.rabbitmq.com/install-debian.html#apt

1.3.1.1主机名解析

在当前MQ服务器配置本地 主机名解析：
172.18.0.51 mq server1 mq server1.magedu.net
之后主机名不要修改，不然可能rabbitmq起不来
实验：

root@MQ-server1:~# vim /etc/hosts
172.20.10.100 MQ-server1 MQ-server1.kaivi.tech #短域名以及长域名都解析一下 最后一行新增

1.3.1. 2 服务器安装 RabbitMQ

安装 基础命令及添加 key
sudo apt g et install curl gnupg
# curl fsSL https://github.com/rabbitmq/signing
keys/releases/download/2.0/rabbitmq release signing key.asc | sudo apt key add
OK

安装 apt HTTPS 传输
# sudo apt get install apt transport https

各节点添加 apt 源
sudo tee /etc/apt/sources.list. d/bintray.rabbitmq.list <<EOF
## Installs the latest Erlang 22.x
## Change component to "erlang 21.x" to install the latest 21.x version.
## "bionic" as distribution name should work for any later Ubuntu or Debian
## See the release to di stribution mapping table in RabbitMQ doc guides to learn
more.
deb https://dl.bintray.com/rabbitmq erlang/debian bionic erlang
deb https://dl.bintray.com/rabbitmq/debian bionic main
EOF

更新软件包列表并安装：
# sudo apt get update
# apt cache madison rabbitmq server 查看可以安装的版本
apt install rabbitmq server=3.7.22 1 安装较新版本的 R abbitMQ

安装完成
MQ--1( Message queuing）>>>>RabbitMQ_第3张图片
实验：
https://www.rabbitmq.com/install-debian.html #单机安装部署参考文件

sudo apt-get update -y

sudo apt-get install curl gnupg -y

curl -fsSL https://github.com/rabbitmq/signing-keys/releases/download/2.0/rabbitmq-release-signing-key.asc | sudo apt-key add -

sudo apt-get install apt-transport-https

sudo tee /etc/apt/sources.list.d/bintray.rabbitmq.list <<EOF
## Installs the latest Erlang 22.x release.
## Change component to "erlang-21.x" to install the latest 21.x version.
## "bionic" as distribution name should work for any later Ubuntu or Debian release.
## See the release to distribution mapping table in RabbitMQ doc guides to learn more.
deb https://dl.bintray.com/rabbitmq-erlang/debian bionic erlang
deb https://dl.bintray.com/rabbitmq/debian bionic main
EOF
sudo apt-get update -y
apt-cache madison rabbitmq-server

root@MQ-server1:~# apt install rabbitmq-server=3.8.3-1 -y

MQ--1( Message queuing）>>>>RabbitMQ_第4张图片

root@MQ-server1:~# systemctl status rabbitmq-server  #ubantu会自动启动rabbitmq
修改了配置文件需要restart

MQ--1( Message queuing）>>>>RabbitMQ_第5张图片

root@MQ-server1:~# rabbitmqctl --help  #查看对应命令

https://docs.openstack.org/install-guide/environment-messaging-ubuntu.html #命令使用 权限

1 .3.1.3 ：启动 Rabbit MQ服务

# systemctl start rabbitmq server
# systemctl enable rabbitmq server

MQ--1( Message queuing）>>>>RabbitMQ_第6张图片

1.3.1.4 ：开启web界面管理插件

root@MQ-server1:~# rabbitmq-plugins list  #插件已经安装

root@MQ-server1:~# rabbitmq-plugins enable  rabbitmq_management  #打开插件
Enabling plugins on node rabbit@MQ-server1:
rabbitmq_management
The following plugins have been configured:
  rabbitmq_management
  rabbitmq_management_agent
  rabbitmq_web_dispatch
Applying plugin configuration to rabbit@MQ-server1...
The following plugins have been enabled:
  rabbitmq_management
  rabbitmq_management_agent
  rabbitmq_web_dispatch

started 3 plugins.


# rabbitmq-plugins enable rabbitmq_management

5672 ：消费者访问的 端口
15672 web 管理端口
25672 ：集群状态通信端口

MQ--1( Message queuing）>>>>RabbitMQ_第7张图片

1.3.1.5 登陆 web 管理界面

rabbitmq 从 3.3.0 开始禁止使用 guest/guest 权限通过除 localhost 外的访问 ，
直接访问报错如下：默认账号口令都是guest。但是禁止了除了本机登入
MQ--1( Message queuing）>>>>RabbitMQ_第8张图片
允许方式:

#vim /usr/lib/rabbitmq/lib/rabbitmq_server 3.7.22/ebin/rabbit.app
39行    {loopback_users, []},    #删除被禁止登陆的 guest账户 删除中括号里面的内容

#systemctl restart rabbitmq server.service   # 重启 rabbitmq 服务

实验：

root@MQ-server1:~# vim /usr/lib/rabbitmq/lib/rabbitmq_server-3.8.3/ebin/rabbit.app 
39行    {loopback_users, []},    #删除被禁止登陆的 guest账户 删除中括号里面的内容

root@MQ-server1:~# systemctl restart rabbitmq-server.service

MQ--1( Message queuing）>>>>RabbitMQ_第9张图片
刷新重新登入：
MQ--1( Message queuing）>>>>RabbitMQ_第10张图片
创建用户：
可以直接在web操作端中的Admin中创建新的用户
MQ--1( Message queuing）>>>>RabbitMQ_第11张图片
也可以通过命令行的方式创建用户，但是默认是没有权限的，权限需要重新用命令行进行授权：

root@MQ-server1:~# rabbitmqctl  add_user user2 123456
Adding user "user2" ...

root@MQ-server1:~# rabbitmqctl set_permissions user2 ".*" ".*" ".*"
Setting permissions for user "user2" in vhost "/" ...

.*代表全部权限 每一个对应表示下面的配置 写 和读
MQ--1( Message queuing）>>>>RabbitMQ_第12张图片

1.4 RabbitMQ 集群部署

Rabbitmq集群 分为二种方式：

普通模式：创建好 RabbitMQ 之后的默认模式 。
镜像模式：把需要的队列做成镜像队列。

普通集群模式：
queue 创建之后，如果没有其它 policy ，消息实体只存在于其中一个节点， A 、 B 两个 Rabbitmq 节点仅有相同的元数据 ，即队列结构，但队列的数据仅保存有一份，即创建该队列的 rabbitmq 节点（ A 节点），当消息进入 A 节点的 Queue 中后， consumer 从 B 节点拉取时， RabbitMQ 会临时在 A 、 B 间进行消息传输，把 A 中的消息实体取出并经过 B 发送给 consumer ，所以 consumer 可以连接每一个节点，从中取消息，该模式存在一个问题就是当 A 节点故障后， B节点无法取到 A 节点中还未消费的消息实体。
一个消息只能被消费者消费一次
消息消费在同一个mq是不会重复被消费

镜像集群模式：
把需要的队列做成镜像队列，存在于多个节点，属于RabbitMQ 的 HA 方案（镜像模式是在普通模式的基础上，增加一 些镜像策略）该模式解决了上述问题，其实质和普通模式不同之处在于，消息实体会主动在镜像节点间同步，而不是在 consumer 取数据时临时拉取。该模式带来的副作用也很明显，除了降低系统性能外，如果镜像队列数量过多，加之大量的消息进入，
集群内部的网络带宽将会被这种同步通讯大大消耗掉。所以在对可靠性要求较高的场合中适用，一个队列想做成镜像队列，需要先设置 policy ，然后客户端创建队列的时候， rabbitmq 集群根据“队列名称”自动设置是普通集群模式或镜像队列。

集群中有两种节点类型：
内存节点：只将数据保存到内存 内存节点断电之后会丢失 磁盘节点不会断电丢失
磁盘节点：保存数据到内存和磁盘。
内存节点虽然不写入磁盘，但是它执行比磁盘节点要好，集群中，只需要一个磁盘节点来保存数据就足够了。如果集群中只有内存节点，那么不能全部停止它们，否则所有数据消息在服务器全部停机之后都会丢失。

推荐设计架构：
在一个 rabbitmq 集群里，有 3 台 或以上机器，其中 1 台使用磁盘模式，其它节点使用内存模式，内存节点无访问速度更快，由于磁盘 IO 相对较慢，因此可作为数据备份使用。

1.4.1Ubuntu 1804 安装集群版 RabbitMQ

集群环境 三台服务器具体 IP 如下
172.18.0.51
172.18.0.52
172.18.0.53

实验：
172.20.10.100 MQ-server1.kaivi.tech
172.20.10.101 MQ-server2.kaivi.tech
172.20.10.102 MQ-server3.kaivi.tech

1.4.1.1 主机名解析配置

各 MQ 服务器配置本地 主机名解析：
172.18.0.51 mq server1 mq server1.magedu.net
172.18.0.52 mq server2 mq server2.magedu.net
172.18.0.53 mq server3 mq server3.magedu.net

实验：
集群中的每一台服务器都配置一样的本地主机名解析

root@MQ-serverx:~# vim /etc/hosts
root@MQ-serverx:~# cat /etc/hosts
127.0.0.1	localhost
127.0.1.1	ubuntu-server

# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.20.10.100 MQ-server1 MQ-server1.kaivi.tech
172.20.10.101 MQ-server2 MQ-server2.kaivi.tech
172.20.10.102 MQ-server3 MQ-server3.kaivi.tech

1.4.1. 2 ：各服务器安装 RabbitMQ

各 RabbitMQ 服务器安装 基础命令及添加 key
#sudo apt get install curl gnupg
# curl -fsSL https://github.com/rabbitmq/signing-
keys/releases/download/2.0/rabbitmq release signing key.asc | sudo apt key add
OK

各 RabbitMQ 安装 apt HTTPS 传输
# sudo apt get install apt transport https

各 RabbitMQ 服务器添加 apt 源
sudo tee /etc/apt/sources.list.d/bintray.rabbitmq.list <<EOF
## Installs the latest Erlang 22.x release.
## Change component to "erlang 21.x" to install the latest 21.x version.
## "bionic" as distribution name should work for any later Ubuntu or Debian release.
## See the release to distribution mapping table in RabbitMQ doc guides to learn
more.
deb https://dl.bintray.com/rabbitmq erlang/debian bionic erlang
deb https://dl.bintray.com/rabbitmq/debian bionic main
EOF

各 RabbitMQ 更新软件包列表并执行安装：
# sudo apt get update
# apt cache madison rabbitmq-server 查看可以安装的版本
apt install rabbitmq-server=3.7.22 1 安装较新版本的 RabbitMQ

实验：
https://www.rabbitmq.com/install-debian.html #集群安装部署参考
这里直接用脚本的方式安装,在每一个服务其中创建一个脚本文件，然后运行安装即可:

#!/bin/sh

## If sudo is not available on the system,
## uncomment the line below to install it
# apt-get install -y sudo

sudo apt-get update -y

## Install prerequisites
sudo apt-get install curl gnupg -y

## Install RabbitMQ signing key
curl -fsSL https://github.com/rabbitmq/signing-keys/releases/download/2.0/rabbitmq-release-signing-key.asc | sudo apt-key add -

## Install apt HTTPS transport
sudo apt-get install apt-transport-https

## Add Bintray repositories that provision latest RabbitMQ and Erlang 21.x releases
sudo tee /etc/apt/sources.list.d/bintray.rabbitmq.list <<EOF
## Installs the latest Erlang 22.x release.
## Change component to "erlang-21.x" to install the latest 21.x version.
## "bionic" as distribution name should work for any later Ubuntu or Debian release.
## See the release to distribution mapping table in RabbitMQ doc guides to learn more.
deb https://dl.bintray.com/rabbitmq-erlang/debian bionic erlang
deb https://dl.bintray.com/rabbitmq/debian bionic main
EOF

## Update package indices
sudo apt-get update -y

## Install rabbitmq-server and its dependencies
sudo apt-get install rabbitmq-server -y --fix-missing

安装完成
MQ--1( Message queuing）>>>>RabbitMQ_第13张图片

1.4.1.3 启动 RabbitMQ 服务

Server1
root@mq server1:~# systemctl enable rabbitmq server
root@mq server1:~# sys temctl start rabbitmq server

Server2
root@mq server2:~# systemctl start rabbitmq server
root@mq server2:~# systemctl enable rabbitmq server

Server3
root@mq server3:~# systemctl start rabbitmq server
root@mq server3:~# systemctl enable rabbitm q server

1.4.1.4 ：创建 Rabbit MQ 集群

Rabbitmq的集群是依赖于 erlang 的集群来工作的，所以必须先构建起 erlang 的集群环境 而 Erlang 的集群中各节点是通过一个 magic cookie 来实现的，这个cookie存放在 /var/lib/rabbitmq/.erlang.cookie 中，文件是 400 的权限 所以必须保证各节点 cookie 保持一致，否则节点之间就无法通信。

1.4.1.4.1 ：各服务器关闭 RabbitMQ

拷贝同步之前需要把各个服务器的rabbitmq关闭，这样相对来说安全些

root@MQ-server1:~# systemctl stop rabbitmq-server.service
root@MQ-server2:~# systemctl stop rabbitmq-server.service 
root@MQ-server3:~# systemctl stop rabbitmq-server.service


在 mq server1 同步 .erlang.cookie 至其他两台服务器
# scp /var/lib/rabbitmq/.erlang.cookie 172.18.0.52:/var/lib/rabbitmq/.erlang.cookie

# scp /var/lib/rabbitmq/.erlang.cookie 172.18.0.53:/var/lib/rabbitmq/.erlang.cookie
1.4.1.4.2 各服务器启动 RabbitMQ

打开web插件以及允许用户远程访问

root@MQ-server1:~# rabbitmq-plugins enable rabbitmq_management 
root@MQ-server2:~# rabbitmq-plugins enable rabbitmq_management 
root@MQ-server3:~# rabbitmq-plugins enable rabbitmq_management

打开每一个服务器的除了本机的远程访问

root@MQ-serverX:~# vim /usr/lib/rabbitmq/lib/rabbitmq_server-3.8.3/ebin/rabbit.app 
39行   {loopback_users, []},  #把中括号里面的<<"guest">>删除即可

root@MQ-server1:~# systemctl restart rabbitmq-server.service
root@MQ-server2:~# systemctl restart rabbitmq-server.service 
root@MQ-server3:~# systemctl restart rabbitmq-server.service

验证集群中的erlang.cookie是否全部一致

cat /var/lib/rabbitmq/.erlang.cookie 
AQMGTUCQYQKQYXZUIDPT
1.4.1.4.3 查看当前集群状态

这个是3.7.X版本的返回状态的结果

root@mq server1:~# rabbitmqctl cluster_status
Cluster status of node rabbit@mq server1 ...
[{nodes,[{disc,['rabbit@mq server1']}]}, #磁盘
{running_nodes,['rabbit@mq server1']},
{cluster_name,<<"rabbit@mq server1">>},
{partitions,[]},
{alarms,[{'rabbit@mq server1',[]}]}]

root@mq server2:~# rabbitmqctl cluster_status
Cluster status of node rabbit@mq server2 ...
[{nodes,[{disc,['rabbit@mq server2']}]},
{running_nodes,['rabbit@mq server2']},
{cluster_name,<<"rabbit@mq server2
{partitions,[]},
{alarms,[{'rabbit@mq server2',[]}]}]

root@mq server3:~# rabbitmqctl cluster_status
Cluster status of node rabbit@mq server3 ...
[{nodes,[{disc,['rabbit@mq server3']}]},
{running_nodes,['rabbit@mq server3']},
{cluster_name,<<"ra bbit@mq server3">>},
{partitions,[]},
{alarms,[{'rabbit@mq server3',[]}]}]

3.8.x版本返回集群的状态：

root@MQ-server1:~# rabbitmqctl cluster_status
Cluster status of node rabbit@MQ-server1 ...
Basics

Cluster name: rabbit@MQ-server1

Disk Nodes

rabbit@MQ-server1

Running Nodes

rabbit@MQ-server1

Versions

rabbit@MQ-server1: RabbitMQ 3.8.3 on Erlang 22.3

Alarms

(none)

Network Partitions

(none)

Listeners

Node: rabbit@MQ-server1, interface: [::], port: 25672, protocol: clustering, purpose: inter-node and CLI tool communication
Node: rabbit@MQ-server1, interface: [::], port: 5672, protocol: amqp, purpose: AMQP 0-9-1 and AMQP 1.0
Node: rabbit@MQ-server1, interface: [::], port: 15672, protocol: http, purpose: HTTP API

Feature flags

Flag: drop_unroutable_metric, state: disabled
Flag: empty_basic_get_metric, state: disabled
Flag: implicit_default_bindings, state: enabled
Flag: quorum_queue, state: enabled
Flag: virtual_host_metadata, state: enabled

1.4.1.4.4 ：创建 RabbitMQ 集群：

在mq server1 作为内存节点连接起来，并作为内存节点，在 mq server1 执行以下命令：
被加入的节点数据需要清空 没有其他的节点
这里把mq serer1 和mq serer2 节点加到mq server3中

root@mq server1:~# rabbitmqctl stop_app  #停止 app 服务
root@mq server1:~# rabbitmqctl reset  #清空元数据
Resetting node rabbit@mq server1 ...

＃将rabbitmq server1 添加到集群当中，并成为内存节点，不加 --ram 默认是磁盘节点
加了--ram 表示作为内存节点
root@mq server1:~# rabbitmqctl join_cluster rabbit@mq-server3 --ram
Clustering node rabbit@mq server1 with rabbit@mq server3  #rabbit不是用户而已一种协议 后面是可以解析的短域名

root@mq server1:~# rabbitmqctl start_app #启动app服务
Starting node rabbit@mq server1 ...
completed with 3 plugins.

在mq server2 作为内存节点连接起来，并作为内存节点，在 mq server2 执行以下命令：

root@mq server2:~# rabbitmqctl stop_app
Stopping rabbit application on node rabbit@mq server2 ...

root@mq server2:~# rabbitmqctl reset 
Resett ing node rabbit@mq server2 ...

root@mq server2:~# rabbitmqctl join_cluster rabbit@mq-server3 --ram
Clustering node rabbit@mq server2 with rabbit@mq server3

root@mq server2:~# rabbitmqctl start_app
Starting node rabbit@mq server2 ...
completed with 0 p lugins.

启动插件不需要重启服务

实验：
在mq server1 作为内存节点连接起来，并作为内存节点，在 mq server1 执行以下命令

root@MQ-server1:~# rabbitmqctl stop_app
Stopping rabbit application on node rabbit@MQ-server1 ...

root@MQ-server1:~# rabbitmqctl reset
Resetting node rabbit@MQ-server1 ...

root@MQ-server1:~# id rabbitmq  #存在一个用户叫做rabbitmq
uid=113(rabbitmq) gid=116(rabbitmq) groups=116(rabbitmq)

root@MQ-server1:~# rabbitmqctl join_cluster rabbit@MQ-server3 --ram 
Clustering node rabbit@MQ-server1 with rabbit@MQ-server3

root@MQ-server1:~# rabbitmqctl start_app

在mq server2 作为内存节点连接起来，并作为内存节点，在 mq server2 执行以下命令

root@MQ-server2:~# rabbitmqctl stop_app
Stopping rabbit application on node rabbit@MQ-server2 ...
root@MQ-server2:~# rabbitmqctl reset
Resetting node rabbit@MQ-server2 ...
root@MQ-server2:~# rabbitmqctl join_cluster rabbit@MQ-server3 --ram 
Clustering node rabbit@MQ-server2 with rabbit@MQ-server3
root@MQ-server2:~# rabbitmqctl start_app
Starting node rabbit@MQ-server2 ...
 completed with 3 plugins.
root@MQ-server2:~#

查看web管理界面：
MQ--1( Message queuing）>>>>RabbitMQ_第14张图片
如果没有显式信息，中间绿色部分是黄色，那就是明天开启web插件

1.4.1.4.5：将集群设置为镜像模式

只要在其中一台节点执行以下命令即可：

root@mq server1:~# rabbitmqctl set_policy ha-all "#" '{"ha-mode":"all"}'
Setting policy "ha-all" for pattern "#" to "{"ha-mode":"all"}" with priority "0" for vhost "/" ...

实验：
镜像模式需要设置一个策略即可：

root@MQ-server2:~# rabbitmqctl set_policy ha-all "#" '{"ha-mode":"all"}'
Setting policy "ha-all" for pattern "#" to "{"ha-mode":"all"}" with priority "0" for vhost "/" ...

这样之后数据会自动同步到其他的节点
可以在MQ-server3 中创建一个账号 然后再MQ-server1中查看是否同步

1.4.1.4.6 验证当前集群状态：

这个是3.7.X版本的返回状态的结果

root@mq server1:~# rabbitmqctl cluster_status
Cluster status of node rabbit@mq server1 ...
[{nodes,[{disc,['rabbit@mq server3']}, #集群中至少有一个节点是磁盘节点用于数据持久化
{ram,['rabbit@mq server2','rabbit@mq server1']}]}, #集群中的内存节点
{running_nodes,['rabbit@mq server2','rabbit@mq server3','r abbit@mq server1']},
{cluster_name,<<"rabbit@mq server3">>}, #当前正在运行的节点
{partitio ns,[]},
{alarms,[{'rabbit@mq server2',[]},
		{'rabbit@mq server3',[]},
		{'rabbit@mq server1',[]}]}]

这个是3.8.X版本的返回状态的结果

root@MQ-server1:~# rabbitmqctl cluster_status
Cluster status of node rabbit@MQ-server1 ...
Basics

Cluster name: rabbit@MQ-server1

Disk Nodes

rabbit@MQ-server3

RAM Nodes

rabbit@MQ-server1
rabbit@MQ-server2

Running Nodes

rabbit@MQ-server1
rabbit@MQ-server2
rabbit@MQ-server3

Versions

rabbit@MQ-server1: RabbitMQ 3.8.3 on Erlang 22.3
rabbit@MQ-server2: RabbitMQ 3.8.3 on Erlang 22.3
rabbit@MQ-server3: RabbitMQ 3.8.3 on Erlang 22.3

Alarms

(none)

Network Partitions

(none)

Listeners

Node: rabbit@MQ-server1, interface: [::], port: 25672, protocol: clustering, purpose: inter-node and CLI tool communication
Node: rabbit@MQ-server1, interface: [::], port: 5672, protocol: amqp, purpose: AMQP 0-9-1 and AMQP 1.0
Node: rabbit@MQ-server1, interface: [::], port: 15672, protocol: http, purpose: HTTP API
Node: rabbit@MQ-server2, interface: [::], port: 25672, protocol: clustering, purpose: inter-node and CLI tool communication
Node: rabbit@MQ-server2, interface: [::], port: 5672, protocol: amqp, purpose: AMQP 0-9-1 and AMQP 1.0
Node: rabbit@MQ-server2, interface: [::], port: 15672, protocol: http, purpose: HTTP API
Node: rabbit@MQ-server3, interface: [::], port: 25672, protocol: clustering, purpose: inter-node and CLI tool communication
Node: rabbit@MQ-server3, interface: [::], port: 5672, protocol: amqp, purpose: AMQP 0-9-1 and AMQP 1.0
Node: rabbit@MQ-server3, interface: [::], port: 15672, protocol: http, purpose: HTTP API

Feature flags

Flag: drop_unroutable_metric, state: disabled
Flag: empty_basic_get_metric, state: disabled
Flag: implicit_default_bindings, state: enabled
Flag: quorum_queue, state: enabled
Flag: virtual_host_metadata, state: enabled

1.4.2 web 界面验证集群状态

1.4.2.1 web 界面验证当 前集群状态：

不启用 web 插件的 rabbitmq 服务器 会在 web 节点提示 节点统计信息不可用
Node statistics not available
MQ--1( Message queuing）>>>>RabbitMQ_第15张图片

1.2.2 各服务器启动 web 插件

root@mq server2:~# rabbitmq-plugins enable rabbitmq_management
Enabling plugins on node rabbit@mq server2:
rabbitmq_management
The following plugins have b een configured:
rabbitmq_management
rabbitmq_management_agent
rabbitmq_web_dispatch
Applying plugin configuration to rabbit@mq server2...
The following plugins have been enabled:
rabbitmq_management
rabbitmq_management_agent
rabbitmq_web_dispatch

started 3 plugins.

root@mq server3:~# rabbitmq-plugins enable rabbitmq_management
Enabling plugins on node rabbit@mq server3:
rabbitmq_management
The following plugins have been configured:
rabbitmq_management
rabbitmq_management_agent
rabbitmq_ web_dispatch
Applying plugin configuration to rabbit@mq server3...
The following plugins have been enabled:
rabbitmq_management
rabbitmq_management_agent
rabbitmq_web_dispatch

started 3 plugins.

1.4.2.3 开启 web 插件后的集群状态

MQ--1( Message queuing）>>>>RabbitMQ_第16张图片

1.5 Rabbit MQ 常用命令

创建 vhost  #一般开发去加
root@mq server1:~# rabbitmqctl add_vhost magedu
Adding vhost "magedu" ...

列出所有 vhost
root@mq server1:~# rabbitmqctl list_vhosts
Listing vhosts ...
name
magedu
/
列出所有队列
root@mq server1:~# rabbitmqctl list_queues
Timeout: 60.0 seconds ...
Listing q ueues for vhost / ...

删除指定 vhost
root@mq server1:~# rabbitmqctl delete_vhost magedu
Deleting vhost "magedu" ...

添加账户 jack 密码为 123456
root@mq server1:~# rabbitmqctl add_user jack 123456
Adding user "jack" ...

更改用户密码
root@mq server1:~# rabbitmqctl change_password jack 654321
Changing password for user "jack" ...

设置 jack 用户对 magedu 的 vhost 有读写权限 ，三个点为配置、读和写
root@mq-server1:~# rabbitmqctl set_permissions -p magedu jack ".*" ".*" ".*"
Setting permissions for user "jack" in vhost "magedu" ...

root@mq-server1:~# rabbitmqctl list_users
Listing users ...
user	tags
guest	[administrator]
duanxin	[administrator]

MQ--1( Message queuing）>>>>RabbitMQ_第17张图片

1.7 Rabbitmq API

https://rawcdn.githack.com/rabbitmq/rabbitmq-management/rabbitmq_v3_6_9/priv/www/api/index.html

1.7.1 集群状态监控

#!/bin/env python
#coding:utf 8
#Author: ZhangJie
import subprocess
running_list = []
error_list = []
false = "false"
true = "true"
def get_status():
obj = subprocess.Popen(("curl -s -u guest:guest
http://localhost:15672/a pi/nodes &> /dev/null"), shell=True,
stdout=subprocess.PIPE)  #通过root@MQ-server3:~# curl -s -u guest:guest http://localhost:15672/api/vhosts 来进行查找
data = obj.stdout.read()
data1 = eval(data)
for i in data1:
if i.get("running") == "true":
running_list.append(i.get("name"))
el se:
error_list.append(i.get("name"))
def count_server():
if len(running_list) < 3: # 可以判断错误列表大于 0 或者运行列表小于 3 3
未总计的节点数量
print(101) # 100 就是集群内有节点运行不正常了
else:
print(50) # 50 为所有节点全部运行正常
def main():
get_status()
count_server()
if __name__ == "__main__":
main()

######################################################################################

cat rabbitmq-monitor.py
#!/bin/env python
#coding:utf 8
#Author: ZhangJie
import subprocess

running_list = []
error_list = []
false = "false"
true = "true"

def get_status():
    obj = subprocess.Popen(("curl -s -u guest:guest http://localhost:15672/api/nodes &> /dev/null"), shell=True,stdout=subprocess.PIPE) 
     #通过root@MQ-server3:~# curl -s -u guest:guest http://localhost:15672/api/vhosts 来进行查找
    data = obj.stdout.read()
    data1 = eval(data)
    for i in data1:
        if i.get("running") == "true":
            running_list.append(i.get("name"))
        else:
            error_list.append(i.get("name"))

def count_server():
    if len(running_list) < 3: # 可以判断错误列表大于 0 或者运行列表小于 3 3未总计的节点数量
        print(100) # 100 就是集群内有节点运行不正常了
    else:
        print(50) # 50 为所有节点全部运行正常

def main():
    get_status()
    count_server()

if __name__ == "__main__":
    main()

root@MQ-server2:~# python3 rabbitmq-monitor.py  #节点失效
100
root@MQ-server2:~# python3 rabbitmq-monitor.py  #节点正常
50

1.7.2 内存使用监控

# cat rabbitmq_memory.py
#!/bin/env python
#coding:utf 8
#Author: ZhangJie
import subprocess
import sys
running_list = []
error_list = []
false = "false"
true = "true"
def get_status():
obj = subprocess.Popen(("curl s u guest:guest
http://localhost:15672/api/nodes &> /dev/null"), shell=True,
stdout=subprocess.PIPE)
data = obj.stdout.read()
data1 = eval(data)
#print(
for i in data1:
if i.get("name") == sys.argv[1]:
print(i.get("mem_used"))
def main():
get_status()
if __name__ == "__main__":
main()
root@mq server3:~# python3 rabbitmq_memory.py rabbit@mq server1
85774336
root@mq server3:~# python3 rabbitmq_memory.py rabbit@mq server2
91099136
root@mq server3:~# python3 rabbitmq_memory.py rabbit@mq server3
96428032

################################################################################################

#!/bin/env python
#coding:utf 8
#Author: ZhangJie
import subprocess
import sys

running_list = []
error_list = []
false = "false"
true = "true"


def get_status():
    obj = subprocess.Popen(("curl -s -u guest:guest http://localhost:15672/api/nodes &> /dev/null"), shell=True,stdout=subprocess.PIPE)
    data = obj.stdout.read()
    data1 = eval(data)
    for i in data1:
        if i.get("name") == sys.argv[1]:
            print(i.get("mem_used"))
            
def main():
    get_status()

if __name__ == "__main__":
    main()


root@MQ-server1:~# python3 rabbitmq-menmory.py rabbit@MQ-server1  #需要传参数
88158208
root@MQ-server1:~# python3 rabbitmq-menmory.py rabbit@MQ-server2
89165824
root@MQ-server1:~# python3 rabbitmq-menmory.py rabbit@MQ-server3
86065152

你可能感兴趣的:(MQ----RABBITMQ)

  • java责任链模式 3213213333332132 java责任链模式村民告县长
    责任链模式，通常就是一个请求从最低级开始往上层层的请求，当在某一层满足条件时，请求将被处理，当请求到最高层仍未满足时，则请求不会被处理。 就是一个请求在这个链条的责任范围内，会被相应的处理，如果超出链条的责任范围外，请求不会被相应的处理。 下面代码模拟这样的效果： 创建一个政府抽象类,方便所有的具体政府部门继承它。 package 责任链模式; /** *
  • linux、mysql、nginx、tomcat 性能参数优化 ronin47
    一、linux 系统内核参数 /etc/sysctl.conf文件常用参数 net.core.netdev_max_backlog = 32768 #允许送到队列的数据包的最大数目 net.core.rmem_max = 8388608 #SOCKET读缓存区大小 net.core.wmem_max = 8388608 #SOCKET写缓存区大
  • php命令行界面 dcj3sjt126com PHPcli
    常用选项 php -v php -i PHP安装的有关信息 php -h 访问帮助文件 php -m 列出编译到当前PHP安装的所有模块 执行一段代码 php -r 'echo "hello, world!";' php -r 'echo "Hello, World!\n";' php -r '$ts = filemtime("
  • Filter&Session 171815164 session
    Filter HttpServletRequest requ = (HttpServletRequest) req; HttpSession session = requ.getSession(); if (session.getAttribute("admin") == null) { PrintWriter out = res.ge
  • 连接池与Spring,Hibernate结合 g21121 Hibernate
            前几篇关于Java连接池的介绍都是基于Java应用的，而我们常用的场景是与Spring和ORM框架结合，下面就利用实例学习一下这方面的配置。         1.下载相关内容：     &nb
  • [简单]mybatis判断数字类型 53873039oycg mybatis
           昨天同事反馈mybatis保存不了int类型的属性,一直报错，错误信息如下:       Caused by: java.lang.NumberFormatException: For input string: "null" at sun.mis
  • 项目启动时或者启动后ava.lang.OutOfMemoryError: PermGen space 程序员是怎么炼成的 eclipsejvmtomcatcatalina.sheclipse.ini
       在启动比较大的项目时，因为存在大量的jsp页面，所以在编译的时候会生成很多的.class文件，.class文件是都会被加载到jvm的方法区中，如果要加载的class文件很多，就会出现方法区溢出异常 java.lang.OutOfMemoryError: PermGen space.     解决办法是点击eclipse里的tomcat，在
  • 我的crm小结 aijuans crm
    各种原因吧，crm今天才完了。主要是接触了几个新技术： Struts2、poi、ibatis这几个都是以前的项目中用过的。 Jsf、tapestry是这次新接触的，都是界面层的框架，用起来也不难。思路和struts不太一样，传说比较简单方便。不过个人感觉还是struts用着顺手啊，当然springmvc也很顺手，不知道是因为习惯还是什么。jsf和tapestry应用的时候需要知道他们的标签、主
  • spring里配置使用hibernate的二级缓存几步 antonyup_2006 javaspringHibernatexmlcache
    ．在spring的配置文件中 applicationContent.xml，hibernate部分加入 xml 代码 <prop key="hibernate.cache.provider_class">org.hibernate.cache.EhCacheProvider</prop> <prop key="hi
  • JAVA基础面试题 百合不是茶 抽象实现接口String类接口继承抽象类继承实体类自定义异常
    /*   * 栈（stack）：主要保存基本类型（或者叫内置类型）（char、byte、short、   *int、long、 float、double、boolean）和对象的引用，数据可以共享，速度仅次于   * 寄存器（register），快于堆。堆（heap）：用于存储对象。   */  &
  • 让sqlmap文件 "继承" 起来 bijian1013 javaibatissqlmap
            多个项目中使用ibatis , 和数据库表对应的 sqlmap文件（增删改查等基本语句)，dao, pojo 都是由工具自动生成的, 现在将这些自动生成的文件放在一个单独的工程中，其它项目工程中通过jar包来引用 ，并通过"继承"为基础的sqlmap文件，dao,pojo 添加新的方法来满足项
  • 精通Oracle10编程SQL(13)开发触发器 bijian1013 oracle数据库plsql
    /* *开发触发器 */ --得到日期是周几 select to_char(sysdate+4,'DY','nls_date_language=AMERICAN') from dual; select to_char(sysdate,'DY','nls_date_language=AMERICAN') from dual; --建立BEFORE语句触发器 CREATE O
  • 【EhCache三】EhCache查询 bit1129 ehcache
    本文介绍EhCache查询缓存中数据，EhCache提供了类似Hibernate的查询API，可以按照给定的条件进行查询。   要对EhCache进行查询，需要在ehcache.xml中设定要查询的属性   数据准备 @Before public void setUp() { //加载EhCache配置文件 Inpu
  • CXF框架入门实例 白糖_ springWeb框架webserviceservlet
    CXF是apache旗下的开源框架，由Celtix + XFire这两门经典的框架合成，是一套非常流行的web service框架。 它提供了JAX-WS的全面支持，并且可以根据实际项目的需要，采用代码优先（Code First）或者 WSDL 优先（WSDL First）来轻松地实现 Web Services 的发布和使用，同时它能与spring进行完美结合。 在apache cxf官网提供
  • angular.equals boyitech AngularJSAngularJS APIAnguarJS 中文APIangular.equals
    angular.equals   描述: 比较两个值或者两个对象是不是 相等。还支持值的类型，正则表达式和数组的比较。   两个值或对象被认为是 相等的前提条件是以下的情况至少能满足一项： 两个值或者对象能通过=== （恒等） 的比较 两个值或者对象是同样类型，并且他们的属性都能通过angular
  • java-腾讯暑期实习生-输入一个数组A[1,2,...n]，求输入B，使得数组B中的第i个数字B[i]=A[0]*A[1]*...*A[i-1]*A[i+1] bylijinnan java
    这道题的具体思路请参看 何海涛的微博：http://weibo.com/zhedahht import java.math.BigInteger; import java.util.Arrays; public class CreateBFromATencent { /** * 题目：输入一个数组A[1,2,...n]，求输入B，使得数组B中的第i个数字B[i]=A
  • FastDFS 的安装和配置 修订版 Chen.H linuxfastDFS分布式文件系统
    FastDFS Home:http://code.google.com/p/fastdfs/ 1. 安装 http://code.google.com/p/fastdfs/wiki/Setup http://hi.baidu.com/leolance/blog/item/3c273327978ae55f93580703.html 安装libevent (对libevent的版本要求为1.4.
  • [强人工智能]拓扑扫描与自适应构造器 comsci 人工智能
          当我们面对一个有限拓扑网络的时候,在对已知的拓扑结构进行分析之后,发现在连通点之后,还存在若干个子网络,且这些网络的结构是未知的,数据库中并未存在这些网络的拓扑结构数据....这个时候,我们该怎么办呢?       那么,现在我们必须设计新的模块和代码包来处理上面的问题
  • oracle merge into的用法 daizj oraclesqlmerget into
    Oracle中merge into的使用 http://blog.csdn.net/yuzhic/article/details/1896878 http://blog.csdn.net/macle2010/article/details/5980965 该命令使用一条语句从一个或者多个数据源中完成对表的更新和插入数据. ORACLE 9i 中，使用此命令必须同时指定UPDATE 和INSE
  • 不适合使用Hadoop的场景 datamachine hadoop
    转自：http://dev.yesky.com/296/35381296.shtml。 　　Hadoop通常被认定是能够帮助你解决所有问题的唯一方案。 当人们提到“大数据”或是“数据分析”等相关问题的时候，会听到脱口而出的回答：Hadoop!  实际上Hadoop被设计和建造出来，是用来解决一系列特定问题的。对某些问题来说，Hadoop至多算是一个不好的选择，对另一些问题来说，选择Ha
  • YII findAll的用法 dcj3sjt126com yii
    看文档比较糊涂，其实挺简单的： $predictions=Prediction::model()->findAll("uid=:uid",array(":uid"=>10));   第一个参数是选择条件：”uid=10″。其中:uid是一个占位符，在后面的array(“:uid”=>10)对齐进行了赋值； 更完善的查询需要
  • vim 常用 NERDTree 快捷键 dcj3sjt126com vim
    下面给大家整理了一些vim NERDTree的常用快捷键了，这里几乎包括了所有的快捷键了，希望文章对各位会带来帮助。 切换工作台和目录 ctrl + w + h 光标 focus 左侧树形目录ctrl + w + l 光标 focus 右侧文件显示窗口ctrl + w + w 光标自动在左右侧窗口切换ctrl + w + r 移动当前窗口的布局位置 o 在已有窗口中打开文件、目录或书签，并跳
  • Java把目录下的文件打印出来 蕃薯耀 列出目录下的文件文件夹下面的文件目录下的文件
    Java把目录下的文件打印出来 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 2015年7月11日 11:02:
  • linux远程桌面----VNCServer与rdesktop hanqunfeng Desktop
    windows远程桌面到linux，需要在linux上安装vncserver，并开启vnc服务，同时需要在windows下使用vnc-viewer访问Linux。vncserver同时支持linux远程桌面到linux。   linux远程桌面到windows，需要在linux上安装rdesktop，同时开启windows的远程桌面访问。   下面分别介绍，以windo
  • guava中的join和split功能 jackyrong java
    guava库中，包含了很好的join和split的功能，例子如下： 1） 将LIST转换为使用字符串连接的字符串    List<String> names = Lists.newArrayList("John", "Jane", "Adam", "Tom");
  • Web开发技术十年发展历程 lampcy androidWeb浏览器html5
    回顾web开发技术这十年发展历程： Ajax 03年的时候我上六年级，那时候网吧刚在小县城的角落萌生。传奇，大话西游第一代网游一时风靡。我抱着试一试的心态给了网吧老板两块钱想申请个号玩玩，然后接下来的一个小时我一直在，注，册，账，号。 彼时网吧用的512k的带宽，注册的时候，填了一堆信息，提交，页面跳转，嘣，”您填写的信息有误，请重填”。然后跳转回注册页面，以此循环。我现在时常想，如果当时a
  • 架构师之mima-----------------mina的非NIO控制IOBuffer(说得比较好) nannan408 buffer
    1.前言。   如题。 2.代码。   IoService IoService是一个接口，有两种实现：IoAcceptor和IoConnector；其中IoAcceptor是针对Server端的实现，IoConnector是针对Client端的实现；IoService的职责包括： 1、监听器管理 2、IoHandler 3、IoSession
  • ORA-00054:resource busy and acquire with NOWAIT specified Everyday都不同 oraclesessionLock
    [Oracle] 今天对一个数据量很大的表进行操作时，出现如题所示的异常。此时表明数据库的事务处于“忙”的状态，而且被lock了，所以必须先关闭占用的session。   step1，查看被lock的session：   select t2.username, t2.sid, t2.serial#, t2.logon_time from v$locked_obj
  • javascript学习笔记 tntxia JavaScript
      javascript里面有6种基本类型的值:number、string、boolean、object、function和undefined。number：就是数字值，包括整数、小数、NaN、正负无穷。string:字符串类型、单双引号引起来的内容。boolean:true、false object:表示所有的javascript对象，不用多说function:我们熟悉的方法，也就是
  • Java enum的用法详解 xieke90 enum枚举
    Java中枚举实现的分析：     示例：  public static enum SEVERITY{ INFO,WARN,ERROR }     enum很像特殊的class，实际上enum声明定义的类型就是一个类。 而这些类都是类库中Enum类的子类      (java.l
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他