消息队列
MQ全称Message Queue(消息队列),是在消息的传输过程中保
存消息的容器。多用于系统之间的异步通信。
- 同步通信相当于两个人当面对话,你一言我一语。必须及时回复
消息
两台计算机间传送的数据单位。消息可以非常简单,例如只包含文
本字符串;也可以更复杂,可能包含嵌入对象。
应用解耦
在电商平台中,用户下订单需要调用订单系统,此时订单系统还需
要调用库存系统、支付系统、物流系统完成业务。此时会产生两个
问题:
如果在系统中引入MQ,即订单系统将消息先发送到MQ中,MQ再
转发到其他系统,则会解决以下问题:
异步提速
如果订单系统同步访问每个系统,则用户下单等待时长如下:
如果引入MQ,则用户下单等待时长如下:
削峰填谷
假设我们的系统每秒只能承载1000请求,如果请求瞬间增多到每秒
5000,则会造成系统崩溃。此时引入mq即可解决该问题
使用了MQ之后,限制消费消息的速度为1000,这样一来,高峰期
产生的数据势必会被积压在MQ中,高峰就被“削”掉了,但是因为消
息积压,在高峰期过后的一段时间内,消费消息的速度还是会维持
在1000,直到消费完积压的消息,这就叫做**“填谷”**。
系统可用性降低
系统引入的外部依赖越多,系统稳定性越差。一旦MQ宕机,就会对业务造成影响。
系统复杂度提高
MQ的加入大大增加了系统的复杂度,以前系统间是同步的远程调用,现在是通过MQ进行异步调用。
一致性问题
A系统处理完业务,通过MQ给B、C、D三个系统发消息数据,如果B系统、C系统处理成功,D系统处理失败,则会造成数据处理的不一致。
抢红包、秒杀活动、抢火车票等
这些业务场景都是短时间内需要处理大量请求,如果直接连接系
统处理业务,会耗费大量资源,有可能造成系统瘫痪。
而使用MQ后,可以先让用户将请求发送到MQ中,MQ会先保存
请求消息,不会占用系统资源,且MQ会进行消息排序,先请求
的秒杀成功,后请求的秒杀失败
消息分发
如电商网站要推送促销信息,该业务耗费时间较多,但对时效性
要求不高,可以使用MQ做消息分发。
数据同步
假如我们需要将数据保存到数据库之外,还需要一段时间将数据
同步到缓存(如Redis)、搜索引擎(如Elasticsearch)中。此
时可以将数据库的数据作为消息发送到MQ中,并同步到缓存、
搜索引擎中
异步处理
在电商系统中,订单完成后,需要及时的通知子系统(进销存系
统发货,用户服务积分,发送短信)进行下一步操作。为了保证
订单系统的高性能,应该直接返回订单结果,之后让MQ通知子
系统做其他非实时的业务操作。这样能保证核心业务的高效及
时。
离线处理
在银行系统中,如果要查询近十年的历史账单,这是非常耗时的
操作。如果发送同步请求,则会花费大量时间等待响应。此时使
用MQ发送异步请求,等到查询出结果后获取结果即可
RabbitMQ是由Erlang语言编写的基于AMQP的MQ产品。
AMQP
即Advanced Message Queuing Protocol(高级消息队列协议),是
一个网络协议,专门为消息中间件设计。基于此协议的客户端与消
息中间件可传递消息,并不受不同中间件产品,不同开发语言等条
件的限制。2006年AMQP规范发布,类比HTTP。
AMQP工作过程
生产者(Publisher)将消息发布到交换机(Exchange),交换机根据规
则将消息分发给交换机绑定的队列(Queue),队列再将消息投递给
订阅了此队列的消费者
Producer
消息的生产者。也是一个向交换机发布消息的客户端应用程序。
Connection
连接。生产者/消费者和RabbitMQ服务器之间建立的TCP连接。
Channel
信道。是TCP里面的虚拟连接。例如:Connection相当于电缆,
Channel相当于独立光纤束,一条TCP连接中可以创建多条信
道,增加连接效率。无论是发布消息、接收消息、订阅队列都是
通过信道完成的。
Broker
消息队列服务器实体。即RabbitMQ服务器
Virtual host
虚拟主机。出于多租户和安全因素设计的,把AMQP的基本组件
划分到一个虚拟的分组中。每个vhost本质上就是一个mini版的
RabbitMQ服务器,拥有自己的队列、交换机、绑定和权限机
制。当多个不同的用户使用同一个RabbitMQ服务器时,可以划
分出多个虚拟主机。RabbitMQ默认的虚拟主机路径是 /
Exchange
交换机。用来接收生产者发送的消息,并根据分发规则,将这些
消息分发给服务器中的队列中。不同的交换机有不同的分发规
则。
Queue
消息队列。用来保存消息直到发送给消费者。它是消息的容器,
也是消息的终点。消息一直在队列里面,等待消费者链接到这个
队列将其取走。
Binding
消息队列和交换机之间的虚拟连接,绑定中包含路由规则,绑定
信息保存到交换机的路由表中,作为消息的分发依据。
Consumer
消息的消费者。表示一个从消息队列中取得消息的客户端应用程
序
RabbitMQ为什么使用信道而不直接使用TCP连接通信?
TCP连接的创建和销毁开销特别大。创建需要3次握手,销毁需
要4次分手。高峰时每秒成千上万条TCP连接的创建会造成资源
巨大的浪费。而且操作系统每秒处理TCP连接数也是有限制的,
会造成性能瓶颈。而如果一条线程使用一条信道,一条TCP链接
可以容纳无限的信道,即使每秒成千上万的请求也不会成为性
能的瓶颈
RabbitMQ是使用Erlang语言编写的,所以在安装RabbitMQ前需要
先安装Erlang环境
yum install -y epel-release
wget https://packages.erlangsolutions.com/erlang-solutions-1.0-1.noarch.rpm
rpm -Uvh erlang-solutions-1.0-1.noarch.rpm
yum install erlang-24.2.1
erl -version
关闭运行的防火墙
systemctl stop firewalld.service
禁止防火墙自启动
systemctl disable firewalld.service
#修改文件
vim /etc/sysconfig/network
#添加如下内容
NETWORKING=yes
HOSTNAME=itbaizhan
#修改文件
vim /etc/hosts
#添加如下内容
服务器ip itbaizhan
#解压RabbitMQ
tar xf rabbitmq-server-generic-unix-
3.9.13.tar.xz
#重命名:
mv rabbitmq_server-3.9.13 rabbitmq
#移动文件夹:
mv rabbitmq /usr/local/
#编辑/etc/profile文件
vim /etc/profile
#添加如下内容
export PATH=$PATH:/usr/local/rabbitmq/sbin
#运行文件,让修改内容生效
source /etc/profile
rabbitmq-plugins enable
rabbitmq_management
#启动rabbitmq
rabbitmq-server -detached
#停止rabbitmq
rabbitmqctl stop
通过管控台访问RabbitMQ
路径:http://ip地址:15672 ,用户名: guest ,密码: guest
此时会提示guest账户只允许本地使用,我们可以配置允许使用
guest远程访问
#创建配置文件夹
mkdir -p /usr/local/rabbitmq/etc/rabbitmq
#创建配置文件
vim
/usr/local/rabbitmq/etc/rabbitmq/rabbitmq.
conf
#添加如下内容
loopback_users=none
#重启RabbitMQ
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app
账户管理
guest账户默认只允许本地使用,我们可以创建新账户远程访问
RabbitMQ
#创建账户
rabbitmqctl add_user 用户名 密码
rabbitmqctl set_user_tags 用户名
administrator
#“/“表示虚拟机
#jjy表示用户名
#”." ".” “." 表示完整权限
rabbitmqctl set_permissions -p “/” jjy ".” “." ".”
rabbitmqctl stop
#安装Docker
curl -fsSL https://get.docker.com | bash -
s docker --mirror Aliyun
#启动docker
systemctl start docker
docker pull rabbitmq
docker run -d --hostname jjy --name
rabbit -p 15672:15672 -p 5672:5672
rabbitmq
#查询rabbitmq容器ID
docker ps
#进入容器
docker exec -it 容器ID /bin/bash
#开启管控台插件
rabbitmq-plugins enable
rabbitmq_management
#退出容器
ctrl+p+q
通过管控台访问rabbitmq
路径: http://ip地址:15672 ,用户名: guest ,密码: guest
关闭RabbitMQ容器
docker stop rabbit