消息队列MQ技术的介绍和原理

MQ 是message queue ,消息队列，也叫消息中间件，是一种应用程序对应用程序的通信方法，是分布式系统的重要主件。主要用于解决应用解耦、异步消息、流量削锋等问题，实现高可用、可伸缩和最终一致性的架构。

目前使用较多的有ActiveMQ、RabbitMQ、Kafka、RocketMQ、ZeroMQ。

实现原理：应用程序通过对数据（消息）的写和检索出入列队的方式，来实现应用程序与应用程序之间的通信。

消息中间件的优点

     1、系统解耦

交互系统之间没有直接的调用关系，只是通过消息传输，故系统侵入性不强，耦合度低。

   2、提高系统响应时间

例如原来的一套逻辑，完成支付可能涉及先修改订单状态、计算会员积分、通知物流配送几个逻辑才能完成；通过MQ架构设计，就可将紧急重要（需要立刻响应）的业务放到该调用方法中，响应要求不高的使用消息队列，放到MQ队列中，供消费者处理。

  3、  为大数据处理架构提供服务

通过消息作为整合，大数据的背景下，消息队列还与实时处理架构整合，为数据处理提供性能支持。

  4、   Java消息服务——JMS

Java消息服务（Java Message Service，JMS）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。 
JMS中的P2P和Pub/Sub消息模式：点对点（point to point， queue）与发布订阅（publish/subscribe，topic）最初是由JMS定义的。这两种模式主要区别或解决的问题就是发送到队列的消息能否重复消费(多订阅)。

下面我们来重点解释一些名词：

JMS：全称Java Message Service（Java消息服务），是一个Java平台中关于面向消息中间件的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。Java消息服务是一个与具体平台无关的API，绝大多数MOM提供商都对JMS提供支持。

消息的生产者（Producer）:发送消息到消息队列

消息消费者（Consumer）：从消息队列接收消息

Broker：概念来自与Apache ActiveMQ，指MQ的服务端，帮你把消息从发送端传送到接收端。

消息队列Queue：一个先进先出的消息存储区域。消息按照顺序发送接收，一旦消息被消费处理，该消息将从队列中删除。

消息模型:在客户端之间传递消息的方式.主要有点对点（P2P），发布订阅（Pub/Sub）

点对点模型 ： 消息生产者 和 消息消费者 之间 点到点 的通信。

 

P2P的特点：

1. 每个消息只有一个消费者（Consumer），一旦被消费，消息就不再存在于消息队列中
2. 发送者和接受者之间在时间上没有依赖关系，也就是说当发送者发送消息之后，不管接受者有没有正在运行，他不会影响到消息被发送到队列。
3. 接受者在成功接收消息之后需要向队列应答成功。

发布订阅模型：客户端将消息发送到主题。多个发布者将消息发送到Topic,系统将这些消息传递给多个订阅者。

 

涉及到的概念：

主题（Topic）：主题，发布订阅模式下的消息统一汇集地，不同生产者向topic发送消息，由MQ服务器分发到不同的订阅者，实现消息的广播

发布者（Publisher）、订阅者（Subscriber）

特点

1. 每个消息可以有多个消费者：和点对点方式不同，发布消息可以被所有订阅者消费
2. 发布者和订阅者有时间上的依赖关系。针对某个主题（topic）的订阅者，他必须要创建一个订阅者之后，才能发布消息，而且为了消费消息，订阅者必须保持运行状态。

 

注：JMS允许订阅者创建一个可持久化的订阅。这样，即使订阅者没有被激活（运行），它也能接收到发布者的消息。

应用场景：

以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削锋和消息通讯四个场景。

异步处理：

场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种 1.串行的方式；2.并行方式

b、并行方式：将注册信息写入数据库成功后，发送注册邮件的同时，发送注册短信。以上三个任务完成后，返回给客户端。与串行的差别是，并行的方式可以提高处理的时间

假设三个业务节点每个使用50毫秒钟，不考虑网络等其他开销，则串行方式的时间是150毫秒，并行的时间可能是100毫秒。

引入消息队列，将不是必须的业务逻辑，异步处理。改造后的架构如下：

按照以上约定，用户的响应时间相当于是注册信息写入数据库的时间，也就是50毫秒。注册邮件，发送短信写入消息队列后，直接返回，因此写入消息队列的速度很快，基本可以忽略，因此用户的响应时间可能是50毫秒。因此架构改变后，系统的吞吐量提高到每秒20 QPS。比串行提高了3倍，比并行提高了两倍。

应用的解耦

场景说明：用户下单后，订单系统需要通知库存系统。传统的做法是，订单系统调用库存系统的接口。如下图：

传统模式的缺点：假如库存系统无法访问，则订单减库存将失败，从而导致订单失败，订单系统与库存系统耦合

如何解决以上问题呢？引入应用消息队列后的方案，如下图：

订单系统：用户下单后，订单系统完成持久化处理，将消息写入消息队列，返回用户订单下单成功
库存系统：订阅下单的消息，采用拉/推的方式，获取下单信息，库存系统根据下单信息，进行库存操作
假如：在下单时库存系统不能正常使用。也不影响正常下单，因为下单后，订单系统写入消息队列就不再关心其他的后续操作了。实现订单系统与库存系统的应用解耦