消息队列简述

消息队列（Message Queue），是分布式系统中重要的组件，其通用的使用场景可以简单地描述为：

当不需要立即获得结果，但是并发量又需要进行控制的时候，差不多就是需要使用消息队列的时候。

 

 

消息队列主要解决了应用耦合、异步处理、流量削锋等问题。

当前使用较多的消息队列有RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq等，而部分数据库如Redis、Mysql以及phxsql也可实现消息队列的功能。

什么时候需要消息队列

• 异步处理：例如短信通知、终端状态推送、App推送、用户注册等
  有些业务不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放入队列，但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们。

• 数据同步：业务数据推送同步

• 重试补偿：记账失败重试

• 系统解耦：通讯上下行、终端异常监控、分布式事件中心
  降低工程间的强依赖程度，针对异构系统进行适配。在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。通过消息系统在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口，当应用发生变化时，可以独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束

• 流量消峰：秒杀场景下的下单处理
  在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量无法提取预知；如果以为了能处理这类瞬间峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。

• 发布订阅：HSF的服务状态变化通知、分布式事件中心

• 数据流处理：日志服务、监控上报
  分布式系统产生的海量数据流，如：业务日志、监控数据、用户行为等，针对这些数据流进行实时或批量采集汇总，然后进行大数据分析是当前互联网的必备技术，通过消息队列完成此类数据收集是最好的选择

• 分布式事务

• RPC调用

 什么是MQ

Message Query（MQ），消息队列中间件，很多初学者认为，MQ通过消息的发送和接受来实现程序的异步和解耦，mq主要用于异步操作，这个不是mq的真正目的，只不过是mq的应用，mq真正的目的是为了通讯。他屏蔽了复杂的通讯协议，像常用的dubbo，http协议都是同步的。

这两种协议很难实现双端通讯，A调用B,B也可以主动调用A，而且不支持长连接。mq做的就是在这些协议上构建一个简单协议——生产者、消费者模型，mq带给我们的不是底层的通讯协议，而是更高层次的通讯模型。他定义了两个对象：发送数据的叫做生产者，接受消息的叫做消费者，我们可以无视底层的通讯协议，我们可以自己定义生产者消费者。

 MQ的两种流派

1,有broker的

broker是什么，可以理解为是一个中转站。生产者将消息发送给他就结束自己的任务了，broker将消息主动推送给消费者（具体的将消息推送到哪个队列，或者说消费者主动请求）

 重topic

必须要有topic

kafka：全球消息处理性能最快的一款mq

rocket：阿里内部的一个大神根据kafka的执行原理手写的，性能与kafka差不多，但是功能上比kafka要多，比如说顺序消费。

 轻topic

可以没有topic，topic只是一种中转模式

rabbitmq

 2,无broker的

zeromq：没有使用broker，是直接使用socket进行通信。

 并行和并发的区别

并发，指的是多个事情，在同一时间段内同时发生了。. 并行，指的是多个事情，在同一时间点上同时发生了。. 并发的多个任务之间是互相抢占资源的。. 并行的多个任务之间是不互相抢占资源的

 一、kafka介绍

1，kafka简单介绍

kafka是一款分布式、支持分区的、多副本，基于zookeeper协调的分布式消息系统。最大的特性就是可以实时处理大量数据来满足需求。

2，kafka使用场景

1，日志收集：可以用kafka收集各种服务的日志 ，通过已统一接口的形式开放给各种消费者。

2，**消息系统**：解耦生产和消费者，缓存消息。

3，用户活动追踪：kafka可以记录webapp或app用户的各种活动，如浏览网页，点击等活动，这些活动可以发送到kafka，然后订阅者通过订阅这些消息来做监控。

4，运营指标：可以用于监控各种数据。

 3，kafka基本概念

kafka是一个分布式的分区的消息，提供消息系统应该具备的功能。

| 名称          | 解释                                                         |
| ------------- | ------------------------------------------------------------ |
| broker        | 消息中间件处理节点，一个broker就是一个kafka节点，多个broker构成一个kafka集群。 |
| topic         | kafka根据消息进行分类，发布到kafka的每个消息都有一个对应的topic |
| producer      | 消息生产（发布）者                                           |
| consumer      | 消息消费（订阅）者                                           |
| consumergroup | 消息订阅集群，一个消息可以被多个consumergroup消费，但是一个consumergroup只有一个consumer可以消费消息。 |