4.图灵学院-----阿里/京东/滴滴/美团整理----高频MQ消息队列篇

一、MQ有什么用?有哪些具体的使用场景?

MQ: MessageQueue,消息队列。 队列是一种FIFO先进先出的数据结构。消息
由生产者发送到MQ进行排队,然后由消费者对消息进行处理。QQ、 微信 就是典
型的MQ场景。
MQ的作用主要有三个方面:
1、异步:
例子:快递。 快递员-> 菜鸟驿站<- 客户
作用:异步能提高系统的响应速度和吞吐量。
2、解耦:
例子:《Thinking in java》 -> 编辑社
作用:服务之间进行解耦,可以减少服务之间的影响,提高系统的稳定性和可扩展性。
另外,解耦之后可以实现数据分发。生产者发送一个消息后,可以由多个消费者来
处理。 例如java程序调用python程序,利用消息来处理。
3、削峰:
例子:长江涨水->三峡大坝
作用:以稳定的系统资源应对突发的流量冲击。
MQ的缺点:
1、系统可用性降低: 一旦MQ宕机,整个业务就会产生影响。高可用
2、系统的复杂度提高: 引入MQ之后,数据链路就会变得很复杂。如何保证消息不
丢失?消息不会重复调用?怎么保证消息的顺序性?、、、、、
3、数据一致性: A系统发消息,需要由B、C两个系统一同处理。如果B系统处理成
功、C系统处理失败,这就会造成数据一致性的问题。

二、如何进行产品选型?

1.Kafka
优点: 吞吐量非常大,性能非常好,集群高可用。
缺点:会丢数据,功能比较单一。
使用场景:日志分析、大数据采集
2.RabbitMQ
优点: 消息可靠性高,功能全面。
缺点:吞吐量比较低,消息积累会严重影响性能。erlang语言不好定制。
使用场景:小规模场景。
3.RocketMQ
优点:高吞吐、高性能、高可用,功能非常全面。
缺点:开源版功能不如云上商业版。官方文档和周边生态还不够成熟。客户端只支
持java。
使用场景:几乎是全场景

三、如何保证消息不丢失?

1、哪些环节会造成消息丢失?
2、怎么去防止消息丢失
2.1 生产者发送消息不丢失
kafka: 消息发送+回调
RocketMQ: 1、消息发送+回调。2、事务消息。
RabbitMQ: 1、消息发送+回调
2、 手动事务: channel.txSelect()开启事务, channel.txCommit()提交事务,
channel.txRollback()回滚事务。这种方式对channel是会产生阻塞的,造成吞吐量
下降。
3、Publisher Confirm。整个处理流程跟RocketMQ的事务消息,基本是一样
的。
2.2 MQ主从消息同步不丢失
RocketMQ:
1、普通集群中,同步同步、异步同步。异步同步效率更高,但是有丢消息的风险。同步同步就不会丢消息。
2、Dledger集群-两阶段提交:
RabbitMQ: 普通集群:消息是分散存储的,节点之间不会主动进行消息同步,是
有可能丢失消息的。
镜像集群:镜像集群会在节点之间主动进行数据同步,这样数据安全性得到提
高。
Kafka: 通常都是用在允许消息少量丢失的场景。acks。0,1,all
2.3 MQ消息存盘不丢失
RocketMQ: 同步刷盘 异步刷盘:异步刷盘效率更高,但是有可能丢消息。同步刷
盘消息安全性更高,但是效率会降低。
RabbitMQ: 将队列配置成持久化队列。新增的Quorum类型的队列,会采用Raft
协议来进行消息同步。
2.4 MQ消费者消费消息不丢失
RocketMQ: 使用默认的方式消费就行, 不要采用异步方式。
RabbitMQ: autoCommit -> 手动提交offset
Kafka: 手动提交offset

四、如何保证消息消费的幂等性?

其实就是要方式消费者重复消费消息的问题。
所有MQ产品并没有提供主动解决幂等性的机制,需要由消费者自行控制
RocketMQ: 给每个消息分配了个MessageID。这个MessageID就可以作为消费
者判断幂等的依据。这种方式不太建议。
最好的方式就是自己带一个有业务标识的ID,来进行幂等判断。OrderID统一ID分配。

五、如何保证消息的顺序?

全局有序和局部有序: MQ只需要保证局部有序,不需要保证全局有序
生产者把一组有序的消息放到同一个队列当中,而消费者一次消费整个队列当中的
消息。
RocketMQ中有完整的设计,但是在RabbitMQ和Kafka当中,并没有完整的设计,
需要自己进行设计

RabbitMQ:要保证目标exchange只对应一个队列。并且一个队列只对应一个消费
者。
Kafka: 生产者通过定制partition分配规则,将消息分配到同一个partition。 Topic
下只对应一个消费者

六、如何保证消息的高效读写?

零拷贝: kafka和RocketMQ都是通过零拷贝技术来优化文件读写。
传统文件复制方式: 需要对文件在内存中进行四次拷贝。
4.图灵学院-----阿里/京东/滴滴/美团整理----高频MQ消息队列篇_第1张图片
零拷贝: 有两种方式, mmap和transfile
Java当中对零拷贝进行了封装, Mmap方式通过MappedByteBuffer对象进行操
作,而transfile通过FileChannel来进行操作。
Mmap 适合比较小的文件,通常文件大小不要超过1.5G ~2G 之间。
Transfile没有文件大小限制。
RocketMQ当中使用Mmap方式来对他的文件进行读写。commitlog。 1G
在kafka当中,他的index日志文件也是通过mmap的方式来读写的。在其他日志文
件当中,并没有使用零拷贝的方式。
kafka使用transfile方式将硬盘数据加载到网卡。

七、使用MQ如何保证分布式事务的最终一致性?

分布式事务:业务相关的多个操作,保证他们同时成功或者同时失败。
最终一致性: 与之对应的就是强一致性
MQ中要保护事务的最终一致性,就需要做到两点
1、生产者要保证100%的消息投递。 事务消息机制
2、消费者这一端需要保证幂等消费。 唯一ID+ 业务自己实现幂等
分布式MQ的三种语义:
at least once
at most once
exactly once:
RocketMQ 并不能保证exactly once。商业版本当中提供了exactly once的实现
机制。
kafka: 在最新版本的源码当中,提供了exactly once的demo。
RabbitMQ: erlang天生就成为了一种屏障。

八、让你设计一个MQ,你会如何设计?

两个误区: 1、 放飞自我,漫无边际。 2、纠结技术细节。
好的方式: 1、 从整体到细节,从业务场景到技术实现。2、以现有产品为基础。
RocketMQ
答题思路: MQ作用、项目大概的样子。
1、实现一个单机的队列数据结构。 高效、可扩展。
2、将单机队列扩展成为分布式队列。- 分布式集群管理
3、基于Topic定制消息路由策略。- 发送者路由策略,消费者与队列对应关系,消
费者路由策略
4、实现高效的网络通信。- Netty Http
5、规划日志文件,实现文件高效读写。- 零拷贝,顺序写。 服务重启后,快速还原
运行现场 。
6、定制高级功能,死信队列、延迟队列、事务消息等等。 - 贴合实际,随意发挥。

你可能感兴趣的:(项目,面试,Java)