在40岁老架构师 尼恩的读者交流群(50+)中,最近有小伙伴拿到了一线互联网企业如得物、阿里、滴滴、极兔、有赞、shein 希音、百度、网易的面试资格,遇到很多很重要的面试题:
每秒上万次下单请求,秒杀如何处理?
小伙伴 没有回答好,导致面试挂了。
小伙伴面试完了之后,来求助尼恩:如何才能回答得很漂亮,才能 让面试官刮目相看、口水直流。
所以,尼恩给大家做一下系统化、体系化的梳理,使得大家内力猛增,可以充分展示一下大家雄厚的 “技术肌肉”,让面试官爱到 “不能自已、口水直流”,然后实现”offer直提”。
当然,这道面试题,以及参考答案,也会收入咱们的 《尼恩Java面试宝典》V146版本PDF集群,供后面的小伙伴参考,提升大家的 3高 架构、设计、开发水平。
《尼恩 架构笔记》《尼恩高并发三部曲》《尼恩Java面试宝典》的PDF,请到文末公号【技术自由圈】获取
传统的优化手段,如数据库的分布式改造和缓存的使用,主要针对的是读请求。
在高并发场景下,尤其是秒杀抢购等极端情况下,系统需要处理大量的写请求。
在秒杀抢购等极端情况下,如何处理每秒上万次的下单请求。
1 秒钟之内,有 1 万个数据库连接同时达到,系统的数据库濒临崩溃,寻找能够应对如此高并发的写请求方案迫在眉睫。
而写请求的处理更为复杂,因为它涉及到数据库的并发控制、事务管理等一系列问题。这时我们想到了消息队列。
消息队列(Message Queuing)是一种在多个任务之间传递消息的机制。
它允许应用程序通过网络发送和接收消息,而无需知道消息的发送者和接收者。
消息队列在系统中起到了缓冲和传递的作用,使得系统各个组件之间可以解耦合,提高系统的灵活性和可扩展性。
在面对高并发写请求时,消息队列可以发挥以下作用:
在后台启动若干个异步处理程序,消费消息队列中的消息,异步处理程序去执行校验库存、数据库落库、扣积分、扣优惠券等逻辑。
因为只有有限个队列处理线程在执行,所以落入后端数据库上的并发请求是有限的。
而请求是可以在消息队列中被短暂地堆积,如果后端的消息积压太严重,就进行预警和扩容。
如何做消息队列的扩容,也是一个重点的面试题, 具体的答案请参见技术自由圈的文章:
阿里面试:如何保证RocketMQ消息有序?如何解决RocketMQ消息积压?
除了削峰填谷以外,消息队列的另一个作用是松耦合。
秒杀的链路设计的操作比较多,包括积分、优惠券、库存等等。
一个思路是:可以使用 RPC 的方式来同步地调用,但是这样调用会有两个问题:
这时,可以考虑使用消息队列降低其他系统和秒杀系统的耦合度。
秒杀系统产生一条购买数据后,我们可以先把全部数据发送给消息队列,然后其他服务再订阅这个消息队列的话题,这样它们就可以接收到数据,然后再做过滤和处理了。
秒杀系统在这样解耦合之后,数据系统的故障就不会影响到秒杀系统了,同时,当数据系统需要新的字段时,只需要解析消息队列中的消息,拿到需要的数据就好了。
在实际应用中,我们需要注意以下几点:
ActiveMQ:java语言实现,万级数据吞吐量,处理速度ms级,主从架构,成熟度高
RabbitMQ:erlang语言实现,万级数据吞吐量,处理速度us级,主从架构,
RocketMQ :java语言实现,十万级数据吞吐量,处理速度ms级,分布式架构,功能强,扩展性强
kafka:scala语言实现,十万级数据吞吐量,处理速度ms级,分布式架构,功能较少,应用于大数据较多
RocketMQ是阿里开源的一款非常优秀中间件产品,最早就是kafka的Java版本,脱胎于阿里的另一款队列技术MetaQ,后捐赠给Apache基金会作为一款孵化技术,仅仅经历了一年多的时间就成为Apache基金会的顶级项目。
RocketMQ已经在阿里内部被广泛的应用,并且经受住了多次双十一的这种极致场景的压力(2017年的双十一,RocketMQ流转的消息量达到了万亿级,峰值TPS达到5600万)
有关rocketmq 的架构知识,rocketmq 的源码知识,具体请参见尼恩的源码视频。
消息队列在高并发系统设计中起到了关键的作用。它可以帮助我们处理高并发的写请求,提高系统的性能和稳定性。
然而,使用消息队列也需要我们关注一些实践问题,如消息的丢失和重复处理,以及消息队列的扩展性等。
高并发写相关的面试题,是非常常见的面试题。
以上的内容,如果大家能对答如流,如数家珍,基本上 面试官会被你 震惊到、吸引到。最终,让面试官爱到 “不能自已、口水直流”。offer, 也就来了。
在面试之前,建议大家系统化的刷一波 5000页 《尼恩Java面试宝典PDF》,并且在刷题过程中,如果有啥问题,大家可以来 找 40岁老架构师尼恩交流。
另外,如果没有面试机会,可以找尼恩来帮扶、领路。尼恩指导了大量的就业困难的小伙伴上岸,前段时间帮助一个40岁+就业困难小伙伴,拿到了一个年薪100W的offer。
……完整版尼恩技术圣经PDF集群,请找尼恩领取
《尼恩 架构笔记》《尼恩高并发三部曲》《尼恩Java面试宝典》PDF,请到下面公号【技术自由圈】取↓↓↓