分布式大全：反向代理/Redis/中间件/MySQL/消息，挑战阿里P7必备

这些年，分布式框架越用越成熟，越用越广泛。几前年还只是架构师和高级开发的面试必考题，现在已经连应届生都要面对了。

附面试思维导图:

 

分布式框架看似又多又复杂，但主要集中在协调类框架如 Zookeeper，分布式缓存如 Redis，消息队列如 Kafka，数据库 MySQL 的分库分表方案如 MyCat，全文检索如 ElasticSearch，微服务如 Dubbo，方向代理如 Nginx。

每种技术都有多个框架供大家选择，具体应用依赖业务场景，大厂们内部也有自己的实现，一般面试官要求同类型的框架深入了解一个即可，毕竟学会了一个，其他就很容易入手。

我这里也就每种类型都列举了一个，其中消息队列选了两个，因为笔者所在的部门根据业务的不同经常用两种队列，所以笔者感觉有必要提到两个。

注意：篇幅原因，下面从存储、数据库、中间件ZK、消息kafka、微服务dubbo、方向代理Nginx等方面介绍各个所需学习的知识点以及一些Java高级面试必备的题目、一些自己学习过程中的笔记以及收集的各大分布式笔记PDF，很多只是截图介绍展示一下。

01 分布式存储相关（Redis）

1.1 Redis应该学习的那些知识

• String 的内部结构及实现原理
• List 的内部结构及实现原理
• Map 的内部结构及实现原理
• Set 的内部结构及实现原理
• SortedSet 的内部结构及实现原理
• Redis 有 timeout 机制，请问到了过期时间，数据是否真的被删除了？
• Redis 的持久化机制 Redis 是单进程单线程？性能为什么这么快？
• Redis 的集群
• Redis 的哨兵
• Redis 缓存与数据一致性的问题 缓存雪崩 缓存击穿
• Redis 的内存回收策略
• 管道和 Lua 脚本
• 一致性哈希算法
• 手写一个 LRU 算法
• Redis 版的分布式锁

1.2 根据以上知识整理Redis超高频面试70问（六大模块）

• Redis概念理解
• Redis数据结构与指令

• Redis高并发处理策略
• Redis集群结构以及设计理念

• Redis缓存管理与持久化机制
• Redis应用场景设计

答案解析

1.3 学习过程中记录的一份Redis笔记

包括五个分类：基础篇、数据结构篇、持久化篇、集群篇、其他分类，这些是笔者自己对于Redis的学习而总结出的笔记

内容详解

02 数据库存储相关（MySQL）

2.1 知识点

• MySQL 单表数据达到多少的时候会影响数据库的查询性能？为什么？
• MySQL 主从复制的原理是什么？常见的形式有哪些？
• MySQL 分库分表，解释一下垂直和水平 2 种不同的拆分
• MySQL 垂直拆分会带来哪些问题？
• 分布式数据存储中间件 MyCat 的核心流程是什么？
• 概述一下 MyCat？
• 解释一下全局表，ER 表，分片表
• MyCat在分库分表之后，是怎么支持连表查询的？
• 库表拆分时，拆分规则怎么取舍？
• 全局 ID 方案有哪些？程序自定义全局 ID 方案有哪些？
• 一致性 Hash 的原理？设计的好处是什么？
• 4 层负载和 7 层负载谁性能更高，为什么？
• 讲一讲 MySQL 的高可用方案？

2.2 关于分库分表Java高级面试题

面试题+面试官心里分析+题目剖析+答案详解

答案详解

03 分布式中间件相关 Zookeeper

• Zookeeper 是什么？
• 描述一下 ZAB 协议
• 四种类型的数据节点 Znode
• TCP 不是可靠连接吗？为什么分布式要考虑网络信息丢失的问题？
• 介绍一下两阶段提交协议 2pc
• 介绍一下三阶段提交协议 3pc
• Zookeeper 宕机如何处理？
• 描述一下 Zookeeper 中 session 管理的思想，画图描述一下
• Zookeeper Watcher 机制
• Zookeeper Server 的角色
• Zookeeper Server 的状态
• Zookeeper 负载均衡和 Nginx 负载均衡区别
• Zookeeper 的序列化
• ZXID 是什么？有什么作用？
• 讲解一下 Zookeeper 的持久化机制
• 投票信息的五元组
• Quorum 与脑裂
• 选举的全过程
• 数据同步全过程
• 实现一个分布式锁
• 追问 1：Watch 监听为什么是一次性的？
• 追问 2：Zookeeper 为什么不用数据库做持久化？
• 追问 3：Zookeeper 的 session 为什么由 server 维护，client 不行吗？

3.1 ZK面试：27连问

• ZooKeeper 提供了什么？
• Zookeeper 文件系统？
• ZAB 协议？
• 四种类型的数据节点 Znode
• Zookeeper Watcher 机制 -- 数据变更通知
• 客户端注册 Watcher 实现
• 服务端处理 Watcher 实现
• 客户端回调 Watcher
• ACL 权限控制机制
• Chroot 特性
• 服务器角色
• 会话管理
• Zookeeper 下 Server 工作状态
• 数据同步
• zookeeper 是如何保证事务的顺序一致性的？
• 分布式集群中为什么会有 Master？
• zk 节点宕机如何处理？
• zookeeper 负载均衡和 nginx 负载均衡区别
• Zookeeper 有哪几种几种部署模式？
• 集群最少要几台机器，集群规则是怎样的?
• 集群支持动态添加机器吗？
• Zookeeper 对节点的 watch监听通知是永久的吗？为什么不是永久的?
• Zookeeper 的 java 客户端都有哪些？
• chubby 是什么，和 zookeeper 比你怎么看？
• 说几个 zookeeper 常用的命令。
• ZAB 和 Paxos 算法的联系与区别？
• Zookeeper 的典型应用场景？

ZK答案解析

04 消息队列

4.1 消息队列知识点

• Kafka ISR 的设计思想
• Kafka 的速度为什么那么快？
• Kafka 如何保证消息的顺序消费?
• 活锁的问题怎么解决？
• Kafka 高效文件存储设计特点
• 谈一谈 Kafka 的再均衡
• Kafka 的副本复制过程详解
• Kafka 的存储机制详解
• Kafka 什么情况下会丢失消息？
• Kafka 的分区数与多线程
• RabbitMQ 消息队列的作用与使用场景
• RabbitMQ 怎么自动删除没人消费的消息？
• RabbitMQ 无法被路由的消息，去了哪里？
• RabbitMQ 消息在什么时候会变成Dead Letter？
• RabbitMQ 如何保证消息的可靠性投递？
• RabbitMQ 消息幂等性
• RabbitMQ 如何保证消息的顺序性？

4.2 kafka面试（基础+进阶+高阶共44问）

• 1.Kafka的用途有哪些？使用场景如何？
• 2.Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么
• 3.Kafka中的HW、LEO、LSO、LW等分别代表什么？
• 4.Kafka中是怎么体现消息顺序性的？
• 5.Kafka中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么？
• 6.Kafka生产者客户端的整体结构是什么样子的？
• 7.Kafka生产者客户端中使用了几个线程来处理？分别是什么？
• 8.Kafka的旧版Scala的消费者客户端的设计有什么缺陷？
• 9.“消费组中的消费者个数如果超过topic的分区，那么就会有消费者消费不到数据”这句话是否正确？如果正确，那么有没有什么hack的手段？
• 10.有哪些情形会造成重复消费？
• 11.那些情景下会造成消息漏消费？
• 12.KafkaConsumer是非线程安全的，那么怎么样实现多线程消费？
• 13.简述消费者与消费者之间的关系
• 14.当你使用kafka-topics.sh创建（删除）了一个topic之后，Kafka背后会执行什么逻辑？
• 15.topic的分区数可不可以增加？如果可以怎么增加？如果不可以，那又是为什么？
• 16.topic的分区数可不可以减少？如果可以怎么减少？如果不可以，那又是为什么？
• 17.创建topic时如何选择合适的分区数？
• 1.Kafka目前有哪些内部topic，它们都有什么特征？各自的作用又是什么？
• 2.优先副本是什么？它有什么特殊的作用？
• 3.Kafka有哪几处地方有分区分配的概念？简述大致的过程及原理
• 4.简述Kafka的日志目录结构
• 5.Kafka中有哪些索引文件？
• 6.如果我指定了一个offset，Kafka怎么查找到对应的消息？
• 7.如果我指定了一个timestamp，Kafka怎么查找到对应的消息？
• 8.聊一聊你对Kafka的Log Retention的理解
• 9.聊一聊你对Kafka的Log Compaction的理解
• 10.聊一聊你对Kafka底层存储的理解
• 11.聊一聊Kafka的延时操作的原理
• 12聊一聊Kafka控制器的作用
• 13.Kafka的旧版Scala的消费者客户端的设计有什么缺陷？
• 14.消费再均衡的原理是什么？（提示：消费者协调器和消费组协调器）
• 15.Kafka中的幂等是怎么实现的？
• 1.Kafka中的事务是怎么实现的？
• 2.失效副本是指什么？有哪些应对措施？
• 3.多副本下，各个副本中的HW和LEO的演变过程
• 4.Kafka在可靠性方面做了哪些改进？（HW, LeaderEpoch）
• 5.为什么Kafka不支持读写分离？
• 6.Kafka中的延迟队列怎么实现
• 7.Kafka中怎么实现死信队列和重试队列？
• 8.Kafka中怎么做消息审计？
• 9.Kafka中怎么做消息轨迹？
• 10.怎么计算Lag？(注意read_uncommitted和read_committed状态下的不同)
• 11.Kafka有哪些指标需要着重关注？
• 12.Kafka的那些设计让它有如此高的性能？

kafka答案

PDF学习笔记《Kafka源码解析与实战》

4.3 RabbitMQ面试（22问）

题目+答案

05 分布式相关

• CAP 理论
• Paxos 协议
• Raft 协议
• 设计一个全局唯一的 ID

06 分布式全文检索

• 谈谈分词与倒排索引的原理
• 分段存储的思想
• 段合并的策略思想
• 文本相似度 TF-IDF
• ElasticSearch 写索引的逻辑
• ElasticSearch 集群中搜索数据的过程
• ElasticSearch 深翻页的问题及解决
• ElasticSearch 性能优化

07 分布式事务

• 分布式事务的几种实现方式
• TCC 柔性分布式事务
• TCC-Transaction 框架的原理

《分布式事务综合案例分析》

《分布式系统常用技术及案例分析PDF》

目录详解

内容详解

08 反向代理

• Nginx 的动静分离
• Nginx 的防盗链
• Nginx 的跨域访问
• Nginx 的进程模型
• Nginx 与网关
• Nginx 的高可用方案

8.1 Nginx的学习笔记

《深入理解Nginx模块开发与架构解析第2版.PDF》

09 微服务相关

• Dubbo 的调用流程
• Dubbo 的负载均衡策略
• Dubbo 的并发和连接控制
• Dubbo 的服务暴露过程
• Dubbo 的SPI思想
• Dubbo 的六种集群容错模式
• Dubbo 源码 Debug 时个人遇到的几个难点

9.1 Java高级面试之分布式系统Dubbo

Dubbo面试题目

Dubbo答案解析

内容太多，篇幅受限，所以不能仅靠一篇文章将上面分布式的各大知识讲清楚，只能粗略的介绍哪些知识是必备的，以及分享一些Java高级面试问题和学习的PDF（上面都有截图展示）。