Java开发全套学习！阿里大牛亲手操刀微服务架构实战

面试官最爱问的Kakfa，基础+进阶+高级，疯狂轰炸！

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

而这几年，大数据发展迅猛，Kakfa 凭借高可靠、高吞吐、高可用、可伸缩几大特性，成为数据管道技术的首选，也成了面试官的最爱。

主备同步的实现原理

我们先来了解一下主备同步的原理，下面以一个update语句来介绍主库与备库间是如何进行同步的。

上图是一个update语句在节点A执行，然后同步到节点B的完整流程图，具体步骤有：

1. 主库接受到客户端发送的一条update语句，执行内部事务逻辑，同时写binlog。
2. 备库通过 change master 命令，设置主库的IP、端口、用户名和密码，以及要从哪个位置开始请求 binlog。这个位置包含文件名和偏移量。
3. 在备库上执行start slave命令，启动两个线程 io_thread 和 sql_thread，其中 io_thread 负责与主机进行连接。
4. 主库校验完用户名和密码，按照接收到的位置去读取binlog，发给备库。
5. 备库接收到binlog后，写到本地文件（relay log，中转文件）。
6. 备库读取中转文件，解析出命令，然后执行。

主备同步的工作原理其实就是一个完全备份加上二进制日志备份的还原。不同的是这个二进制日志的还原操作基本上是实时的。

备库通过两个线程来实现同步：

• 一个是 I/O 线程，负责读取主库的二进制日志，并将其保存为中继日志。
• 一个是 SQL 线程，负责执行中继日志。

从上面的流程可以看出，主备同步的关键是binlog。

常见的两种主备切换流程

M-S结构

M-S结构，两个节点，一个当主库、一个当备库，不允许两个节点互换角色。

在状态1中，客户端的读写都直接访问节点A，而节点B是A的备库，只是将A的更新都同步过来，到本地执行。这样可以保持节点B和A的数据是相同的。

当需要切换的时候，就切成状态2。这时候客户端读写访问的都是节点B，而节点A是B的备库。

双M结构

双M结构，两个节点，一个当主库，一个当备库，允许两个节点互换角色。

对比前面的M-S结构图，可以发现，双M结构和M-S结构，其实区别只是多了一条线，即节点A和B之间总是互为主备关系。这样在切换的时候就不用再修改主备关系。

双M结构的循环复制问题

在实际生产使用中，多数情况是使用双M结构的。但是，双M结构还有一个问题需要解决。

业务逻辑在节点A执行更新，会生成binlog并同步到节点B。节点B同步完成后，也会生成binlog。（log_slave_updates设置为on，表示备库也会生成binlog）。

当节点A同时也是节点B的备库时，节点B的binlog也会发送给节点A，造成循环复制。

解决办法：

• 设置节点的server-id，必须不同，不然不允许设置为主备结构
• 备库在接到binlog后重放时，会记录原记录相同的server-id，即谁产生即为谁的。
• 每个节点在接受binlog时，会判断server-id，如果是自己的就丢掉。

解决后的流程：

1. 业务逻辑在节点A执行更新，会生成带有节点A的server-id的binlog。
2. 节点B接受到节点A发过来的binlog，并执行完成后，会生成带有节点A的server-id的binlog。
3. 节点A接受到binlog后，发现是自己的，就丢掉。死循环就在这里断掉了。

本次面试答案，以及收集到的大厂必问面试题分享：

本次面试答案，以及收集到的大厂必问面试题分享：

[外链图片转存中…(img-SpMcS0zi-1621220621417)]

资料领取方式：戳这里即可免费下载