Kafka 知识结构

最近需要了解 Kafka 源码, 通过翻看 Kafka 源码, 发现该项目的模块化做的非常好. 简单来说可以分成如下几个模块:

Kafka Server 模块

参考2012年 Jay Kreps 画的一张 Kafka Broker Internals 的图:

kafka broker internals.png

感叹2012年至今, Kafka 大的架构基本上没有变化.

API/Network

通信模块. 官方文档 A Guide to the Kafka Protocol 不在多说

Metrics

发现这个方面没有人写的非常明白. 多说几句. Kafka 使用 Yammer 的 metrics-core 2.2 版本, 2.X 版本与 3.X 版本有很大区别. metrics-core 是支持 CSV 等方式吐出 Metric 数据的, 但是 Kafka 做了一层封装, 并且默认仅仅支持 JMX 方式暴露, 比较好的是 Kafka 集成了 MX4J 组件, 通过在server.properties中指定 kafka_mx4jenable=true mx4jport=端口 方式开启.
如果想使用 CSV 等其他方式暴露 Kafka Metric 数据, 需要做两件事:

• 实现 kafka.metrics.KafkaMetricsReporter 这个 trait(再早的版本没有看源码), 包装一层, 实现数据获取的逻辑 (之前自己看错, 0.10.0.0 与0.8.2 版本相同)
• 在server.properties中使用 metric.reporters=实现的Reporters逗号分隔 方式开启对应的 Reporter

获取到了 Kafka 的 metrics 数据, 列几个我认为比较重要的 metric:
** kafka.server:type=ReplicaManager,name=UnderReplicatedPartitions **

• 含义: 正在复制的 Partition 的数量.
• 建议报警阈值: > 0 就建议报警. 但如果 Kafka 集群正在 reassign partition 时, 这个值也会 >0

kafka.controller:type=KafkaController,name=OfflinePartitionsCount

• 含义: 没有 Leader 的 Partition 的数量. 处于这个状态的 Partition 是不可读也不可写
• 建议报警阈值: >0 一旦出现就报警.

kafka.controller:type=KafkaController,name=ActiveControllerCount

• 含义: 活跃的 Controller 的数量.
• 建议报警阈值: != 0 就赶紧报警

kafka.server:type=ReplicaManager,name=PartitionCount

• 含义: 集群中 Partition 的总数
• 建议报警阈值: 感觉这个报警不可控.

关于 metric 就说到这里.
参考: How We Monitor and Run Kafka at Scale -- by Signalfx

LogManager

日志子系统负责日志的存储和读取. 美团技术团队的博客的文章 Kafka文件存储机制那些事 写的非常好. 不多说.

ReplicaManager

Kafka 的 Topic 支持多个 Replica 高可用. 官方文档 Kafka Replication

KafkaController

一个 Kafka 集群中有会有一个Broker 作为 Controller 负责集群. 该子系统包含多个模块. 具体参考官方文档 Kafka Controller Internals

Kafka Controller sub-system

DynamicConfigManager

DynamicConfigManager 负责所有 Zookeeper 上的 /config 路径下的配置相关工作. 包含两个大的模块:

• /config/clients 客户端相关的配置
• /config/topics Topic 相关的配置

GroupCoordinator

参考文档:

• Kafka Detailed Consumer Coordinator Design
• Kafka 0.9 Consumer Rewrite Design
• Introducing the Kafka Consumer: Getting Started with the New Apache Kafka 0.9 Consumer Client

---

总结

今天是第一天翻看 Kafka 源码, 整理一下系统和知识结构, 后续再挨个模块深入.

Kafka 依赖的多了, 熟悉源代码是必需的, 一旦出现未知的问题再去翻代码肯定是来不及的. 这也是我选择开源项目作为重要系统组件的一个原则.

-- EOF --