kafka系列:kafka基本架构

1、拓扑结构图

kafka系列:kafka基本架构_第1张图片

2、kafka中相关组件的解释

    (1)producer:消息生产者,发布消息到 kafka 集群的终端或服务。

    (2)broker:kafka 集群中包含的服务器。
    (3)topic:每条发布到 kafka 集群的消息属于的类别,即 kafka 是面向 topic 的。
    (4)partition:partition 是物理上的概念,每个 topic 包含一个或多个 partition。kafka 分配的单位是 partition。
    (5)consumer:从 kafka 集群中消费消息的终端或服务。
   (6)Consumer group:high-level consumer API 中,每个 consumer 都属于一个 consumer group,每条消息只能被 consumer group 中的一个 Consumer 消费,但可以被多个 consumer group 消费。
    (7)replica:partition 的副本,保障 partition 的高可用。
    (8)leader:replica 中的一个角色, producer 和 consumer 只跟 leader 交互。
    (9)follower:replica 中的一个角色,从 leader 中复制数据。
    (10)controller:kafka 集群中的其中一个服务器,用来进行 leader election 以及 各种 failover。

    (11)zookeeper:kafka 通过 zookeeper 来存储集群的 meta 信息。

3、Kafka在zk上的节点树

kafka系列:kafka基本架构_第2张图片

你可能感兴趣的:(大数据,kafka)