(一)Kafka入门学习之路--各组件架构简介

Kafka各组件说明

1.Broker

每个kafka server称为一个Broker,多个borker组成 Kafka Cluster。

一个机器上可以部署一个或者多个Broker,这多个Broker连接到相同的ZooKeeper就组成了Kafka集群。

(一)Kafka入门学习之路--各组件架构简介_第1张图片

2.Topic

Kafka是一个发布订阅消息系统,它的逻辑结构如下:

(一)Kafka入门学习之路--各组件架构简介_第2张图片

Topic 就是消息类别名,一个topic中通常放置一类消息。每个topic都有一个或者多个订阅者,也就是消息的消费者consumer。

Producer将消息推送到topic,由订阅该topic的consumer从topic中拉取消息。

3.Topic 与 Broker

一个Broker上可以创建一个或者多个Topic,同一个topic可以在同一集群下的多个Broker中分布。

(一)Kafka入门学习之路--各组件架构简介_第3张图片

4. Partition log

Kafka会为每个topic维护了多个分区(partition),每个分区会映射到一个逻辑的日志(log)文件:

(一)Kafka入门学习之路--各组件架构简介_第4张图片

  • 每当一个message被发布到一个topic上的一个partition,broker应会将该message追加到这个逻辑log文件的最后一个segment上。这些segments 会被flush到磁盘上,Flush时可以按照时间来进行,也可以按照message 数来执行。
  • 每个partition都是一个有序的、不可变的结构化的提交日志记录的序列。在每个partition中每一条日志记录都会被分配一个序号,通常称为offset,offset在partition内是唯一的。论点逻辑文件会被化分为多个文件segment(每个segment的大小一样的)。
  • Broker集群将会保留所有已发布的message records,不管这些消息是否已被消费。保留时间依赖于一个可配的保留周期。例如:如果设置了保留策略是2day,那么每一条消息发布两天内是被保留的,在这个2day的保留时间内,消息是可以被消费的。过期后不再保留。

(一)Kafka入门学习之路--各组件架构简介_第5张图片

5.Partition distribution

日志分区是分布式的存在于一个kafka集群的多个broker上。每个partition会被复制多份存在于不同的broker上。这样做是为了容灾。具体会复制几份,会复制到哪些broker上,都是可以配置的。经过相关的复制策略后,每个topic在每个broker上会驻留一到多个partition。如图:

(一)Kafka入门学习之路--各组件架构简介_第6张图片

对于同一个partition,它所在任何一个broker,都有能扮演两种角色:leader、follower。看上面的例子,红色的代表是一个leader。

对于topic1的4个partition:

Part 1的leader是broker1,followers是broker23。
Part2的leader是broker2,followers是broker14。
Part3的leader是broker3,followers是broker13。
Part4的leader是broker4,followers是broker23。

对于topic2的3个partition:

Part1的leader是broker1,followers是broker2。
Part2的leader是broker2,followers是broker3。
Part3的leader是broker3,followers是broker4。

对于topic2的4个partition:

Part 1的leader是broker4,followers是broker123。
Part2的leader是broker2,followers是broker134。
Part3的leader是broker3,followers是broker124。
Part4的leader是broker1,followers是broker234。

下面是一个真实的例子:

(一)Kafka入门学习之路--各组件架构简介_第7张图片

图中的partition 0 的leader是broker 2,它有3个replicas:2,1,3。

In-Sync Replica:在同步中,也就是有哪些broker正处理同步中。partition 0的ISR是2,1,3,说明了3个replica都是正常状态。如果有一个broker down,那么它就不会在ISR中出现。

之后把broker1停止后:

(一)Kafka入门学习之路--各组件架构简介_第8张图片

每个partition的Leader的用于处理到该partition的读写请求的,每个partition的followers是用于异步的从它的leader中复制数据的。

Kafka会动态维护一个与Leader保持一致的同步副本(in-sync replicas (ISR))集合,并且会将最新的同步副本(ISR )集合持久化到zookeeper。如果leader出现问题了,就会从该partition的followers中选举一个作为新的leader。

所以呢,在一个kafka集群中,每个broker通常会扮演两个角色:在一个partition中扮演leader,在其它的partition中扮演followers。Leader是最繁忙的,要处理读写请求。这样将leader均分到不同的broker上,目的自然是要确保负载均衡。

6.Producer

Producer作为消息的生产者,在生产完消息后需要将消息投送到指定的目的地(某个topic的某个partition),Producer可以根据指定选择partition的算法或者是随机方式来选择发布消息到哪个partition。

7.Consumer

  • 在Kafka中,同样有consumer group的概念,它是逻辑上将一些consumer分组。因为每个kafka consumer是一个进程,所以一个consumer group中的consumers将可能是由分布在不同机器上的不同的进程组成的。
  • Topic中的每一条消息可以被多个consumer group消费,然而每个consumer group内只能有一个consumer来消费该消息。所以,如果想要一条消息被多个consumer消费,那么这些consumer就必须是在不同的consumer group中。
  • 每个consumer可以订阅多个topic。
  • 每个consumer会保留它读取到某个partition的offset,而consumer 是通过zookeeper来保留offset的。

架构图

对上述各组件介绍后,现在就应该可以很容易的理解Kafka的架构图:

(一)Kafka入门学习之路--各组件架构简介_第9张图片

在 0.8版本之后,consumer 不会再与zookeeper直接通信了,所以该架构图也应该有所调整了:

(一)Kafka入门学习之路--各组件架构简介_第10张图片

你可能感兴趣的:(kafka)