Kafaka之架构

Kafka重要概念

broker

• 一个Kafka的集群通常由多个broker组成，这样才能实现负载均衡、以及容错
•  broker是无状态（Sateless）的，它们是通过ZooKeeper来维护集群状态
•  一个Kafka的broker每秒可以处理数十万次读写，每个broker都可以处理TB消息而不影响性能

zookeeper 

• ZK用来管理和协调broker，并且存储了Kafka的元数据（例如：有多少topic、partition、consumer）
• ZK服务主要用于通知生产者和消费者Kafka集群中有新的broker加入、或者Kafka集群中出现故障的broker。

PS：Kafka正在逐步想办法将ZooKeeper剥离，维护两套集群成本较高，社区提出KIP-500就是要替换掉ZooKeeper的依赖。“Kafka on Kafka”——Kafka自己来管理自己的元数据 

producer（生产者）

生产者负责将数据推送给broker的topic

consumer（消费者）

消费者负责从broker的topic中拉取数据，并自己进行处理

consumer group（消费者组）

• consumer group是kafka提供的可扩展且具有容错性的消费者机制
•  一个消费者组可以包含多个消费者
•  一个消费者组有一个唯一的ID（group Id）
•  组内的消费者一起消费主题的所有分区数据

分区（Partitions） 

在Kafka集群中，主题被分为多个分区 

副本（Replicas） 

• 副本可以确保某个服务器出现故障时，确保数据依然可用
• 在Kafka中，一般都会设计副本的个数＞1

主题（Topic） 

• 主题是一个逻辑概念，用于生产者发布数据，消费者拉取数据
•  Kafka中的主题必须要有标识符，而且是唯一的，Kafka中可以有任意数量的主题，没有数量上的限制
•  在主题中的消息是有结构的，一般一个主题包含某一类消息
•  一旦生产者发送消息到主题中，这些消息就不能被更新（更改）

​​​​​​​偏移量（offset）

•  offset记录着下一条将要发送给Consumer的消息的序号
•  默认Kafka将offset存储在ZooKeeper中
•  在一个分区中，消息是有顺序的方式存储着，每个在分区的消费都是有一个递增的id。这个就是偏移量offset
•  偏移量在分区中才是有意义的。在分区之间，offset是没有任何意义的

消费者组 

Kafka支持有多个消费者同时消费一个主题中的数据。我们接下来，给大家演示，启动两个消费者共同来消费 test 主题的数据。

首先，修改生产者程序，让生产者每3秒生产1-100个数字。

// 3. 发送1-100数字到Kafka的test主题中
while(true) {
    for (int i = 1; i <= 100; ++i) {
        // 注意：send方法是一个异步方法，它会将要发送的数据放入到一个buffer中，然后立即返回
        // 这样可以让消息发送变得更高效
        producer.send(new ProducerRecord<>("test", i + ""));
    }
    Thread.sleep(3000);
}

接下来，同时运行两个消费者。

同时运行两个消费者，我们发现，只有一个消费者程序能够拉取到消息。想要让两个消费者同时消费消息，必须要给test主题，添加一个分区。

# 设置 test topic为2个分区
bin/kafka-topics.sh --zookeeper 192.168.88.100:2181 -alter --partitions 2 --topic test

重新运行生产者、两个消费者程序，我们就可以看到两个消费者都可以消费Kafka Topic的数据了