kafka集群

目录

broker

 ZooKeeper

consumer group（消费者组）

分区（Partitions）

副本（Replicas）

主题（Topic）

偏移量（offset）

---

broker

一个kafka进程就是一个broker，这些broker集群需要交给ZooKeeper去管理

1. 一个Kafka的集群通常由多个broker组成，这样才能实现负载均衡、以及容错
2.  broker是无状态（Sateless）的，它们是通过ZooKeeper来维护集群状态
3.  一个Kafka的broker每秒可以处理数十万次读写，每个broker都可以处理TB消息而不影响性能

 ZooKeeper

 ZK用来管理和协调broker，并且存储了Kafka的元数据（有多少topic、partition/consumer）

 ZK服务主要用于通知生产者和消费者Kafka集群中有新的broker加入、或者Kafka集群中出现故障的broker。

 一个kafka集群通常是由多个broker组成的，这样才能够负责均衡，以及容错

consumer group（消费者组）

1.  consumer group是kafka提供的可扩展且具有容错性的消费者机制
2.  一个消费者组可以包含多个消费者
3.  一个消费者组有一个唯一的ID（group Id）
4.  组内的消费者一起消费主题的所有分区数据
5. 

 

分区（Partitions）

在Kafka集群中，主题被分为多个分区，一个topic是由很多个分区组成的，可以理解为kafka是按分区存储的

副本（Replicas）

副本可以确保某个服务器出现故障时，确保数据依然可用

在Kafka中，一般都会设计副本的个数＞1

主题（Topic）

1. 主题是一个逻辑概念，用于生产者发布数据，消费者拉取数据
2.  Kafka中的主题必须要有标识符，而且是唯一的，Kafka中可以有任意数量的主题，没有数量上的限制
3.  在主题中的消息是有结构的，一般一个主题包含某一类消息
4.  一旦生产者发送消息到主题中，这些消息就不能被更新（更改）

偏移量（offset）

1. offset记录着下一条将要发送给Consumer的消息的序号
2.  默认Kafka将offset存储在ZooKeeper中
3.  在一个分区中，消息是有顺序的方式存储着，每个在分区的消费都是有一个递增的id。这个就是偏移量offset
4.  偏移量在分区中才是有意义的。在分区之间，offset是没有任何意义的