初识kafka

Kafka目前被定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。其在应用中主要扮演以下三大角色：

• 消息系统: Kafka具备系统解耦、冗余在储、流量削峰、缓冲、异步通信、扩展性、可恢复性、消息顺序性保障及消息回溯的功能。
• 存储系统:Kafka把消息持久化到磁盘，相比于基于内存存储的系统而言，有效
  地降低了数据丢失的风险。
• 流式处理平台:Kafka不仅为流式处理框架提供了可靠的数据来源，还提供了一个完整的流式处理类库，比如窗口、连接、变换和聚合等各类操作。

1. 体系架构

kafka体系结构

整个体系结构主要包括以下三部分：

• producer：生产者，负责将消息投递到kafka中。
• consumer：消费者，通过拉的方式获取消息进行业务处理。
• broker：一个独立的Kafka服务节点或服务实例，多个broker组成kafka集群。

Kafka通过ZooKeeper来进行元数据管理，包括：集群、broker、主题和分区等。
大概的流程就是：生产者将消息发送给broker，broker将消息存储到磁盘中，消费者从broker拉取并消费消息。

2. 主题和分区

主题(topic)和分区(partition)都是逻辑上的概念。一个主题可以包含多个分区，一个分区只能属于一个主题。
Kafka的消息是按照主题进行分类的，生产者将消息发送给指定的主题，消费者从指定的主题订阅和消费消息。
分区在存储层面来看其实是一个日志文件，如图所示。

分区结构

消息不停的追加到日志文件的尾部，消息在写入分区的时候会被分配一个偏移量（offset），这类似于数组中的下标。offset是消息在分区中的唯一标识，kafka通过它来保证分区内消息的顺序。由于offset只是作用于单partition内部，因为kafka只能保证分区内消息有序，而无法保证主题内有序。另外，主题下的多个分区可以部署在多个broker上，提供比单个broker更强大的性能。
消息在发送到broker之前，会根据分区规则决定发往哪个分区。
分区规则如下：
如果消息中指定了key：分区器会对key进行哈希，最终根据哈希值计算分区号。如果未指定key：则以轮询的方式发送到各个可用的分区。
为什么要有多个分区呢？
刚有提到，分区在存储层面其实是一个日志文件。试想一下，如果一个主题只有一个分区，那么这个文件的所在broker的I/O将会成为这个主题的性能瓶颈，而多分区则解决了这个问题。而且通过增加分区数量可实现水平扩展。

3. 分区可靠性保证

前面说到消息是存储在分区中，而分区分布于不同的broker中，那么broker宕机会导致该机器上的分区不可用，kafka是如何保证可用性的呢？下面就要说下Kafka的多副本（replica）机制，Kafka通过增加副本数量提升容灾能力。

• 同一分区的不同副本中保存的是相同的消息(在同一时刻，副本之间并非完全一样）。
• 副本之间是一主多从”的关系，其中leader 副本负责处理读写请求，follower 副本只负责与 leader 副本的消息同步。
• 副本处于不同的broker中，每个broker最终拥有同一分区的一个副本。当 leader 副本出现故障时，从follower 副本中重新选举新的leader 副本对外提供服务。

Katka 通过多副本机制实现了故障的自动转移，当Kafka 集群中某个broker 失效时仍然能保证服务可用。如图所示，broker数量为4，副本因子为3。

image.png

消费者端也具备一定的容灾能力，消费者会提交自己消费的位置到kafka，当故障恢复后，可以从上次提交的消费位置开始消费。

关于分区的几个概念

• AR (Assigned Replicas）：分区中的所有副本。
• ISR (In-Sync Replicas)：所有与 leader 副本保持一定程度同步的副本（包括 leader 副本在内）组成，ISR 集合是 AR 集合中的一个子集。前面所说的“一定程度的同步” 是指可忍受的滞后范围，这个范围可以通过参数进行配置。
• OSR (Outof-Sync Replicas)：与leader 副本同步滞后过多的副本（不包括leader副本）组成。AR=ISR+OSR。

在正常情况下，所有的follower 副本都应该与 leader 副本保持一定程度的同步，即 AR=ISR,OSR 集合为空。leader副本负责维护和跟踪ISR集合中所有follawer副本的滞后状态，当 follower 副本落后大多或失效时，leader副本会把它从ISR 集合中剔除。如果 OSR 集合中有follover 副本“追上”leader 副本，那么leader副本会把它从 OSR 集合转移至 ISR 集合。默认情况下，当 leader 副发生故障时，只有在 ISR 集合中的副本才有资格被选举为新的leader，而在 OSR 集合中的副没有任何机会（不过这个原则也可以通过修改相应的参数配置来改变）。

• HW 是 Figh Watermark 的缩写，俗称高水位，它标识了一个特定的消息偏移量 （oftset)，消费者只能拉取到这个 ofset 之前的消息。

• LEO 是 Log End Offset 的缩写，它标识当前日志文件中下一条待写入消息的 offset，LEO 的大小相当于当前日志分区中最后一条消息的 ofset 值加 1。分区 ISR 集合中的每个副本都会维护自身的LEO，而 ISR 集合中最小的 LEO即为分区的 HW，对消费者而言只能消费 HW 之前的消息。举例如下：

  
  
  image.png

  假设ISR中有3个副本，1个leader和2个follower，此时分区的HW和LEO都是3。此时生产者发送了消息3和4，优先写入leader副本。由于不同follower副本同步效率不同，此时follower1已同步到了消息3和4，LEO是5；而follower2只同步了消息3，LEO是4，所以整个分区的HW取所有副本最小的LEO=4，因此此时消费者只能消费到4之前的消息，即0、1、2和3。

结束语

本篇主要介绍了Kafka的中一些而基本概念，对其实现没有做深究，主要还是根据书中的顺序来写，没怎么加自己的理解。后面会尝试从《一条消息的一生》这个角度来总结消息生产和消费的过程，以及其中的可靠性是如何保证的。