Kafka入门总结

最近在工作中遇到一个这样的需求，为区块链网络写一个中间件，以发布-消费模型对上链流量进行整型，解决区块链TPS低的问题。当上层高并发的流量过来后，流量统一进入中间件层，中间件对消息整合后才发送到区块链上。

针对这个需求，经调研后决定选用Kafka，再次记录下学习过程。

一、Kafka简介

1.1 是什么

Apache Kafka 是一款开源的消息引擎系统。所谓的消息引擎系统，根据维基百科的定义：消息引擎系统是一组规范，企业利用这组规范在不同系统之间传递语义准确的消息，实现松耦合的异步式数据传递。通俗的讲就是A发送消息到消息引起系统，B从消息引擎系统中读取A发送的消息，消息引擎系统处理的核心对象就是消息。
Kafka采用二进制字节序列对消息进行编码，从而在不同系统直接进行传输。Kafka支持两种消息传输模型：

• 点对点模型（Peer to Peer，P2P），A发布的消息只能被B消费。
• 发布-订阅模型，不同的消息根据关联性抽象为主题（Topic），发布者向主题发送消息，订阅者订阅主题获得消息，发布者和订阅者是多对多的关系。

同时，Kafka又不仅仅是消息引擎系统，也是一个分布式流处理平台。在0.10.0.0之前的版本中，官方对Kafka的定位是分布式、分区化且带备份功能的提交日志（Commit Log）服务，而随着Kafka的流行和应用场景越来越广泛，很多公司将Kafka应用到了企业内部的数据管道中，一个系统的数据流入Kafka在流入另一个系统，基于Kafka在数据流转中扮演的角色，社区在0.10.0.0版本中正式推出了流处理组件Kafka Streams，从这个版本开始，Kafka正式升级为分布式流处理平台。

Kafka除了是消息引擎系统、分布式流处理平台外，还能够被用作分布式存储系统。就目前而言，Kafka还是主要被用作消息引擎系统，不过分布式流处理平台也被越来越多的人接受。

1.2 解决了什么问题

Kafka主要适用于两类应用场景：

• 构造实时的消息管道，在不同系统/应用直接可靠的传输消息（数据），相当于消息队列。Kafka主要作为消息引擎系统使用。
• 构建实时的流式应用程序，通过对topic进行转换从而实现流处理。Kafka主要作为分布式流处理平台使用。

Kafka作为消息引擎系统，最核心的价值是解决了“削峰填谷”的问题。利用Kafka可以对上下游系统进行流量解耦，上游系统瞬时突发流量，可以平缓的过渡到下游系统，不至于造成系统雪崩。

二、关键概念

Kafka有很多的专业术语，在刚接触时，如果对这些术语没有弄明白就直接动手实践，会有些无所适从的感觉。

Record-消息
消息是Kafka主要的处理对象。

Topic-主题
主题是在消息之上的一种逻辑封装，在实际使用中多用来区分具体的业务。在Kafka的发布-消费模型中，发布订阅的对象就是主题。

Producer-生产者
向主题发布消息的客户端称为生产者，生产者可以向一个或多个主题发送消息。

Consumer-消费者
从主题中获取消息的客户端程序成为消费者。消费者可以同时订阅从一个或多个主题。

Broker
Broker是Kafka的服务器端的服务进程，一个Kafka集群由多个Broker组成，Broker负责接收和处理客户端（生产者和消费者）发送的请求并对消息进行持久化。

Replication-备份机制
Kafka实现高可用的机制之一。Kafka会把相同的数据拷贝到不同的机器上，这些相同的数据称为副本（Replica）。Kafka定义了两种副本：

• 领导者副本（Leader Replica），对外提供服务，生产者向领导者副本写消息，消费者从领导者副本读消息。
• 追随者副本（Follower Replica），不对外提供服务，向领导者副本发送请求，同步最新消息，与领导者保持同步。

Partition-分区
副本机制保证了Kafka消息的持久化，确不能解决伸缩性问题，当领导者副本过多，会导致单台机器的Broker服务无法承载。针对这个问题，Kafka使用分区来解决。
Kafka将每个主题划分为多个分区，每个分区是一组有序的消息日志，生产者生产的消息只会被发送到一个分区中。分区编号采用有序整数，从0开始。
副本是在分区的层级上定义的，每个分区可以配置若干个副本，其中只有一个领导者副本，若干个追随者副本。

Consumer Offset-消费者位移
生产者向分区写入消息时，每条消息在分区中的位置信息由一个叫位移（Offset）的数据来表征。分区位移从0开始，并依次累加。

Consumer Group-消费者组
Kafka实现点对点消费模型的方法是引入了消费者组。消费者组是指多个消费者实例共同组成的一个组，同时消费多个分区以实现高吞吐。

Rebalance-重平衡
消费者组内某个消费者实例挂掉后，其他消费者实例自动重新分配订阅主题分区的过程。Rebalance 是 Kafka 消费者端实现高可用的重要手段。

从Kafka的核心概念中，可以看到三层消息架构：

• 第一层是主题层，每个主题可以配置 M 个分区，而每个分区又可以配置 N 个副本。
• 第二层是分区层，每个分区的 N 个副本中只能有一个充当领导者角色，对外提供服务；其他 N-1 个副本是追随者副本，只是提供数据冗余之用。
• 第三层是消息层，分区中包含若干条消息，每条消息的位移从 0 开始，依次递增。最后，客户端程序只能与分区的领导者副本进行交互。

Kafka各概念之间的关系如下图所示。

image.png

三、参考

https://kafka.apachecn.org/intro.html
http://gk.link/a/103IA