Kafka基本概念详解

Kafka是一款基于发布与订阅的消息系统。

消息和批次（Messages and Batches）

Kafka的数据单元被称为消息， 可以把消息看成是数据库里的一个“数据行”或者一条“记录”。消息由字节数组组成，所以对于Kafka来说，消息里的数据没有特别的格式或含义。消息可以有一个可选的元数据，就是键。键也是一个字节数组，与消息一样，对于Kafa来说也是没有特殊的含义。当消息以一种可控的方式写入不同的分区时，会用到键。
为了提高效率，消息被分批次的写入Kafka。批次就是一组消息，这些消息属于同一个主题和分区。如果每一个消息都单独穿行于网络，会导致大量的网络开销，把消息分成批次传输可以减少网络开销。不过，这要在时间延迟和吞吐量之间做出权衡：批次越大，单位时间内处理的消息就越多，单个消息的传输时间就越长。批次数据会被压缩，这样可以提升数据的传输和存储能力，但是要做更多的计算处理。

模式（Schema）

对于Kafka来说，消息不过时一些晦涩难懂的字节数组，所以有人建议用一些额外的结果来定义消息内容，让他们更易于理解。根据应用程序的需求不同，消息模式有许多可用的选项。

主题和分区（Topics and Partitions）

Kafka的消息通过主题来进行分类。主题就好比数据库的表，或者文件系统里的文件夹。主题可以被分为若干个分区，一个分区就是一个提交日志。消息以追加的方式写入分区，然后以先入先出的顺序读取。要注意，由于一个主题一般包含几个分区，一次无法在整个主题范围内保证消息的顺序，但可以保证消息在单个分区内的顺序。如下图：

上图所示的主题有4个分区，消息被追加写入每个分区的尾部。Kafka通过分区来实现数据冗余和伸缩性。分区可以分布在不同的服务器上，也就是说，一个主题可以横跨多个服务器，依次来提供比单个服务器更强大的性能。

生产者和消费者（Producers and Consumers)

Kafka的客户端就是Kafka系统的用户，它们被分为两种基本类型：生产者和消费者。
生产者创建消息，消费者读取消息。消费者订阅一个或多个主题，并按照消息生成的顺序来读取他们。消费者通过检查消息的偏移量（offset）来区分已经读过的消息。偏移量是另一种元数据，它是一个不断递增的整数值，在创建消息时，Kafka会把它添加到小溪里。在给定的分区里，每个消息的偏移量都是唯一的。消费者把每个分区最后读取的消息偏移量保存在Zookeeper或Kafka上，如果消费者关闭或重启，他的读取状态不会丢失。
消费者是消费者群组的一部分，也就是说，会有一个或多个消费者共同读取一个主题。群组保证每个群组只能被一个消费者使用。下图所示的群组中，有3个消费者共同读取一个主题。其中的两个消费者各自读取一个分区，另外一个消费者读取其他两个分区。消费者与分区之间的映射通常称为消费者对分区的所有权关系。

Broker和集群（Brokers and Clusters）

一个独立的Kafka服务器被称为broker。broker接收来自生产者的消息，为消息设置偏移量，并提交消息到磁盘保存。broker为消费者提供服务，对读取分区的请求做出响应，返回已经提到到磁盘上的消息。
broker是集群的组成部分。每个集群都有一个broker同时充当了集群控制器的角色（自动从集群的活跃成员中选举出来）。控制器负责管理工作，包括将分区分配给broker和监控broker。在集群中，一个分区从属于一个broker，该broker被称为分区的首领、一个分区可以分配给多个broker，这个时候会发生分区复制（如下图）。这种复制机制为分区提供了消息冗余，如果也给broker失效，其他broker可以接管领导权。

保留消息（在一定期限内）是Kafka的一个重要特性。Kafka broker默认的消息保留策略：要么保留一段时间（比如说7天），要么保留到消息达到一定大小的字节数（比如1GB）。当消息数量达到这些上限时，就消息就会过期并被删除。所以，在任何时刻，可用消息的总量都不会超过配置参数所指定的大小。主题可以配置自己的保留策略，可以将消息保留到不再使用为止。例如，用于跟踪用户活动的数据可能需要保留几天，而应用程序的度量指标可能只需要保留几个小时。可以通过配置把主题当做紧凑型日志，只有最后一个带有特定键的消息会被保留下来。这种情况对于变更日志类型的数据来说比较合适，因为人们只关心最后时刻发生的那个变更。