kafka基础介绍

目录

前言：

一:kafka架构

1.kafka基础架构

 2、kafka多副本架构

二、kafka基础概念

1、produce

2. Consumer

3、Broker

​ 4、Topic

5、Partition

 6、Replicas

 7、Offset

 8、 AR

9、 ISR

10、OSR

11、HW 

12、LEO 

13、Lag 

三、kafka特性

四、kafka应用场景 

---

前言：

kafka根据维基百科的定义，消息引擎系统是一组规范。企业利用这组规范在不同系统之间传递语义准确的消息，实现松耦合的异步式数据传递。通俗来说就是：系统 A 发送消息给消息引擎系统，系统 B 从消息引擎系统中读取 A 发送的消息。那系统A为什么不能直接发送消息给B了，要使用kafka中转了，其中就利用消息中间件一个很重要的特性，那就是削峰填谷。

一:kafka架构

1.kafka基础架构

 2、kafka多副本架构

 

二、kafka基础概念

 1.produce

生产者创建消息。

该角色将消息发布到 Kafka 的 topic 中。broker 接收到生产者发送的消息后，broker 将该消息追加到当前用于追加数据的 segment 文件中。

一般情况下，一个消息会被发布到一个特定的主题上。

• 默认情况下通过轮询把消息均衡地分布到主题的所有分区上。
• 在某些情况下，生产者会把消息直接写到指定的分区。这通常是通过消息键和分区器来实现的，分区器为键生成一个散列值，并将其映射到指定的分区上。这样可以保证包含同一个键的消息会被写到同一个分区上。
• 生产者也可以使用自定义的分区器，根据不同的业务规则将消息映射到分区。

2. Consumer

消费者读取消息。

• 消费者订阅一个或多个主题，并按照消息生成的顺序读取它们。
• 消费者通过检查消息的偏移量来区分已经读取过的消息。偏移量是另一种元数据，它是一个不断递增的整数值，在创建消息时，Kafka 会把它添加到消息里。在给定的分区里，每个消息的偏移量都是唯一的。消费者把每个分区最后读取的消息偏移量保存在 Zookeeper 或 Kafka上 ，如果消费者关闭或重启，它的读取状态不会丢失。
• 消费者是消费组的一部分。群组保证每个分区只能被一个消费者使用。
• 如果一个消费者失效，消费组里的其他消费者可以接管失效消费者的工作，再平衡，分区重新分配。

 3、Broker

一个独立的 Kafka 服务器被称为 broker。

broker 为消费者提供服务，对读取分区的请求作出响应，返回已经提交到磁盘上的消息。

• 如果某 topic 有 N 个 partition，集群有 N 个 broker，那么每个 broker 存储该 topic 的一个 partition。
• 如果某 topic 有 N 个 partition，集群有 (N+M) 个 broker，那么其中有 N 个 broker 存储该 topic 的一个partition，剩下的 M 个 broker 不存储该 topic 的 partition 数据。
• 如果某 topic 有 N 个 partition，集群中 broker 数目少于 N 个，那么一个 broker 存储该 topic 的一个或多个 partition。在实际生产环境中，尽量避免这种情况的发生，这种情况容易导致 Kafka 集群数据不均衡。
• broker 是集群的组成部分。每个集群都有一个 broker 同时充当了集群控制器的角色（自动从集群的活跃成员中选举出来）。

控制器负责管理工作，包括将分区分配给 broker 和监控 broker。

在集群中，一个分区从属于一个 broker，该 broker 被称为分区的首领。

4、Topic

每条发布到 Kafka 集群的消息都有一个类别，这个类别被称为 Topic。

物理上不同 Topic 的消息分开存储。

主题就好比数据库的表，尤其是分库分表之后的逻辑表

5、Partition

• 主题可以被分为若干个分区，一个分区就是一个提交日志。
• 消息以追加的方式写入分区，然后以先入先出的顺序读取。
• 无法在整个主题范围内保证消息的顺序，但可以保证消息在单个分区内的顺序。
• Kafka 通过分区来实现数据冗余和伸缩性。
• 在需要严格保证消息的消费顺序的场景下，需要将 partition 数目设为1。

 6、Replicas

Kafka 使用主题来组织数据，每个主题被分为若干个分区，每个分区有多个副本。那些副本被保存在broker 上，每个broker 可以保存成百上千个属于不同主题和分区的副本。

副本有以下两种类型：

•  首领副本
• 每个分区都有一个首领副本。为了保证一致性，所有生产者请求和消费者请求都会经过这个副本。
•  跟随者副本
• 首领以外的副本都是跟随者副本。跟随者副本不处理来自客户端的请求，它们唯一的任务就是从首领那里复制消息，保持与首领一致的状态。如果首领发生崩溃，其中的一个跟随者会被提升为新首领。

 7、Offset

生产者Offset

消息写入的时候，每一个分区都有一个 offset，这个 offset 就是生产者的 offset，同时也是这个分区的最新最大的 offset。

有些时候没有指定某一个分区的 offset，这个工作 kafka 帮我们完成。

消费者Offset 

这是某一个分区的 offset 情况，生产者写入的 offset 是最新最大的值是12，而当 Consumer A 进行消费时，从 0 开始消费，一直消费到了 9，消费者的 offset 就记录在 9，Consumer B 就纪录在了 11。等下一次他们再来消费时，他们可以选择接着上一次的位置消费，当然也可以选择从头消费，或者跳到最近的记录并从“现在”开始消费。

 8、 AR

分区中的所有副本统称为AR（Assigned Repllicas）。

AR=ISR+OSR

9、 ISR

所有与leader副本保持一定程度同步的副本（包括Leader）组成ISR（In-Sync Replicas），ISR 集合是 AR 集合中的一个子集。消息会先发送到 leader 副本，然后 follower 副本才能从 leader 副本中拉取消息进行同步，同步期间内 follower 副本相对于 leader 副本而言会有一定程度的滞后。前面所说的“一定程度”是指可以忍受的滞后范围，这个范围可以通过参数进行配置。

10、OSR

与leader副本同步滞后过多的副本（不包括leader）副本，组成OSR(Out-Sync Relipcas)。在正常情况下，所有的 follower 副本都应该与 leader 副本保持一定程度的同步，即 AR=ISR,OSR 集合为空。

11、HW 

HW 是High Watermak的缩写， 俗称高水位，它表示了一个特定消息的偏移量（offset），消费者只能拉取到这个offset之前的消息

12、LEO 

LEO 是Log End Offset的缩写，它表示了当前日志文件中下一条待写入消息的 offset。

13、Lag 

消息滞后(Lag) 即为消息堆积量，对每一个分区而言，它的Lag等于HW-ConsumerOffset的值，ConsumerOffset代表当前的消费位移。整个主题的消息堆积量为各个分区的累加值。

三、kafka特性

• 高吞吐量：单机每秒处理几十上百万的消息量。即使存储了许多的消息，它也保持稳定的性能。
• 高性能：单节点支持上千个客户端，并保证零停机和零数据丢失。
• 持久化数据存储：将消息持久化到磁盘。通过将数据持久化到硬盘以及防止数据丢失。（零拷贝、 顺序读，顺序写、利用的页缓存）
• 分布式系统，易于向外扩展。所有的 Producer、Broker 和 Consumer 都会有多个，均为分布式的。
• 无需停机即可扩展机器。多个 Producer、Consumer 可能是不同的应用。
• 可靠性：Kafka 是分布式、分区、复制和容错的。
• 客户端状态维护：消息被处理的状态是在 Consumer 端维护，而不是由 server 端维护。当失败时能自动平衡。

四、kafka应用场景 

 日志收集：

• Kafka 可以收集各种服务的 Log，通过 Kafka 以统一接口服务的方式开放给各种 Consumer。
• 消息系统：
• 解耦生产者和消费者、缓存消息等。 用户活动追踪。
• Kafka 经常被用来记录 Web 用户或者 App 用户的各种活动，如浏览网页、搜索、点击等活动。这些活动信息被各个服务器发布到 Kafka 的 Topic 中，然后消费者通过订阅这些 Topic 来做实时的监控分析，亦可保存到数据库。

流式处理：比如Spark Streaming和Storm

• 运营指标：
• Kafka 也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告。