Kafka基础—1、Kafka基础概念 & Kafka架构 & Kafka安装与配置

Kafka知识库 - 索引目录

一、引言

1、什么是Kafka？

Kafka 是由Apache Software Foundation开发的分布式流处理平台，它是一种高吞吐量、可扩展、持久化的消息中间件。Kafka的设计目标是处理实时数据流，它具有可靠性、容错性以及水平扩展的特点。

在Kafka中，消息被组织成主题（Topic），生产者（Producer）负责向主题发布消息，而消费者（Consumer）则从主题中读取消息。Kafka的架构是分布式的，可以横向扩展以处理大量数据和高并发请求。

2、Kafka的应用场景

1. 消息队列： Kafka可用作高性能消息队列，使得不同部分的应用程序能够进行异步通信。

2. 日志收集： 由于其分布式特性和持久化存储，Kafka常用于大规模日志数据的集中式收集。

3. 事件溯源： Kafka能够记录事件流，支持系统状态的恢复和分析。

4. 流处理： Kafka Streams和其他流处理框架结合，可以进行实时数据处理和分析。

5. 数据湖： Kafka可用于构建数据湖，将不同来源的数据集成到一个集中的存储中。

3、Kafka与传统消息系统的比较

1. 可扩展性：
   Kafka是分布式的，可以轻松地通过增加节点实现水平扩展。
   传统消息系统通常在垂直方向上扩展，限制了系统的可伸缩性。

2. 持久性：
   Kafka通过将消息持久化到磁盘上，确保了消息的可靠性。即使消费者离线，它们也能够获取未处理的消息。
   传统消息系统通常会在内存中保留消息，一旦系统关闭，消息就会丢失。

3. 分区：
   Kafka中的主题可以分为多个分区，每个分区可以独立地进行读写操作。这种设计有助于提高并发性。
   在传统消息系统中，分区的概念可能不那么显式，导致难以实现高并发。

4. 灵活性：
   Kafka支持多种消费者和生产者模式，可以根据不同的业务需求进行配置。
   传统消息系统通常提供有限的模式。

二、Kafka基础概念

1. 主题（Topics）

• 解释： 主题是消息的逻辑通道，用于对消息进行分类和组织。生产者将消息发布到特定的主题，而消费者从主题订阅并接收消息。
• 举个： 如果您有一个电子商务应用程序，您可以创建一个名为"订单"的主题，用于处理与订单相关的消息。

2. 分区（Partitions）

• 解释： 主题可以分为多个分区，每个分区是消息的有序序列。分区使得 Kafka 能够水平扩展，允许并行处理消息。
• 举个： "订单"主题可以分为多个分区，每个分区存储一部分订单消息，以提高并发处理能力。

3. 副本（Replicas）

• 解释： 为了提高可用性和容错性，每个分区可以有多个副本。副本是分区的复制，分布在不同的节点上。
• 举个： 如果有一个包含订单信息的分区，该分区可以有多个副本，确保即使某个节点故障，仍然可以从其他节点获取订单信息。

4. 生产者（Producers）

• 解释： 生产者负责向主题发布消息。它将消息发送到指定的主题和分区。
• 举个： 在电商应用中，订单服务可以是一个生产者，将新订单信息发布到"订单"主题的相应分区。

5. 消费者（Consumers）

• 解释： 消费者从主题订阅并接收消息。它可以订阅一个或多个分区，实现并行处理。
• 举个： 用户服务可能是一个消费者，订阅"订单"主题的某个分区，以处理用户的订单。

6. 消费者群组（Consumer Groups）

• 解释： 消费者可以组成群组，每个群组中的消费者共同消费主题的消息。每个分区只能由群组中的一个消费者处理，但不同分区可以并行处理。
• 举个： 多个用户服务消费者可以组成一个群组，共同处理"订单"主题的不同分区。

7. Broker和集群（Cluster）

• 解释： Broker是 Kafka 集群中的一个节点，负责存储和处理消息。集群由多个 Broker 组成，形成一个分布式系统。
• 举个： 如果您有一个包含订单、支付等主题的 Kafka 集群，每个节点都是一个 Broker，共同构成集群。

三、Kafka架构

1. Kafka集群架构

• 解释： Kafka 集群是由多个 Broker 节点组成的分布式系统。每个节点是一个独立的 Kafka 服务器，负责存储和处理消息。
• 举个： 如果您有一个包含三个节点的 Kafka 集群，每个节点都是一个独立的 Broker，共同协作形成一个分布式系统。

2. 分布式系统原理

• 解释： 分布式系统是由多个独立的节点组成的系统，这些节点可以在物理上分布在不同的机器上。分布式系统通过协作来完成各种任务，提高系统的性能和可靠性。
• 举个： 在 Kafka 集群中，每个 Broker 节点是分布式系统的一部分，它们通过网络进行通信和协作，共同构建一个高性能的消息中间件。

3. 数据复制机制

• 解释： 为了提高可用性和容错性，Kafka 使用数据复制机制。每个分区可以有多个副本，这些副本分布在不同的节点上。当一个节点故障时，其他节点上的副本仍然可用。
• 举个： 如果一个包含订单信息的分区有三个副本，即使其中一个节点发生故障，其他两个节点上的副本仍然可以提供服务。

4. 生产者和消费者如何与Kafka交互

• 解释： 生产者通过将消息发布到特定的主题来与 Kafka 交互。生产者可以选择将消息发送到特定的分区，也可以由 Kafka 决定分区。消费者通过订阅主题来接收消息。
• 举个：
  • 生产者交互： 订单服务作为生产者，将新订单消息发布到"订单"主题。
  • 消费者交互： 用户服务作为消费者，订阅"订单"主题的特定分区，处理用户的订单。

四、Kafka安装与配置

1. Kafka环境搭建

Linux 和 macOS

• 解释： 在 Linux 和 macOS 上，您可以通过以下步骤下载和解压 Kafka。

• 举个：

  # 下载 Kafka
  wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz
  
  # 解压 Kafka
  tar -xzf kafka_2.13-2.8.0.tgz
  

Windows

• 解释： 在 Windows 上，您可以通过官方网站下载 Kafka 的 zip 文件，然后解压。

• 举个：

  • 下载链接：Kafka官方网站
  • 解压至目标文件夹。

2. 单节点与多节点集群配置

Linux 和 macOS

• 解释： 配置 Kafka 的单节点或多节点集群，需要修改 config/server.properties 文件。

• 举个：

  • 单节点配置：

    # 修改 broker.id 为唯一值
    vi kafka_2.13-2.8.0/config/server.properties
    broker.id=1
    

  • 多节点集群配置：

    # 针对每个节点，修改 broker.id，并确保唯一
    vi kafka_2.13-2.8.0/config/server.properties
    broker.id=1  # 节点1
    

    vi kafka_2.13-2.8.0/config/server.properties
    broker.id=2  # 节点2
    

Windows

• 解释： 在 Windows 上，通过修改 config\server.properties 文件进行配置。

• 举个：

  • 单节点配置：
    • 使用文本编辑器打开 config\server.properties 文件，修改 broker.id。
  • 多节点集群配置：
    • 针对每个节点，复制 Kafka 文件夹，并在相应文件夹内修改 config\server.properties 中的 broker.id。

3. 常见配置参数解释

1. broker.id

• 解释： 每个 Kafka 节点在集群中必须有一个唯一的标识。
• 举个：

  broker.id=1
  

2. listeners

• 解释： 指定 Kafka 监听的地址和端口，用于生产者和消费者的通信。
• 举个：

  listeners=PLAINTEXT://localhost:9092
  

3. log.dirs

• 解释： 指定 Kafka 存储数据的目录。
• 举个：

  log.dirs=/path/to/kafka-logs
  

4. zookeeper.connect

• 解释： 指定连接到 Zookeeper 的地址，Kafka 使用 Zookeeper 来协调和管理集群。
• 举个：

  zookeeper.connect=localhost:2181
  

5. num.partitions

• 解释： 指定主题的默认分区数。分区是 Kafka 中消息的基本单位。
• 举个：

  num.partitions=3
  

6. default.replication.factor

• 解释： 指定主题的默认副本因子，即数据的备份数量。
• 举个：

  default.replication.factor=2
  

7. auto.create.topics.enable

• 解释： 指定是否允许自动创建不存在的主题。
• 举个：

  auto.create.topics.enable=true
  

8. auto.offset.reset

• 解释： 指定当消费者没有初始偏移或偏移无效时的行为。可选值为 “earliest”（从开头开始消费）或 “latest”（从最新的消息开始消费）。
• 举个：

  auto.offset.reset=earliest
  

9. group.id

• 解释： 指定消费者组的唯一标识。
• 举个：

  group.id=my-consumer-group
  

10. fetch.min.bytes

• 解释： 指定消费者从服务器获取数据的最小字节数。
• 举个：

  fetch.min.bytes=1