Kafka基础—4、Kafka Streams & Kafka Connect

Kafka知识库 - 索引目录

一、Kafka Streams

1、Kafka Streams 简介

Kafka Streams 是 Apache Kafka 提供的一个用于处理实时数据流的库。它允许你在应用程序中直接处理和分析 Kafka 主题中的数据，而无需使用独立的流处理集群。

2、流处理的概念

流处理是一种处理连续流数据的方式，相对于批处理，它更加实时。在 Kafka Streams 中，你可以通过定义处理拓扑（topology）来描述数据的流向和处理逻辑。数据可以在拓扑中的不同处理节点间流动，每个节点对数据进行处理。

3、Kafka Streams 的核心 API

Kafka Streams 提供了一组核心 API 来构建流处理应用。其中包括：

• KStream： 表示一个无界的数据流，你可以对其进行操作，例如过滤、映射、聚合等。
• KTable： 表示一个不断更新的键值对的集合，通常用于对数据进行聚合和查询。
• Processor API： 允许你以更底层的方式定义自定义的处理器，以实现更灵活的流处理逻辑。

4、状态管理

在流处理中，状态管理是一个重要的主题。Kafka Streams 提供了内置的状态存储机制，使你能够在处理数据时跟踪和更新状态。这对于一些需要保持状态的操作（例如窗口操作）非常重要。

5、流处理应用案例

举个：假设想统计一个实时日志流中每个 IP 地址的访问次数。

可以创建一个 Kafka Streams 应用，订阅日志主题，使用 KStream 进行实时计数，然后将结果写回 Kafka 主题或者存储到外部系统。

示例（Go语言的伪代码）：

package main

import (
	"github.com/confluentinc/confluent-kafka-go/kafka"
	"github.com/confluentinc/confluent-kafka-go/kafka/kafkatest"
	"github.com/confluentinc/confluent-kafka-go/kafka/kafkautil"
	"github.com/confluentinc/confluent-kafka-go/kafka/kafkautil/examples"
)

func main() {
	// 创建 Kafka Streams 配置
	config := kafkautil.GetSaramaConfig()
	config.Consumer.Offsets.Initial = kafka.OffsetOldest

	// 创建 Kafka Streams 实例
	streams, err := examples.NewStream("kafka-broker", "input-topic", "output-topic", config)
	if err != nil {
		panic(err)
	}

	// 定义拓扑逻辑
	builder := streams.TopologyBuilder()
	builder.AddSource("Source", "input-topic").
		AddProcessor("Processor", &MyProcessor{}, "Source").
		AddSink("Sink", "output-topic", "Processor")

	// 启动 Kafka Streams 应用
	streams.Start(builder, config)
}

// 实现自定义处理器
type MyProcessor struct{}

func (p *MyProcessor) Process(key, value string) {
	// 处理逻辑，这里可以更新状态或者进行其他操作
}

二、Kafka Connect

Kafka Connect 是用于在 Apache Kafka 与外部系统之间进行可扩展、可靠的数据传输的框架。

它提供了 Source Connectors（用于从外部系统导入数据到 Kafka）和 Sink Connectors（用于将 Kafka 数据导出到外部系统）的支持。

1、Kafka Connect 简介

Kafka Connect 是 Apache Kafka 提供的一个框架，用于构建和运行可扩展、可靠的连接器，实现 Kafka 与各种外部系统之间的数据传输。它旨在简化数据集成过程，提供了标准化的方式来处理连接器的配置、部署和监控。

2、Connectors 和 Tasks

• Connectors： 是 Kafka Connect 的插件，用于定义与外部系统的连接。Connectors 负责配置、启动和停止 Task。
• Tasks： 是 Connectors 的工作单元，负责实际的数据传输。每个 Connector 可以有多个 Task 并行工作。

3、配置 Source 和 Sink 连接器

举个 - 配置 Source 连接器：
假设要从 MySQL 数据库中导入数据到 Kafka 中。可以使用 Confluent Hub 上提供的 MySQL Connector。首先，需要配置连接器：

name=source-connector
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1
connection.url=jdbc:mysql://localhost:3306/yourdatabase
table.whitelist=yourtable
topic.prefix=yourtopic-

这里，需要配置连接器类、任务数量、数据库连接信息、需要导入的表，以及为生成的 Kafka 主题设置前缀。

举个 - 配置 Sink 连接器：
假设要将 Kafka 主题中的数据导出到 Elasticsearch。可以使用 Confluent Hub 上提供的 Elasticsearch Sink Connector。配置可能如下：

name=sink-connector
connector.class=io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
tasks.max=1
topics=yourtopic-*
connection.url=http://localhost:9200

这里，需要配置连接器类、任务数量、要导出的 Kafka 主题、Elasticsearch 的连接信息。

4、数据转换

Kafka Connect 提供了数据转换器，用于在数据传输过程中进行格式转换。这对于处理不同系统之间的数据格式差异非常有用。

举个：
假设Source 连接器从 JSON 格式的 MySQL 表中读取数据，但希望在 Kafka 主题中使用 Avro 格式。可以配置数据转换器：

key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=http://localhost:8081
value.converter.schema.registry.url=http://localhost:8081

这里，配置了 Avro 转换器，并指定了 Schema Registry 的地址。

5、Kafka Connect 集群模式

Kafka Connect 可以以分布式模式运行，形成一个 Connect 集群，以提高可靠性和吞吐量。在集群模式下，连接器和任务可以在多个工作节点上并行执行。

举个：
配置 Connect 集群，指定集群中的多个工作节点：

rest.port=8083
group.id=connect-cluster
config.storage.topic=connect-configs
offset.storage.topic=connect-offsets
status.storage.topic=connect-status
config.storage.replication.factor=3
offset.storage.replication.factor=3
status.storage.replication.factor=3

这里，配置了 REST 端口、集群 ID 以及用于存储连接器配置、偏移量和状态信息的 Kafka 主题。