Kafka 命令行工具 kcat/kafkacat

简介

kcat， 又称为 kafkacat，是一款非 JVM 的 Kafka 消息生产和消费的命令行工具，适用于 Kafka 0.8 及以上版本。

github地址：
https://github.com/edenhill/kcat

生产者模式：kcat 从标准输入读取数据，-D 指定分割符，把数据发送到Kafka 集群，-b 指定集群地址， -t 指定topic名称， -p 指定分区

消费者模式：kcat 从指定的 topic 和 partition 消费数据，并打印到标准输出。

kcat 还支持打印 Kafka 集群的状态，topics，pairtions 信息。

安装方式

1. Ubuntu 环境

sudo apt-get update
sudo apt-get install kafkacat

2. MacOS 环境

brew install kcat

3. 从源码编译安装

git clone https://github.com/edenhill/kcat.git
cd kcat
./configure
make
make install

使用

Ubuntu 中使用 kafkacat, 在 MacOS 中使用 kcat, 如果是源码方式安装也是使用 kcat

1. 生产者

常用参数：
-P: 说明以生产者模式运行
-b : Kafka集群地址，端口为9092时可省略端口
-t: topic名称
-p: 分区编号
-z: 压缩格式，如snappy

示例：
读取 /var/log/syslog 文件的数据，数据写到“syslog” 主题

tail -f /var/log/syslog | kafkacat -b mybroker -t syslog -P

2. 消费者

常用参数：
-P: 说明以消费者模式运行
-b : Kafka集群地址，端口为9092时可省略端口
-t: topic名称
-p: 分区编号
-J: 以 Json 格式打印数据

示例：

#消费 syslog 所有数据
kafkacat -C -b mybroker -t syslog

#消费 syslog 最近2000条数据
kafkacat -C -b mybroker -t syslog -p 0 -o -2000 -e

#消费 mytopic 指定时间戳的数据
kafkacat -b mybroker -C -t mytopic -o s@1568276612443 -o e@1568276617901

#消费多个 topic
kafkacat -b mybroker -G mygroup topic1 topic2

3. Kafka信息查询

# 查询给定时间戳对应的 offset
kafkacat -b mybroker -Q -t mytopic:3:2389238523 -t mytopic2:0:18921841

#打印 Kafka 集群所有元数据信息
kafkacat -L -b mybroker

# 以 Json 格式打印 Kafka 集群所有元数据信息
kafkacat -b mybroker -L -J | jq .