[Kafka基础]--命令行使用举例(CDH版本)

Kafka命令行使用举例(Kafka-2.1.1-CDH-5.10.1版本)

一、命令行介绍

Kafka的命令行：共有10个命令，每个命令有各自的作用

常用的命令：kafka-console-consumer、kafka-console-producer、kafka-topics和kafka-run-class

二、以上4个常用命令举例

1、kafka-topics

(1)、创建topic
kafka-topics --create --topic yourTopic --zookeeper hadoop:2181 --partitions 2 --replication-factor 2

(2)、查看kafka所有的topic名称
kafka-topics --list --zookeeper  hadoop:2181

(3)、描述你的topic
kafka-topics --describe --zookeeper hadoop:2181  --topic yourTopic

(4)、暂时删除topic(如果要彻底删除topic，则需要到znode上把元数据删掉)
kafka-topics --delete --zookeeper hadoop:2181  --topic yourTopic

(5)、给Kafka的topic添加分区
kafka-topics   --zookeeper hadoop:2181 --alter --partitions 2  --topic  yourTopic

2、kafka-console-producer

生产(Pub)：kafka-console-producer --topic yourTopic --broker-list hadoop3:9092

3、kafka-console-consumer

订阅消费(Sub)：kafka-console-consumer --zookeeper hadoop3:2181  --topic yourTopic

4、kafka-run-class

(1)查看每个Partition的最新偏移量
kafka-run-class kafka.tools.GetOffsetShell --broker-list hadoop:9092 --topic yourTopic  --time -1

(2)查看每个Partition的最早的偏移量
kafka-run-class kafka.tools.GetOffsetShell --broker-list hadoop:9092 --topic yourTopic  --time -2

(3)查看consumer组内消费的offset
kafka-run-class  kafka.tools.ConsumerOffsetChecker --zookeeper hadoop:2181  --topic yourTopic

5、kafka-consumer-offset-checker

获取topic消费组的偏移量

kafka-consumer-offset-checker --zookeeper=localhost:2181 --topic=mytopic  --group=my_consumer_group

参考

1. https://gist.github.com/ursuad/e5b8542024a15e4db601f34906b30bb5
2. https://www.cloudera.com/documentation/kafka/latest/topics/kafka_command_line.html