Kafka常用命令

# 创建topic并指定分区和副本
/opt/kafka/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic topic01 --partitions 2 --replication-factor 2

# 查看topic列表
/opt/kafka/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181

# 查看某个topic的详情
/opt/kafka/kafka/bin/kafka-topics.sh --describe --topic topic01 --zookeeper localhost:2181

# 删除名字为first的topic
/opt/kafka/kafka/bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic first

# 启动生产者
/opt/kafka/kafka/bin/kafka-console-producer.sh --topic topic01 --broker-list localhost:9091

# 启动消费者 kfk0.9之前
/opt/kafka/kafka/bin/kafka-console-consumer.sh --topic topic01 --zookeeper localhost:2181

# 启动消费者 kfk0.9开始
/opt/kafka/kafka/bin/kafka-console-consumer.sh --topic topic01 --bootstrap-server localhost:9091 --from-beginning

注意: --from-beginning 代表从头消费数据. 

# 消费指定topic指定partition中的数据，显示数据的key和value
./bin/kafka-console-consumer.sh --topic topicName --bootstrap-server localhost:9092 --property print.key=true --partition 0 --from-beginning

# 查看消费者组
bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --list 或者 
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

# 查看某消费者组详细信息
bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group consumer_group_name 或者 
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group consumer_group_name 

注意: 
CURRENT-OFFSET表示消费者当前消费到该分区的偏移量。
LOG-END-OFFSET表示当前分区最后的偏移量。
LAG表示消费者“落后”的消费进度。

# 检查topic isr是否完整
./bin/kafka-topics.sh --zookeeper zookeeper.host --describe | less

# 检查缺失isr的topic
./bin/kafka-topics.sh --zookeeper zookeeper.host --describe --under-replicated-partitions

# 检查是否有数据堆积
sh kafka-consumer-offset-checker.sh --zookeeper localhost:2181 --group basp_log --topic topic_name 

# 查看当前消费者组的offset
./kafka-consumer-offset-checker.sh  -zookeeper localhost:2181 --topic topic_name --group consumer_group_name

# 修改分区数
./kafka-topics.sh --zookeeper localshot:2181 --alter --topic topic_name --partition 18  

# 列出消费者组的详细信息
./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper http:2181 --group cousumer_group_name --topic topic_name

# 查看磁盘分布不均衡 (将kfk的数据存放目录设置为data*,方便查询)
du -sh /data*/kafka/log/ 

# 对topic排序
du /data01/kafka/log/* |sort -k1,1n