kafka命令行操作
新老版本kafka命令行操作
啓動Kafka：
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
Kafka命令行操作
- 查看当前集群中已存在的主题topic
旧的方式
kafka-topics.sh --zookeeper bdphdp01:2181 --list
kafka-topics.sh --zookeeper bdphdp01:2181/kafka-bdpapp01 --list
新的方式
kafka-topics.sh --bootstrap-server bdpapp01:9092 --list
kafka-topics.sh --bootstrap-server 11.51.197.0:6667,11.51.197.1:6667,11.51.197.2:6667 --list
- 创建topic
旧的方式
kafka-topics.sh --zookeeper bdpapp01:2181/kafka-bdpapp01-01 --create --replication-factor 1 --partitions 1 --topic test.1
新的方式
kafka-topics.sh --bootstrap-server bdpapp01:9092 --create --replication-factor 1 --partitions 1 --topic test.1
--zookeeper 连接zk集群
--create 创建
--replication-factor 副本
--partitions 分区
--topic 主题名
- 删除主题
kafka-topics.sh --bootstrap-server bdpapp01:9092 --delete --topic t1
- 发送消息
生产者启动:
kafka-console-producer.sh --broker-list bdpapp01:9092 --topic test.1
消费者启动:
kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic test.1 --from-beginning
- 查看主题详细信息
kafka-topics.sh --zookeeper bdphdp01:2181 --describe --topic test.1
kafka-topics.sh --bootstrap-server bdpapp01:9092 --describe --topic test.1
- 查看consumer group操作
新版本
group列表，使用--list参数
kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --list test.1
kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --list test.1
查看特定consumer group 详情，使用--group与--describe参数
kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --group console-consumer-57168 --describe
kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --group hive1 --describe
删除consumer groups
kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --delete --group g1 --group g2
老版本
kafka-consumer-groups.sh --zookeeper bdphdp01:2181 --group --list
当前2.0稳定版本kafka命令行基本操作
查看topic list
kafka-topics.sh --bootstrap-server bdpapp01:9092 --list
创建topic：
kafka-topics.sh --bootstrap-server bdpapp01:9092 --create --replication-factor 1 --partitions 2 --topic t101
生产数据：
kafka-console-producer.sh --broker-list bdpapp01:9092 --topic t101
指定组消费：
kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic t101 --group g1
消费分区0：
kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic t101 --partition 0
查看topics:
kafka-topics.sh --bootstrap-server bdpapp01:9092 --describe --topic t101
查看groups:
kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --group g1 --describe
删除topic：
kafka-topics.sh --bootstrap-server bdpapp01:9092 --delete --topic t101
kafka2.8 无zookeeper版本命令行操作
啓動Kafka：
kafka home: /root/kafka/kafka
./kafka-storage.sh random-uuid
./kafka-storage.sh format -t 1v7SvQQqSSyWlsI6mJTADQ -c ../config/kraft/server.properties
./kafka-server-start.sh ../config/kraft/server.properties
./kafka-server-start.sh -daemon ../config/kraft/server.properties
broker-list:42.193.120.74:9092
参考:https://www.cnblogs.com/smartloli/p/14722529.html
Kafka命令行操作
- 查看当前集群中已存在的主题topic
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --list
- 创建topic
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --create --replication-factor 1 --partitions 1 --topic test.1
--zookeeper 连接zk集群
--create 创建
--replication-factor 副本
--partitions 分区
--topic 主题名
- 删除主题
kafka-topics.sh --bootstrap-server 42.193.120.74:2181 --delete --topic test.1
- 发送消息
生产者启动:
kafka-console-producer.sh --broker-list 42.193.120.74:9092 --topic test.1
消费者启动:
kafka-console-consumer.sh --bootstrap-server 42.193.120.74:9092 --topic test.1 --from-beginning
- 查看主题详细信息
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --describe --topic test.1
- 查看consumer group操作
group列表，使用--list参数
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --list test.1
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:9092 --list test.1
查看特定consumer group 详情，使用--group与--describe参数
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --group console-consumer-57168 --describe
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:9092 --group hive1 --describe
删除consumer groups
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --delete --group g1 --group g2
- 删除topic
kafka-topics.sh --delete --zookeeper 42.193.120.74:2181 --topic __consumer_offsets
- 通过kafka-dump-log.sh工具来查看metadata日志信息
./kafka-dump-log.sh --cluster-metadata-decoder --skip-record-metadata --files /tmp/kraft-combined-logs/\@metadata-0/*.log
- 通过kafka-metadata-shell.sh来查看元数据信息，这个和Zookeeper Client操作很类似
./kafka-metadata-shell.sh --snapshot /tmp/kraft-combined-logs/\@metadata-0/00000000000000000000.log