kafka常用命令

(1)启动生产消息端,生产消息,./bin/kafka-console-producer.sh --broker-list dn02.hadoop.cn:6667,dn03.hadoop.cn:6667,dn04.hadoop.cn:6667 --topic oc_3e512df5-ed75-11e8-a994-00163e0007e4 --security-protocol SASL_PLAINTEXT

(2)启动消费端命令行,消费消息,./bin/kafka-console-consumer.sh --bootstrap-server dn02.hadoop.cn:6667,dn03.hadoop.cn:6667,dn04.hadoop.cn:6667 --topic oc_3e512df5-ed75-11e8-a994-00163e0007e4 --from-beginning --security-protocol SASL_PLAINTEXT

(3)查看consumer group列表,使用--list参数

查看consumer group列表有新、旧两种命令,分别查看新版(信息保存在broker中)consumer列表和老版(信息保存在zookeeper中)consumer列表,因而需要区分指定bootstrap--server和zookeeper参数:

./kafka-consumer-groups.sh --new-consumer --bootstrap-server dn02.hadoop.cn:6667,dn03.hadoop.cn:6667,dn04.hadoop.cn:6667 --list

但是报错

./kafka-consumer-groups.sh --zookeeper dn02.hadoop.cn:2181,dn01.hadoop.cn:2181,dn03.hadoop.cn:2181 --list

(4)查看特定consumer group 详情,使用--group与--describe参数

同样根据新/旧版本的consumer,分别指定bootstrap-server与zookeeper参数:

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9292 --group lx_test --describe

GROUP                          TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG            OWNER

lx_test                        lx_test_topic            0          465            465            0              kafka-python-1.3.1_/127.0.0.1

./kafka-consumer-groups.sh --zookeeper dn02.hadoop.cn:2181,dn01.hadoop.cn:2181,dn03.hadoop.cn:2181 --group test-consumer-group --describe

(5)查看主题列表

./bin/kafka-topics.sh --zookeeper dn02.hadoop.cn:2181,dn01.hadoop.cn:2181,dn03.hadoop.cn:2181 --list

(6)查看指定主题的详细信息

./bin/kafka-topics.sh --zookeeperdn02.hadoop.cn:2181,dn01.hadoop.cn:2181,dn03.hadoop.cn:2181 --topic test --describe

(7)连接zk的服务端

./zkCli.sh  -server 10.100.46.58:2181

(8) 修改kafka的topic的分区数,kafka的分区数只能增加,不能减少:

./kafka-topics.sh --alter --zookeeper dn02.hadoop.cn:2181,dn01.hadoop.cn:2181,dn03.hadoop.cn:2181 --topic dtwave_kafka_mysql --partitions 3

(9)查询某个topic的信息(包括分区):

./kafka-topics.sh  --zookeeper dn02.hadoop.cn:2181,dn01.hadoop.cn:2181,dn03.hadoop.cn:2181  --describe --topic dtwave_kafka_mysql

(10)如何查看topic的分区使用的大小:

可以通过统计本地数据的大小,就可以;剩余量就是分区的大小减去数据文件的大小

你可能感兴趣的:(kafka常用命令)