(1)启动生产消息端,生产消息,./bin/kafka-console-producer.sh --broker-list dn02.hadoop.cn:6667,dn03.hadoop.cn:6667,dn04.hadoop.cn:6667 --topic oc_3e512df5-ed75-11e8-a994-00163e0007e4 --security-protocol SASL_PLAINTEXT
(2)启动消费端命令行,消费消息,./bin/kafka-console-consumer.sh --bootstrap-server dn02.hadoop.cn:6667,dn03.hadoop.cn:6667,dn04.hadoop.cn:6667 --topic oc_3e512df5-ed75-11e8-a994-00163e0007e4 --from-beginning --security-protocol SASL_PLAINTEXT
(3)查看consumer group列表,使用--list参数
查看consumer group列表有新、旧两种命令,分别查看新版(信息保存在broker中)consumer列表和老版(信息保存在zookeeper中)consumer列表,因而需要区分指定bootstrap--server和zookeeper参数:
./kafka-consumer-groups.sh --new-consumer --bootstrap-server dn02.hadoop.cn:6667,dn03.hadoop.cn:6667,dn04.hadoop.cn:6667 --list
但是报错
./kafka-consumer-groups.sh --zookeeper dn02.hadoop.cn:2181,dn01.hadoop.cn:2181,dn03.hadoop.cn:2181 --list
(4)查看特定consumer group 详情,使用--group与--describe参数
同样根据新/旧版本的consumer,分别指定bootstrap-server与zookeeper参数:
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9292 --group lx_test --describe
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG OWNER
lx_test lx_test_topic 0 465 465 0 kafka-python-1.3.1_/127.0.0.1
./kafka-consumer-groups.sh --zookeeper dn02.hadoop.cn:2181,dn01.hadoop.cn:2181,dn03.hadoop.cn:2181 --group test-consumer-group --describe
(5)查看主题列表
./bin/kafka-topics.sh --zookeeper dn02.hadoop.cn:2181,dn01.hadoop.cn:2181,dn03.hadoop.cn:2181 --list
(6)查看指定主题的详细信息
./bin/kafka-topics.sh --zookeeperdn02.hadoop.cn:2181,dn01.hadoop.cn:2181,dn03.hadoop.cn:2181 --topic test --describe
(7)连接zk的服务端
./zkCli.sh -server 10.100.46.58:2181
(8) 修改kafka的topic的分区数,kafka的分区数只能增加,不能减少:
./kafka-topics.sh --alter --zookeeper dn02.hadoop.cn:2181,dn01.hadoop.cn:2181,dn03.hadoop.cn:2181 --topic dtwave_kafka_mysql --partitions 3
(9)查询某个topic的信息(包括分区):
./kafka-topics.sh --zookeeper dn02.hadoop.cn:2181,dn01.hadoop.cn:2181,dn03.hadoop.cn:2181 --describe --topic dtwave_kafka_mysql
(10)如何查看topic的分区使用的大小:
可以通过统计本地数据的大小,就可以;剩余量就是分区的大小减去数据文件的大小