kafka命令总结与讲解

1.查看kafka主题信息

kafka-topics.sh \ --describe --zookeeper localhost:2181 \ --topic flink_window

2.查看主题列表

kafka-topics.sh \ --zookeeper 127.0.0.1:2181 \ --list

__consumer_offsets是关系偏移量的主题 kafka自己内部的主题。

3.Kafka消费者启动命令

kafka-console-consumer.sh \ --bootstrap-server hdp-dn-01:9092,hdp-dn-02:9092,hdp-dn-03:9092 \ --topic flink_window_new

 

4.kafka生产者启动命令

kafka-console-producer.sh \ --broker-list  hdp-dn-01:9092,hdp-dn-02:9092,hdp-dn-03:9092 \ --topic flink_window_new

 

5.Kafka查看 consumer_offset,logSize,lag的命令行 ---查看topic消费进度

kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test11 --topic test123

Group：消费组

Topic：消费主题

Pid：分区编码

Offset：消费的偏移量（unknown是没有消费者消费主题）

logSize：已经写到该分区的消息数

Lag：还有多少消息未读取（Lag = logSize - Offset）

Owner：该分区创建在那个Broker server上面

6.查看消费者组的消费情况

kafka-consumer-groups.sh \ --bootstrap-server hdp-dn-01:9092,hdp-dn-01:9092,hdp-dn-01:9092 \ --group test11  \ --describe

TOPIC  PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG  CONSUMER-ID  HOST  CLIENT-ID test123       1              624             624    0           -       -         - log           1              26              26     0           -       -         - log           2              26              27     1           -       -         - test123       0              622             622    0           -        -         - test123       2              483             483    0           -        -         - log          0               27              27     0           -        -         -

 

注意看current-offset 和 log-end-offset还有 lag ，分别为当前偏移量，结束的偏移量，落后的偏移量。

 

Spark 直连kafka自己维护偏移量所以kafka 内部不保存便宜量：

7.查看kafka所有消费者组

./kafka-consumer-groups.sh \ --bootstrap-server localhost:9092 \ --list

8.查看topic中各分区的最大偏移量（即总数据量）。

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list hdp-dn-01:9092 --topic AdRealTimeLog1 --time -1

9.kafka命令行消费数据

./kafka-console-consumer.sh --zookeeper hdp-dn-01:2181 --topic AdRealTimeLog1

 

未完待续。。。。。