【Kafka七】使用Kafka Consumer Offset Monitor 进行Kakfa监控

1. 获取Kafka Consumer Offset Monitor安装包

http://pan.baidu.com/s/1kT5KeQ7

 

 

2. Kafka Consumer Offset Monitor启动脚本kafkacom.sh

java -Xms128M -Xmx256M -Xss1024K -XX:PermSize=128m -XX:MaxPermSize=256m -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk localhost:2181 --port 8086 --refresh 10.seconds --retain 7.days 1> kakfa.offset.monitor.logs.stdout.log 2>kafka.offset.monitor.logs.stderr.log &

 

3.启动Zookeeper、Kafka Brokers

4. 启动Kafka Consumer Offset Monitor

 

sh kafkacom.sh

 

5. 在浏览器中访问如下地址打开监控界面:

http://192.168.26.140:8086

 

6. 启动Producer和Consumer,写20000万条消息,刷新浏览器查看offset的变化,可以看到

 
【Kafka七】使用Kafka Consumer Offset Monitor 进行Kakfa监控_第1张图片
 

7. Consumer Offsets表各个列的含义:

  • Topic:Topic的名字
  • Partition:Topic包含的分区,上例中,learn.topic.p8.r2有8个分区
  • Offset:Kafka Consumer已经消费的分区上的消息数
  • logSize: 已经写到该分区的消息数
  • Lag:还有多少消息数未读取(Lag = logSize-Offset)
  • Owner: 该分区位于哪个Broker上,上例中有三个Broker(consumer group name + hostname + broker.id)
  • Created: 分区创建时间
  • Last Seen: Offset和logSize数字最后一次更新时间

 

8. 注意的问题:

刚开始启动时,发现Lag为负数,这明显不对,但是当使用Producer和Consumer进行读写Kafka后,数字显示正常

 

 

参考:http://blog.csdn.net/lizhitao/article/details/27199863

你可能感兴趣的:(Monitor)