[转]Kafka监控工具KafkaOffsetMonitor配置及使用

原文地址
KafkaOffsetMonitor是一个可以用于监控Kafka的Topic及Consumer消费状况的工具，其配置和使用特别的方便。源项目Github地址为：https://github.com/quantifind/KafkaOffsetMonitor。
　　最简单的使用方式是从Github上下载一个最新的KafkaOffsetMonitor-assembly-0.2.1.jar，上传到某服务器上，然后执行一句命令就可以运行起来。但是在使用过程中有可能会发现页面反应缓慢或者无法显示相应内容的情况。据说这是由于jar包中的某些js等文件需要连接到网络，或者需要翻墙导致的。网上找的一个修改版的KafkaOffsetMonitor对应jar包，可以完全在本地运行，经过测试效果不错。下载地址是：http://pan.baidu.com/s/1ntzIUPN，在此感谢一下贡献该修改版的原作者。链接失效的话，可以博客下方留言联系我。

一、KafkaOffsetMonitor的使用

因为完全没有安装配置的过程，所以直接从KafkaOffsetMonitor的使用开始。
　　将KafkaOffsetMonitor-assembly-0.2.0.jar上传到服务器后，可以新建一个脚本用于启动该应用。脚本内容如下：

java -cp KafkaOffsetMonitor-assembly-0.2.0.jar \
    com.quantifind.kafka.offsetapp.OffsetGetterWeb \
    --zk 192.168.0.100:2181,192.168.0.101:2181,192.168.0.102:2181 \
    --port 8088 \
    --refresh 10.seconds \
    --retain 2.days

各参数的作用可以参考一下Github上的描述：

• offsetStorage valid options are ”zookeeper”, ”kafka” or ”storm”. Anything else falls - back to ”zookeeper”
• zk the ZooKeeper hosts
• port on what port will the app be available
• refresh how often should the app refresh and store a point in the DB
• retain how long should points be kept in the DB
• dbName where to store the history (default ‘offsetapp’)
• kafkaOffsetForceFromStart only applies to ”kafka” format. Force KafkaOffsetMonitor to scan the commit messages from start (see notes below)
• stormZKOffsetBase only applies to ”storm” format. Change the offset storage base in zookeeper, default to ”/stormconsumers” (see notes below)
• pluginsArgs additional arguments used by extensions (see below)

启动后，访问 hostname:8088端口，可以看到如下页面：

二、kafka简单命令

创建topic

bin/kafka-topics.sh \
    --create \
    --zookeeper m000:2181 \
    --replication-factor 3 \
    --partition 3 \
    --topic kafkamonitor-simpleproducer

利用程序插入生产多条消息，然后用kafka自带的ConsoleConsumer消费kafkamonitor-simpleproducer中的message。

bin/kafka-console-consumer.sh --zookeeper m000:2181 --from-beginning --topic kafkamonitor-simpleproducer

三、KafkaOffsetMonitor页面

1）在Topic List选项卡中，可以看到所有创建的topic

2）点开后，如果有消费者正在消费，能看到有一个console-consumer正在消费该topic

3）继续进入该Consumer，可以查看该Consumer当前的消费状况

这张图片的左上角显示了当前Topic的生产速率，右上角显示了当前Consumer的消费速率。
　　图片中还有三种颜色的线条，蓝色的表示当前Topic中的Message数目，灰色的表示当前Consumer消费的offset位置，红色的表示蓝色灰色的差值，即当前Consumer滞后于Producer的message数目。

4）看一眼各partition中的message消费情况

从上图可以看到，当前有3个Partition，每个Partition中的message数目分布很不均匀。这里可以与接下来的自定义Producer的情况进行一个对比。