四十八、Kafka的监控工具

今天我们来介绍几个Kafka的监控工具，这部分做一下了解即可，因为现在的大数据平台都有自己的监控界面，可以从监控界面上监控Kafka，只有在单独使用Apache Kafka集群的时候才会用到咱们本章讲解的监控工具，这种业务场景就现在来说已经不多了，所以本文只做了解即可，不用过多的深究，到时候会有专门的大数据监控平台。同时，这也是Kafka部分的最后一章了，关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~

文中涉及到的监控工具，均可通过此处进行下载~

---

目录

一、Kafka Monitor

二、Kafka Manager

---

一、Kafka Monitor

Kafka Monitor安装简单，页面简单，主要是用来监控消费者和offset，对kafka集群的支持较少。下面我们一起来看一下怎样安装部署。

1、首先在/opt/modules目录下新建kafka-monitor目录并将下载好的jar包上传到此目录下。

2、创建启动脚本kafka-monitor-start.sh，内容如下：

#!/bin/bash
java -cp KafkaOffsetMonitor-assembly-0.4.6-SNAPSHOT.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--offsetStorage kafka \
--kafkaBrokers master:9092,slave01:9092,slave02:9092 \
--kafkaSecurityProtocol PLAINTEXT \
--zk master:2181,slave01:2181,slave02:2181 \
--port 8086 \
--refresh 10.seconds \
--retain 2.days \
--dbName offsetapp_kafka &

下面是对参数的解释：

offsetStorage：offset存储的位置
kafkaBrokers：Kafka brokers
kafkaSecurityProtocol：安全协议
zk：zookeeper集群
port：监控工具的端口号
refresh：设定刷新的时间频率
retain：日志等文件的保存天数
dbName：自动生成的数据库名称

3、给创建的脚本赋权

4、在/opt/modules/kafka-monitor目录下创建mobile-logs目录用来保存日志信息

5、启动脚本

[root@master kafka-monitor]# ./kafka-monitor-start.sh

6、登录到8086端口查看详情

监控界面的具体操作，这里就不做详细的介绍了，感兴趣的可以自己点点看看。

二、Kafka Manager

同样的，这里也只讲解怎样安装部署，具体监控界面的操作感兴趣的可以自己测试。

1、在/opt/modules目录下新建kafka-manager目录并将压缩包解压到该目录下

unzip kafka-manager-1.3.3.15.zip -d /opt/modules/kafka-manager/

2、修改/opt/modules/kafka-manager/kafka-manager-1.3.3.15/conf目录下的application.conf文件

kafka-manager.zkhosts="master:2181,slave01:2181,slave02:2181"

3、启动kafka manager

bin/kafka-manager

如果端口号冲突，可以通过下面的命令修改端口号：

bin/kafka-manager -Dhttp.port=7456

4、查看监控界面

 

监控工具的内容我们就介绍到这里，这部分不作为重点，了解即可。你们在此过程中遇到了什么问题，欢迎留言，让我看看你们都遇到了哪些问题~