安装kafka-manager监控Kafka集群状态(搭配kafka tool使用)

背景:
CDH集群管理界面不提供Kafka具体的状态监控,需要自己安装相关工具,我们选择比较经典的yahoo开源工具 kafka-manager,搭配 kafka tool客户端工具使用。这里简单介绍下安装过程 ~

一、下载

直接在GitHub官网下载即可:https://github.com/yahoo/kafka-manager

安装kafka-manager监控Kafka集群状态(搭配kafka tool使用)_第1张图片
需要注意的一点:
安装kafka-manager监控Kafka集群状态(搭配kafka tool使用)_第2张图片

由于我们集群是0.11版本,完美支持。如果你使用的是Kafka 2.0+版本,我看到test包里有 Upgrade to kafka 2.2.0 commit,应该也支持新版本。

二、安装

下载tar包 kafka-manager-1.3.3.22.tar.gz 在服务器解压即可。

由于该工具是scala编写,需要sbt编译。如果还没安装sbt则需要安装:

yum install sbt

这里有的服务器需要更改镜像仓库文件,但我发现我们服务器直接就能安装不需要改。。

sbt-version

安装完可以查看版本信息,判断是否安装好

然后cd到解压后的kafka-manager目录下编译:

./sbt clean dist

编译kafka-manager,需要等很久。。
安装kafka-manager监控Kafka集群状态(搭配kafka tool使用)_第3张图片
安装kafka-manager监控Kafka集群状态(搭配kafka tool使用)_第4张图片

重新解压编译好的 kafka-manager-1.3.3.22.zip(在target目录里) 查看:
安装kafka-manager监控Kafka集群状态(搭配kafka tool使用)_第5张图片
修改配置文件 conf/application.conf ,主要是zkhosts配置为自己zookeeper集群地址:

安装kafka-manager监控Kafka集群状态(搭配kafka tool使用)_第6张图片

三、运行

执行运行命令,指定配置文件和web端口:

nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9090 &

运行后jps查看进程:
在这里插入图片描述
可以在浏览器输入IP或主机名 + 9090端口查看web界面:
安装kafka-manager监控Kafka集群状态(搭配kafka tool使用)_第7张图片
添加我们的Kafka集群信息:

安装kafka-manager监控Kafka集群状态(搭配kafka tool使用)_第8张图片
安装kafka-manager监控Kafka集群状态(搭配kafka tool使用)_第9张图片
安装kafka-manager监控Kafka集群状态(搭配kafka tool使用)_第10张图片
安装kafka-manager监控Kafka集群状态(搭配kafka tool使用)_第11张图片
我安装的这个manager版本不支持查看topic具体消息,我一般搭配kafka tool客户端工具查看具体信息,这个直接在本地电脑下载安装即可:

安装kafka-manager监控Kafka集群状态(搭配kafka tool使用)_第12张图片
安装kafka-manager监控Kafka集群状态(搭配kafka tool使用)_第13张图片

你可能感兴趣的:(大数据)