kafka监控工具的安装及使用

1、Kafka Manager

kafkaManager它是由雅虎开源的可以监控整个kafka集群相关信息的一个工具。
(1)可以管理几个不同的集群;
(2)监控集群的状态(topics, brokers, 副本分布, 分区分布);
(3)创建topic、修改topic相关配置。

1.1、上传安装包

使用上传工具将安装包kafka-manager-1.3.0.4.zip上传至指定目录。

1.2、解压安装包

unzip kafka-manager-1.3.0.4.zip -d /install

(若报错bash:unzip:command not found,则应先安装unzip命令,yum -y install unzip)

unzip kafka-manager-1.3.0.4.zip -d /install

1.3、修改配置文件

进入到kafka-manager的conf目录,编辑配置文件vim application.conf:

修改kafka-manager.zkhosts的值,指定kafka集群地址
kafka-manager.zkhosts="node01:2181,node02:2181,node03:2181"

kafka监控工具的安装及使用_第1张图片

1.4、启动kafka-manager

  • 启动zk集群,kafka集群,再使用root用户启动kafka-manager服务。
  • bin/kafka-manager 默认的端口是9000,可通过 -Dhttp.port,指定端口
  • -Dconfig.file=conf/application.conf指定配置文件

bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=8080 &

1.5、jps查看进程

kafka监控工具的安装及使用_第2张图片

1.6、访问地址node01:8080,进入页面

kafka监控工具的安装及使用_第3张图片

1.7、添加kafka集群信息

kafka监控工具的安装及使用_第4张图片

输入集群名称和zookeeper节点端口号,点击save

kafka监控工具的安装及使用_第5张图片

点击Go to cluster view

kafka监控工具的安装及使用_第6张图片

1.8、查看集群中的broker节点信息

kafka监控工具的安装及使用_第7张图片

选择Summary:

kafka监控工具的安装及使用_第8张图片

可以看到topics数量及brokers数量,点击该数字,则可查看topic的详细信息。

kafka监控工具的安装及使用_第9张图片

kafka监控工具的安装及使用_第10张图片

kafka监控工具的安装及使用_第11张图片

2、 KafkaOffsetMonitor

该监控是基于一个jar包的形式运行,部署较为方便。只有监控功能,使用起来也较为安全。
(1)消费者组列表;
(2)查看topic的历史消费信息;
(3)每个topic的所有parition列表(topic,pid,offset,logSize,lag,owner);
(4)对consumer消费情况进行监控,并能列出每个consumer offset,滞后数据。

2.1、在指定目录新建目录kafka_moitor

2.2、将安装包KafkaOffsetMonitor-assembly-0.2.0.jar上传至该目录

2.3、在kafka_moitor目录下新建一个脚本

vim startkafkaweb.sh


java -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk node01:2181,node02:2181,node03:2181 --port 8089 --refresh 10.seconds --retain 1.days

2.4、启动脚本

nohup sh startkafkaweb.sh &

2.5、访问地址http://node01:8089,可以查看相关信息

kafka监控工具的安装及使用_第12张图片

kafka监控工具的安装及使用_第13张图片

3、Kafka Eagle

3.1、将安装包kafka-eagle-bin-1.2.3.tar.gz上传至指定目录

3.2、解压安装

tar -zxvf kafka-eagle-bin-1.2.3.tar.gz -C /install

解压之后进入到kafka-eagle-bin-1.2.3目录中得到kafka-eagle-web-1.2.3-bin.tar.gz包,继续解压,得 kafka-eagle-web-1.2.3

3.3、进入到kafka-eagle-web-1.2.3的conf目录,编辑配置文件system-config.properties

 

#填上你的kafka集群信息
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=node01:2181,node02:2181,node03:2181

#kafka eagle页面访问端口
kafka.eagle.webui.port=8048

kafka sasl authenticate
kafka.eagle.sasl.enable=false
kafka.eagle.sasl.protocol=SASL_PLAINTEXT
kafka.eagle.sasl.mechanism=PLAIN
kafka.eagle.sasl.client=/install/kafka-eagle-bin-1.2.3/kafka-eagle-web-1.2.3/conf/kafka_client_jaas.conf

 #添加刚刚导入的ke数据库配置,我这里使用的是mysql
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://node03:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123456

3.4、配置环境变量

 

sudo vi /etc/profile

KE_HOME=/install/kafka-eagle-bin-1.2.3/kafka-eagle-web-1.2.3
PATH=$PATH:$KE_HOME/bin

然后source /etc/profile使之生效

3.5、启动kafka-eagle

进入到$KE_HOME/bin目录(即上面3.4中配置的路径)中,执行脚本sh ke.sh start

kafka监控工具的安装及使用_第14张图片

3.6、页面访问node01:8048/ke

kafka监控工具的安装及使用_第15张图片

输入上面3.5中呈现的用户名和密码,登录

kafka监控工具的安装及使用_第16张图片

 

你可能感兴趣的:(kafka监控工具的安装及使用)