【kafka】监控工具

市面上主要有JMXTool、Burrow、Confluent Control Center、kafka-eagle、kafka manager等监控工具。

Kafka Eagle

1、下载并解压

下载地址：http://download.kafka-eagle.org/

2、配置环境变量：

export KE_HOME=/usr/local/eagle export PATH=$PATH:$KE_HOME/bin source /etc/profile

3、进入kafka-eagle的conf目录下修改 system-config.properties配置文件

#kafkazookeeper节点配置属性多个可以添加一个，cluster1 
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=127.0.0.1:2181
######################################
# zk 线程数量
######################################
kafka.zk.limit.size=25
 
######################################
# kafka eagle 的端口
######################################
kafka.eagle.webui.port=8048
 
######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka
 
######################################
# enable kafka 开启图表
# 及开始sql查询
######################################
kafka.eagle.metrics.charts=true
 
kafka.eagle.sql.fix.error=true
######################################
# 提醒的email
######################################
kafka.eagle.mail.enable=true
kafka.eagle.mail.sa=alert_sa
[email protected]
kafka.eagle.mail.password=mqslimczkdqabbbh
kafka.eagle.mail.server.host=smtp.163.com
kafka.eagle.mail.server.port=25
 
######################################
# 删除kafka topic 的token
######################################
kafka.eagle.topic.token=keadmin
 
######################################
# kafka sasl authenticate
######################################
kafka.eagle.sasl.enable=false
kafka.eagle.sasl.protocol=SASL_PLAINTEXT
kafka.eagle.sasl.mechanism=PLAIN
 
######################################
# kafka jdbc 地址注意可以自己安装数据mysql也可以自带的
######################################
kafka.eagle.driver=org.sqlite.JDBC
kafka.eagle.url=jdbc:sqlite:/kafka/kafka-eagle-bin-1.2.4/kafka-eagle-web-1.2.4/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=123456

4、进入bin目录，授权启动脚本文件ke.sh，并启动（启动之前需要先启动 zookeeper 以及 kafka）

chmod 777 ke.sh

./ke.sh start

5、查看主界面

http://127.1.0.1:8048/ke

kafka manager

1、下载解压、进入解压目录构建项目：./sbt clean dist

2、进入conf下的application.conf的kafka-manager.zkhosts属性指向kafka集群的zookeeper地址，进行监控：

kafka-manager.zkhosts="localhost:2181"

3、启动kafka manager:

bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=8080

要勾选上 Enable JMX Polling，这样你才能监控 Kafka 的各种 JMX 指标。

4、将kafka manager作为纯监控工具，而不至于生产环境中每个能访问kafka manager都能对kafka集群做相关的操作

还是修改conf下的application.conf文件

删除application.features的值。 例如禁止Preferred Leader 选举功能,只需删除KMPreferredReplicaElectionFeature,后重启kafka manager