kafka实践三：监控利器kafka-eagle

Kafka Eagle安装使用手册

概述

Kafka作为当前最流行的消息中间件广泛用于流式数据的中间存储，其界面化管理工具有多种，其中Kafka Eagle（简称KE）能够实现比Kafka的其他界面化管理工具更加丰富的操作和监控选项，最突出的功能是使用Kafka提供的JMX端口实现了Kafka读取数据的图表化监控、移植ZKCli到前端操作、Kafka SQL实时消费，并提供用户管理功能。

参考官网：https://ke.smartloli.org/

Kafka-Eagle的安装

环境要求

安装部署kafka eagle需要先配置JDK环境，并配置到环境变量；kafka eagle需要使用mysql数据库来存储kafka eagle的元数据信息，包括用户、权限、操作，这在mysql有对应的表；同时需要确保Kafka的 JMX 是开启的，否则无法监控Kafka各项指标：

vi kafka-server-start.sh

组件版本

组件	版本
kafka	kafka_2.10_0.10_0.0
JDK	jdk1.8.0_144
Kafka Eagle	kafka-eagle-bin-1.2.8.tar.gz

下载和安装

下载Kafka-Eagle：

http://download.smartloli.org/

将安装包上传至安装目录下解压，本次安装在/opt目录下，并解压安装包：

tar  -zxvf  kafka-eagle-${version}-bin.tar.gz

mv kafka-eagle-${version} kafka-eagle

配置Kafka-Eagle环境变量：

 

vi /etc/profile

export KE_HOME=/data/soft/new/kafka-eagle

export PATH=$PATH:$KE_HOME/bin

配置Kafka-Eagle配置文件

 

cd ${KE_HOME}/conf

vi system-config.properties

# kafka集群信息

kafka.eagle.zk.cluster.alias=cluster1,cluster2 cluster1.zk.list=tdn1:2181,tdn2:2181,tdn3:2181 cluster2.zk.list=xdn1:2181,xdn2:2181,xdn3:2181

# zk 线程数量

kafka.zk.limit.size=25

# kafka eagle 的端口

kafka.eagle.webui.port=8048

# Kafka offset storage

cluster1.kafka.eagle.offset.storage=kafka cluster2.kafka.eagle.offset.storage=kafka

# enable kafka 开启图表

kafka.eagle.metrics.charts=false

# 开始sql查询

 kafka.eagle.sql.fix.error=false

# 删除kafka topic时使用的token

kafka.eagle.topic.token=keadmin

# kafka sasl authenticate, current support SASL_PLAINTEXT kafka.eagle.sasl.enable=false kafka.eagle.sasl.protocol=SASL_PLAINTEXT kafka.eagle.sasl.mechanism=PLAIN kafka.eagle.sasl.client=

# 设置ke连接的数据库信息

kafka.eagle.driver=com.mysql.jdbc.Driver kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull

kafka.eagle.username=root

kafka.eagle.password=123456

启动 kafka-eagle

cd ${KE_HOME}/bin

chmod +x ke.sh

./ke.sh start

 

Kafka Eagle的使用

首页/仪表盘

启动成功后在浏览器中输入http://host:port/ke就可以访问kafka eagle 了，首页显示仪表盘，包括了以下几个选项：

1. Brokers
2. Topics
3. Zookeepers
4. Consumers
5. Kafka Brokers Graph

Topic

Topic目录下选项可以完成（当前注册集群的）topic新建和topic查询，并且提供kafka SQL查询工具；

Creat

list

罗列出所有当前注册集群下的所有topic列表，每个topic的分区数、分区列表、创建时间、修改时间、并提供删除选项；

Message

提供Kafka SQL可以从分区、偏移量、topic名称查数据；

Mock

向指定的topic发送模拟数据；

Consumer

显示当前注册集群的消费组信息：

Cluster Info

Muti-Cluster

显示后台注册的kafka集群，可以同时管理多套kafka集群：

ZKCli

将ZKCli移植到网页上执行：

Metric

通过kafka的JMX端口，实现了Kafka的监控指标，并图表化展示，监控指标包括读写的TPS、比特数、分区间同步的比特数等；

用户管理

提供三种角色（用户群）：admin、开发组、游客，可以分别编辑设定每种用户群的权限；

Kafka Eagle的mysql表

在Kafka-Eagle配置文件system-config.properties中添加mysql的信息后，KE会自动在对应的模式内创建元数据表；