Kafka-Eagle 安装到使用全教程

一、介绍

Kafka

Eagle监控系统是一款用来监控Kafka集群的工具，目前更新的版本是v1.2.3，支持管理多个Kafka集群、管理Kafka主题（包含查看、删除、创建等）、消费者组合消费者实例监控、消息阻塞告警、Kafka集群健康状态查看等。

二、安装部署

1、Kafka-Eagle安装包下载

官方安装包下载：http://download.kafka-eagle.org/ 

个人使用版本为1.4.4最新

2、安装部署

下载好之后指定目录解压压缩包，接下来开始环境变量得配置。由于源代码核心实现采用的是Java语言，所以需要配置JDK环境，建议采用JDK8以上。配置内容如下：

1)找到文件profile   一般在etc/目录下

增加变量：

export JAVA_HOME=/usr/local/jdk8     （jdk安装路径）

exportKE_HOME=/data/soft/new/kafka-eagle  （kafka-eagle安装路径）

exportPATH=$PATH:$JAVA_HOME/bin:$KE_HOME/bin

文件一般带有缓存，可通过命令使配置立即生效。

. /etc/profile   注意点后面空格

2)编辑kafka-eagle配置文件  system-config.properties  conf下

# 配置多个Kafka集群所对应的Zookeeper

kafka.eagle.zk.cluster.alias=cluster1,cluster2

cluster1.zk.list=dn1:2181,dn2:2181,dn3:2181

cluster2.zk.list=tdn1:2181,tdn2:2181,tdn3:2181

# 设置Zookeeper线程数

kafka.zk.limit.size=25

# 设置Kafka Eagle浏览器访问端口

kafka.eagle.webui.port=8048

# 如果你的offsets存储在Kafka中，这里就配置

# 属性值为kafka，如果是在Zookeeper中，可以

# 注释该属性。一般情况下，Offsets的也和你消

# 费者API有关系，如果你使用的Kafka版本为0.10.x

# 以后的版本，但是，你的消费API使用的是0.8.2.x

# 时的API，此时消费者依然是在Zookeeper中

cluster1.kafka.eagle.offset.storage=kafka

# 如果你的集群一个是新版本（0.10.x以上），

# 一个是老版本（0.8或0.9），可以这样设置，

# 如果都是新版本，那么可以将值都设置成kafka

cluster2.kafka.eagle.offset.storage=zookeeper

# 是否启动监控图表，默认是不启动的

kafka.eagle.metrics.charts=false

# 在使用Kafka SQL查询主题时，如果遇到错误，

# 可以尝试开启这个属性，默认情况下，不开启

kafka.eagle.sql.fix.error=false

# 邮件服务器设置，用来告警   此处也可以调用第三方接口  方式选用email

kafka.eagle.mail.enable=false   是否启用    选用邮箱时需设为true

kafka.eagle.mail.sa=   邮箱地址

kafka.eagle.mail.username=   用户名

kafka.eagle.mail.password=    密码

kafka.eagle.mail.server.host=   smtp服务器地址

kafka.eagle.mail.server.port=    端口

# 设置告警用户，多个用户以英文逗号分隔

[email protected]

# 超级管理员删除主题的Token

kafka.eagle.topic.token=keadmin

# 如果启动Kafka SASL协议，开启该属性

kafka.eagle.sasl.enable=false

kafka.eagle.sasl.protocol=SASL_PLAINTEXT

kafka.eagle.sasl.mechanism=PLAIN

# Kafka Eagle默认存储在Sqlite中，如果要使用

# MySQL可以替换驱动、用户名、密码、连接地址，

# 推荐使用Sqlite，更轻量级

#kafka.eagle.driver=org.sqlite.JDBC

#kafka.eagle.url=jdbc:sqlite:/opt/kafka-eagle/kafka-eagle-bin-1.4.4/kafka-eagle-web-1.4.4/db/ke.db

#kafka.eagle.username=root

#kafka.eagle.password=123456

三、 Sqlite安装部署

1、下载地址：www.sqlite.org/2013/sqlite-autoconf-3080200.tar.gz

2、参数配置

进入源代码目录

cd sqlite-3.6.23.1

配置编译与安装参数

./configure --disable-tcl --prefix=/usr/local/sqlite

编译  make

安装  make install  

新建数据库命令   sqlite3 ke.db   (监控数据库应创建在对应安装目录下得db目录下)

四、服务启动

1、进入安装目录bin,脚本授权

在ke.sh脚本中，支持一下命令

ke.sh start       启动kafka Eagle

ke.sh stop       停止kafka-eagle

ke.sh restart     重启kafka-eagle

ke.sh status      查看kafka-eagle系统运行状态

ke.sh stats        统计kafka-eagle系统占用资源情况

ke.sh find [ClassName]       查看kafka-eagle中得类是否存在

2、启动成功示例

启动成功

五、使用介绍

1、topic使用

主页

1)topic创建

创建topic

2)topic列表

列表

3)sql查询

查询

4）消息模拟发送

模拟消息发送

5）主题配置

主题配置

2、消费组列表

消费组

3、节点

1)  Zk&kafka

zk&kafka

2)集群显示及操作

操作

3) Zk客户端，可通过命令进行操作

命令操作

4、告警设置

1）告警组创建

创建

2)列表显示 &编辑

编辑

3)消费积压告警   （注：告警次数为-1则无限告警一直到告警解除）

积压告警

4）消费告警列表&操作

消费告警

5）节点告警

节点告警

6)节点告警列表

列表

5、用户及角色创建

1）用户配置

用户配置

2）角色配置

角色配置

3）组织结构图

组织结构图

6、可视化界面

可视化界面