KAFKA监控： Kafka - eagle

序：软件版本

• VMware：VMware-15.5.1
• Linux：CentOS-7.5-x86_64
• JDK:jdk-1.8-linux-x64
• Hadoop：hadoop-3.1.3
• Kafka：2.4.1
• Kafka-eagle ：1.4.5

目录

1.  修改kafka启动命令

2. 上传压缩包kafka-eagle-bin-1.4.5.tar.gz到集群/opt/software目录

3. 解压到本地

4. 进入刚才解压的目录

5. 将kafka-eagle-web-1.3.7-bin.tar.gz解压至/opt/module

6. 修改名称（可不改）

7. 给启动文件执行权限

8. 修改配置文件

9. 添加环境变量

10. 启动

11. 登录页面查看监控数据

---

1.  修改kafka启动命令

修改kafka-server-start.sh命令中

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

修改为

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC
 -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
    export JMX_PORT="9999"
    #export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

注意：修改之后在启动Kafka之前要分发之其他节点

2. 上传压缩包kafka-eagle-bin-1.4.5.tar.gz到集群/opt/software目录

3. 解压到本地

[user@hadoop102 software]$ tar -zxvf kafka-eagle-bin-1.4.5.tar.gz

4. 进入刚才解压的目录

-rw-rw-r--. 1 user user 84920710 8月  13 23:00 kafka-eagle-web-1.4.5-bin.tar.gz

5. 将kafka-eagle-web-1.3.7-bin.tar.gz解压至/opt/module

[user@hadoop102 kafka-eagle-bin-1.4.5]$ tar -zxvf kafka-eagle-web-1.4.5-bin.tar.gz -C /opt/module/

6. 修改名称（可不改）

[user@hadoop102 module]$ mv kafka-eagle-web-1.4.5/ eagle

7. 给启动文件执行权限

[user @hadoop102 bin]$ chmod 777 ke.sh

8. 修改配置文件

######################################
# multi zookeeper&kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1   //起个集群名字
cluster1.zk.list=hadoop102:2181,hadoop103:2181,hadoop104:2181 //zookeeper集群

######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka     //偏移量记录在kafka

######################################
# enable kafka metrics
######################################
kafka.eagle.metrics.charts=true              //开启可视化图表
kafka.eagle.sql.fix.error=false

######################################
# kafka jdbc driver address
######################################
kafka.eagle.driver=com.mysql.jdbc.Driver    //数据库的jdbc驱动
kafka.eagle.url=jdbc:mysql://hadoop102:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull        //数据库地址和端口
kafka.eagle.username=root                   //数据库登录用户
kafka.eagle.password=000000                 //数据库登录密码

9. 添加环境变量

export KE_HOME=/opt/module/eagle
export PATH=$PATH:$KE_HOME/bin

注意：source /etc/profile

10. 启动

 [user@hadoop102 eagle]$ bin/ke.sh start
... ...
... ...
*******************************************************************
* Kafka Eagle Service has started success.
* Welcome, Now you can visit 'http://192.168.202.102:8048/ke'
* Account:admin ,Password:123456
*******************************************************************
*  ke.sh [start|status|stop|restart|stats] 
*  https://www.kafka-eagle.org/ 
*******************************************************************

注意：启动之前需要先启动ZK以及KAFKA

11. 登录页面查看监控数据

http://192.168.202.102:8048/ke