mac如何使用Kafka-eagle监控Kafka(本地单机案例)

1. 你需要配置好Kafka和zookeeper

  1.1 JDK的安装与配置(请自行Google)

  1.2 Zookeeper的安装与配置(请自行Google)

  1.3 Kafka的安装与配置(请自行Google)

2. 搭建Kakfa-eagle

    2.1 下载安装包解压

            tar zxvf kafka-eagle-bin-1.4.3.tar.gz

    2.2 配置环境变量

            vim /etc/profile

            export KE_HOME=/Users/jp/mydocker/kafkatest/kafka-eagle-bin-1.4.3/kafka-eagle-web-1.4.3

            export PATH=$PATH:$KE_HOME/bin

            source /etc/profile

    2.3 更改eagle配置

            vim kafka-eagle-bin-1.4.3/kafka-eagle-web-1.4.3/conf/system-config.properties

            修改以下配置

              kafka.eagle.zk.cluster.alias=cluster1          如果只有一个Kafka集群删除和注释掉cluster2等的相关信息         

              cluster1.zk.list=localhost:2181/kafka          这个需要和kafka的/conf/server.properties配置文件中zookeeper.connect一致

              kafka.eagle.webui.port=8048                    这个是dashboard的访问端口根据需要设置

              kafka.eagle.topic.token=XXX                    token值自行设置

              Kafka如果没有开启SASL认证把相关行注释掉 

              数据库有两种mysql和sqlite,选择其中一种注释掉另一种,一般默认配置即可,注意添上数据库的username和password,需要在数据库中新建一个ke数据库

    2.4 启动项目

            cd kafka-eagle-bin-1.4.3/kafka-eagle-web-1.4.3/bin

            ./ke.sh start

            当出现下面的图片时服务启动成功


    2.5 访问页面

            http://127.0.0.1:8048/ke/

账号密码是上图中绿色数字 admin  123456


2.6 如何开启Consumer模块

由于kafka版本问题Consumer信息可能会存储在zookeeper或kafka中,因此根据你的实际版本选择,修改eagle安装目录下conf/system-config.properties配置文件

cluster1.kafka.eagle.offset.storage=kafka/zookeeper

(这个网址中介绍了相关的原因https://www.cnblogs.com/smartloli/p/9371904.html)

2.7 如何开启监控趋势图

修改¥KAFKA_HOME/bin/kafka-server-start.sh 为以下内容

#    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"  (这个注释掉)

      export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThread    s=5 -XX:InitiatingHeapOccupancyPercent=70"

      export JMX_PORT="9999"  (这个可以设置为任意端口,eagle会自动检测)

3. 搭建过程中可能遇到的问题

    3.1 一定要配置好JAVA_HOME  ZOOKEEPER_HOME  KAFKA_HOME  KE_HOME等环境变量并source

    3.2 报错:Unable to load authentication plugin 'caching_sha2_password'

                解决方式:进入mysql中依次输入以下命令:

                                use mysql;

                                select user,host,plugin,authentication_string from user;

                                alter user 'root' @'localhost' identified with mysql_native_password by 'password';

                                select user,host,plugin,authentication_string from user;

    3.3 报错:java.sql.SQLException: Unknown system variable 'tx_read_only' ,这是由于eagle服务中的jar包mysql-connector-java版本与mysql不一致造成的

                解决方式:替换/kafka-eagle-bin-1.4.3/kafka-eagle-web-1.4.3/kms/webapps下ke.war中/WEB-INF/lib中相应版本的mysql-connector-java包即可

                                jar -xvf ke.war

                                rm ke.war

                                进入/WEB-INF/lib目录下替换jar包

                                cd ../..

                                jar -cvfM0 ke.war ./

    3.4 遇到问题可以去$KE_HOME/logs目录下通过ke_console.out 查看错误

以上内容中相关资源:链接:https://pan.baidu.com/s/1PUavOHdpR-nghLFZTsSOYw 密码:mqqj

以上内容为本人原创文章,转载请注明出处

你可能感兴趣的:(mac如何使用Kafka-eagle监控Kafka(本地单机案例))