kafka监控工具安装和使用

1. KafkaOffsetMonitor

该监控是基于一个jar包的形式运行，部署较为方便。只有监控功能，使用起来也较为安全

(1)消费者组列表
(2)查看topic的历史消费信息.
(3)每个topic的所有parition列表(topic,pid,offset,logSize,lag,owner)
(4)对consumer消费情况进行监控,并能列出每个consumer offset,滞后数据。

• 1、下载安装包

  KafkaOffsetMonitor-assembly-0.2.0.jar
  

• 2、在服务器上新建一个目录kafka_moitor，把jar包上传到该目录中

• 3、在kafka_moitor目录下新建一个脚本

  • vim start_kafka_web.sh

  #!/bin/sh
  java -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk node01:2181,node02:2181,node03:2181 --port 8089 --refresh 10.seconds --retain 1.days
  

• 4、启动脚本

  nohup sh start_kafka_web.sh &
  

• 5、访问地址

  在浏览器中即可使用ip:8089访问kafka的监控页面。
  

2. Kafka Manager

kafkaManager它是由雅虎开源的可以监控整个kafka集群相关信息的一个工具。
（1）可以管理几个不同的集群
（2）监控集群的状态(topics, brokers, 副本分布, 分区分布)
（3）创建topic、修改topic相关配置

• 1、上传安装包

  kafka-manager-1.3.0.4.zip
  

• 2、解压安装包

  • unzip kafka-manager-1.3.0.4.zip -d /kkb/install

• 3、修改配置文件

  • 进入到conf

    • vim application.conf

      #修改kafka-manager.zkhosts的值，指定kafka集群地址
      kafka-manager.zkhosts="node01:2181,node02:2181,node03:2181"
      

• 4、启动kafka-manager

  • 启动zk集群，kafka集群，再使用root用户启动kafka-manager服务。
  • bin/kafka-manager 默认的端口是9000，可通过 -Dhttp.port，指定端口
  • -Dconfig.file=conf/application.conf指定配置文件

  nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=8080 &
  

• 5、访问地址

  • kafka-manager所在的主机名:8080

3. Kafka Eagle

• 1、下载Kafka Eagle安装包

  • http://download.smartloli.org/
    • kafka-eagle-bin-1.2.3.tar.gz

• 2、解压

  • tar -zxvf kafka-eagle-bin-1.2.3.tar.gz -C /kkb/install
  • 解压之后进入到kafka-eagle-bin-1.2.3目录中
    • 得到kafka-eagle-web-1.2.3-bin.tar.gz
    • 然后解压 tar -zxvf kafka-eagle-web-1.2.3-bin.tar.gz
    • 重命名 mv kafka-eagle-web-1.2.3 kafka-eagle-web

• 3、修改配置文件

  • 进入到conf目录

    • 修改system-config.properties

      # 填上你的kafka集群信息
      kafka.eagle.zk.cluster.alias=cluster1
      cluster1.zk.list=node01:2181,node02:2181,node03:2181
      
      # kafka eagle页面访问端口
      kafka.eagle.webui.port=8048
      
      # kafka sasl authenticate
      kafka.eagle.sasl.enable=false
      kafka.eagle.sasl.protocol=SASL_PLAINTEXT
      kafka.eagle.sasl.mechanism=PLAIN
      kafka.eagle.sasl.client=/kkb/install/kafka-eagle-bin-1.2.3/kafka-eagle-web/conf/kafka_client_jaas.conf
      
      #  添加刚刚导入的ke数据库配置，我这里使用的是mysql
      kafka.eagle.driver=com.mysql.jdbc.Driver
      kafka.eagle.url=jdbc:mysql://node03:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
      kafka.eagle.username=root
      kafka.eagle.password=123456
      

• 4、配置环境变量

  • vi /etc/profile

    export KE_HOME=/kkb/install/kafka-eagle-bin-1.2.3/kafka-eagle-web
    export PATH=$PATH:$KE_HOME/bin
    

• 5、启动kafka-eagle

  • 进入到$KE_HOME/bin目录
    • 执行脚本sh ke.sh start

• 6、访问地址

  • 启动成功后在浏览器中输入http://node01:8048/ke就可以访问kafka eagle 了。

    • 用户名：admin
    • password：123456
    • 登录首页

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Uk9v0JRo-1637631236145)(kafka监控.assets/1577436432903.png)]

    • 仪表盘信息

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Em72ZJu2-1637631236145)(kafka监控.assets/1577436484277-1577688428820.png)]

    • kafka集群信息

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dTKO7rR0-1637631236146)(kafka监控.assets/1577436652696-1577688604484.png)]

    • zookeeper集群

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-f4LFKSZx-1637631236147)(kafka监控.assets/1577436743101-1577688639749.png)]

    • topic信息

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aKjvCPDt-1637631236147)(kafka监控.assets/1577436683550-1577688663043.png)]

    • consumer消费者信息

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-j8CPRJMs-1637631236148)(kafka监控.assets/1577436838605.png)]

    • zk客户端命令

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gIUx6ZPB-1637631236148)(kafka监控.assets/1577436895495-1577688714967.png)]