kafka web页面监控KafkaOffsetMonitor

原文地址:http://blog.csdn.net/qq_20641565/article/details/72897666


黑窗口的kafka集群没有监控,可以使用三方开源的监控工具,查询了些资料,网上流传最多的有三个监控工具:

  1. Kafka Web Conslole
  2. Kafka Manager
  3. KafkaOffsetMonitor

先补一张生产数据(28个patition,不算冗余的数据 一天大概200G):

kafka web页面监控KafkaOffsetMonitor_第1张图片

根据网友的实践:

Kafka Web Conslole

程序运行后,会定时去读取kafka集群分区的日志长度,读取完毕后,连接没有正常释放,一段时间后产生大量的socket连接,导致网络堵塞,所以不建议使用。

Kafka Manager

雅虎开源的一个监控工具,可以用来监控多个集群。

KafkaOffsetMonitor

相对上面来说,这个工具耦合性比较低,单用于监控比较适合而且部署很简单。 
这里也介绍了下安装步骤,本来很简单的,但是版本不兼容,导致需要自己编译,然后记录下踩的坑。。。

(注意:kafka新的版本offset存储在自己的一个topic,不像老版本是存在zookeeper里面,所以用KafkaOffsetMonitor2.x的版本监控会有问题,根本监控不到数据,所以最好在github上面下载最新的版本自己编译,注意jdk版本)

我们使用KafkaOffsetMonitor监控工具

  • KafkaOffsetMonitor的安装

下载软件包: 
github地址(0.2.1版本):点击下载

如果下载不懂,我已经上传了我的百度云:0.2.0版本,0.2.1版本

这个是用assembly插件直接把所有包打到了一个jar里面,上传服务器,直接启动就行,特别方便。

上传jar包到服务器,然后创建一个kafka监控的目录

mkdir /mydata/kafkamonitorlogs
  • 1

执行如下语句启动kafka监控

java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m -cp KafkaOffsetMonitor-assembly-0.2.1.jar \
     com.quantifind.kafka.offsetapp.OffsetGetterWeb \
     --zk 10.104.109.176:2181,10.104.86.238:2182,10.104.122.21:2181 \
     --port 8787 \
     --refresh 10.seconds \
     --retain 7.days 1>/mydata/kafkamonitorlogs/stdout.log 2>/mydata/kafkamonitorlogs/stderr.log &
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 或者自己写个启动停止脚本:

start.sh

#!/bin/bash
java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk 10.104.109.176:2181,10.104.86.238:2182,10.104.122.21:2181 --port 8787 --refresh 10.seconds --retain 7.days 1>/mydata/kafkamonitorlogs/stdout.log 2>/mydata/kafkamonitorlogs/stderr.log &
  • 1
  • 2

stop.sh

#!/bin/bash

killnum=`jps | grep OffsetGetterWeb | awk '{print $1}'`
kill -9 ${killnum}
echo "OK...."
  • 1
  • 2
  • 3
  • 4
  • 5

启动之后查看web界面 
访问:安装服务器的ip:8787

http://testslave02:8787
  • 1

界面如下:

kafka web页面监控KafkaOffsetMonitor_第2张图片

kafka web页面监控KafkaOffsetMonitor_第3张图片

其他功能自己去试一试。

但是发现,没有获取到broker,kafka的版本安装过高,不兼容,只有自己去下载最新的源码来编译了

GitHub连接地址(上面有命令的详细介绍):点击进入

安装sbt环境:

下载sbt,官网上面的半天下载不懂,找了个csdn上面的链接 0.13.8版本的,地址如下:点击进入

解压安装sbt:

我放到了D盘下面,创建一个目录将sbt安装到该目录下:

D:\sbt0.13.8
  • 1

修改sbtconfig.txt配置文件: 
添加一项:

-Dsbt.ivy.home=D:/sbtivy
  • 1

在修改用户目录下的.sbt目录下创建repositories文件并且写入:

[repositories]  
public: http://maven.aliyun.com/nexus/content/groups/public/
typesafe:http://dl.bintray.com/typesafe/ivy-releases/ , [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
ivy-sbt-plugin:http://dl.bintray.com/sbt/sbt-plugin-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
  • 1
  • 2
  • 3
  • 4

在命令行执行 sbt,开始下载包, 
但是执行到后面时候报错:

download failed: org.scalamacros#quasiquotes_2.10;2.0.1!quasiquotes_2.10.jar
  • 1

在阿里云镜像里面没有,我果断把阿里镜像换成了默认的中央仓库,把repositories文件的

public: http://maven.aliyun.com/nexus/content/groups/public/
  • 1

改为:

public: http://repo1.maven.org/maven2/
  • 1

再次执行,OK

为了下载包速度快,我又把maven的仓库改为了阿里云的

开始编译KafkaOffsetMonitor

到工程目录下打开cmd执行

kafka web页面监控KafkaOffsetMonitor_第4张图片

sbt clean assembly
  • 1

就等待他慢慢编译: 
kafka web页面监控KafkaOffsetMonitor_第5张图片

等着。。。 突然发现,作者的在git上面写着的

If you do not want to build it manually, just download the current jar.

kafka web页面监控KafkaOffsetMonitor_第6张图片

居然有编译好的,反正不管了,编译的也让它编译着,先直接下载上面提供的编译好的jar包。

地址:点击进入

如果下载不动的话,我也上传我自己的百度云了,链接:点击下载

kafka web页面监控KafkaOffsetMonitor_第7张图片

将此jar包上传服务器

然后执行:

java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m \
     -cp KafkaOffsetMonitor-assembly-0.4.1-SNAPSHOT.jar \
     com.quantifind.kafka.offsetapp.OffsetGetterWeb \
     --offsetStorage kafka \
     --kafkaBrokers 10.104.109.176:9092,10.104.86.238:9092,10.104.122.21:9092 \
     --kafkaSecurityProtocol SASL_PLAINTEXT \
     --zk 10.104.109.176:2181,10.104.86.238:2182,10.104.122.21:2181 \
     --port 8787 \
     --refresh 10.seconds \
     --retain 5.days \
     --dbName offsetapp_kafka
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

jdk版本不兼容:

kafka web页面监控KafkaOffsetMonitor_第8张图片

我自己的电脑也是1.8jdk,虽然编译成功了 但是服务器上面是jdk1.7 刚编译的执行了也不兼容,把本机jdk换成1.7重新编译….

等了大概半个多小时,报错包又拉不下来,又把仓库换成public: http://repo1.maven.org/maven2/ 继续编译。。。。 
编译失败。。报错版本问题。。。 
kafka web页面监控KafkaOffsetMonitor_第9张图片

然后想到一个办法:直接在服务器上面创建一个新用户,并把新用户的自己的环境变量设置成jdk1.8,然后在启动,启动命令如下(zk端口换了,之前用的cdh的,这次自己搭建的zk):

java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m \
     -cp KafkaOffsetMonitor-assembly-0.4.1-SNAPSHOT.jar \
     com.quantifind.kafka.offsetapp.OffsetGetterWeb \
     --offsetStorage kafka \
     --kafkaBrokers testmaster:9092,testslave01:9092,testslave02:9092 \
     --kafkaSecurityProtocol PLAINTEXT \
     --zk testmaster:2188,testslave01:2188,testslave02:2188 \
     --port 8787 \
     --refresh 10.seconds \
     --retain 5.days \
     --dbName offsetapp_kafka
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

kafka web页面监控KafkaOffsetMonitor_第10张图片

kafka web页面监控KafkaOffsetMonitor_第11张图片

  topic:创建topic的名称
  partition:分区编号
  offset:该partition已经消费了多少条message
  logsize:该partition已经写入了多少条message
  lag:该partition未消费多少条message
  owner:gaipartition所属消费者
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

界面也都OK都能监控了:

kafka web页面监控KafkaOffsetMonitor_第12张图片

你可能感兴趣的:(spark,kafka,监控)