Kafka Manager部署和使用

一.前言：

新版kafka监控平台的哪家强?对比kafka Manager和kafka Monitor 之后，最终还是选择了Kafka Manager。

因为kafka Manager支持对Kafka的主题的增删改查操作，和消费者对数据的消费情况。而kafka Monitor对kafka新版(1.0版后),支持不太好，比如在Kafka1.1版中，用代码创建的Topic，地址没有直接绑定zookeeper，而是通过的bootstrap.server指定的Broker地址，间接绑定到zookeeper，在Kafka Monitor中却查看不到这些Topic，果断放弃了使用kafka Monitor。

二.Kafka Manager在Centos上部署

1.下载

①选择版本

截止到2018年8月，最新版为1.3.3.18。获取下载地址：

在centos中的usr/local下：

weget https://github.com/yahoo/kafka-manager/archive/1.3.3.18.tar.gz

②下载完后解压：

tar -zxfv 1.3.3.18.tar.gz

2.编译

①修改镜像，提高下载速度：

cd ~
mkdir .sbt
vim repositories

按i,并将下面的镜像地址拷贝进去

[repositories]
local
aliyun: http://maven.aliyun.com/nexus/content/groups/public
typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly

然后按Esc,输入:wq repositories

②编译

对下载下来的代码进行编译，需借助Play框架。

进入刚才解压后的目录kafka-manager-1.3.3.18,然后执行命令：

./sbt clean dist

注：若出现sbt的错误，可能是没有安装sbt,需要安装一下：

yum install sbt

然后重新执行

./sbt clean dist

在编译的过程中，日志中有warn可以，但不要有error。有错误则检查解决。

3.运行

将编译好的Kafka Manager，运行起来。

①解压

创建目录：

在taget目录中运行会出现jar包混淆的错误，所以尽量拷贝到/user/local/下，这样不受影响。

cd /user/local/

mkdir kafkaManager

进入编译目录/usr/local/kafka-manager-1.3.3.18/target/universal，将kafka-manager-1.3.3.18.zip 拷贝到刚创建的文件夹中： /user/local/kafkaManager：

cd /user/local/kafkaManager
mv /usr/local/kafka-manager-1.3.3.18/target/universal/kafka-manager-1.3.3.18.zip   /user/local/kafkaManager

然后解压.zip文件：

unzip kafka-manager-1.3.3.18.zip

若提示没有unzip命令，安装一下：yum install unzip

②配置zookeeper地址

cd ./kafka-manager-1.3.3.18/conf

vim application.conf

将kafka-manager.zkhosts="localhost:2181"此行中的localhost,改为你的Zookeeper服务器的IP地址，保存退出即可。

③启动

进入bin 文件夹，然后运行

cd /usr/local/kafkaManager/kafka-manager-1.3.3.18/bin
nohup ./kafka-manager &

解释：这样运行会让kafkaManager在后台运行了，如果想查看运行日志,看看有没有报错，可以执行：

cd /usr/local
tail -100 nohup.out

三.使用

1.启动

成功运行后，通过访问kafka Manager所在服务器的IP:9000端口,即可使用了。

如：10.10.10.10:9000

一定是kafka Manager所在服务器IP地址，不是上面配置文件中的ZK的IP地址。端口默认是9000。

如果想修改运行端口，先杀死上面的进程或者删除/usr/local/kafkaManager/kafka-manager-1.3.3.18/RUNNING_PID文件后，执行：

./kafka-manager -Dconfig.file=/path/to/application.conf -Dhttp.port=9001

2.配置cluster

创建一个cluster：

将Cluster Zookeeper Hosts地址配置为Zookeeper地址，和配置文件中的地址保持一致，全部打钩，保存。

查看topic详情和消费信息: