kafka的web管理工具---kafka-manager安装部署

关于kafka集群的安装配置，请移步：https://blog.csdn.net/Johnson8702/article/details/84588095

 

一、背景

在kafka里面没有一个较好自带的web ui，启动之后无法通过页面查看，所以，在这里介绍一个第三方的kafka管理工具。

 

二、功能

为了简化开发者和运维维护kafka集群工作，yahoo开发了一个基于web的kafka集群的管理工具，叫做kafka-manager。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也可以快速浏览kafka集群。

主要功能：

1.管理多个kafka集群

2.便捷地检查kafka集群状态，如topics，brokers，备份分布情况，分区分布情况

3.选择副本

4.基于当前分区状况运行

5.选择topic配置并创建topic（0.8.1.1和0.8.2的配置不同）

6.删除topic（只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true）

7.Topic list会指明哪些topic被删除（0.8.2以上版本适用）

8.为已存在的topic增加分区

9.为已存在的topic更新配置

10.在多个topic上批量重分区（可选partition broker位置）

 

三、下载

下载地址：https://pan.baidu.com/s/1jIE3YL4

 

四、安装

将zip压缩文件上传到Linux集群中，我这里使用的集群为hadoop1，hadoop2和hadoop3，上传到/home/software目录下，并解压

[root@hadoop1 software]# pwd /home/software [root@hadoop1 software]# ll 总用量 59584 drwxr-xr-x 11 10021 10021     4096 10月  8 14:51 hadoop-2.7.1 drwxr-xr-x  8 uucp    143     4096 10月  8 11:41 jdk1.8 drwxr-xr-x  8 root  root      4096 11月 28 10:47 kafka_2.11-1.0.0 -rw-r--r--  1 root  root  60984831 11月 28 10:50 kafka-manager-1.3.2.1.zip drwxr-xr-x 12  1000  1000     4096 10月  8 11:44 zookeeper -rw-r--r--  1 root  root     11288 11月 28 10:49 zookeeper.out [root@hadoop1 software]# unzip kafka-manager-1.3.2.1.zip

进入conf目录，修改application.conf文件

[root@hadoop1 conf]# pwd /home/software/kafka-manager-1.3.2.1/conf [root@hadoop1 conf]# ll 总用量 24 -rw-r--r-- 1 root root 1277 2月  22 2017 application.conf -rw-r--r-- 1 root root   27 2月  22 2017 consumer.properties -rw-r--r-- 1 root root 2108 2月  22 2017 logback.xml -rw-r--r-- 1 root root 1367 2月  22 2017 logger.xml -rw-r--r-- 1 root root 7167 2月  22 2017 routes [root@hadoop1 conf]# vim application.conf

修改kafka-manager.zkhosts，我的是hadoop1、hadoop2和hadoop3，根据自己的节点自行修改

 

五、运行kafka-manager

注意：默认端口是9000

[root@hadoop1 bin]# pwd /home/software/kafka-manager-1.3.2.1/bin [root@hadoop1 bin]# ./kafka-manager -Dconfig.file=../conf/application.conf

启动成功：

对应的进程：

 

也可以在启动的时候，指定其他端口，比如这里指定11111端口

启动时最好使用绝对路径

[root@hadoop1 bin]# pwd /home/software/kafka-manager-1.3.2.1/bin [root@hadoop1 bin]# ./kafka-manager -Dconfig.file=/home/software/kafka-manager-1.3.2.1/conf/application.conf -Dhttp.port=11111

启动成功：

 

六、配置集群

点击Cluster->Add Cluster，输入Cluster Name和Cluster Zookeeper Hosts，选择最接近的kafka版本，其他可以自行配置，保持默认也可以，点击保存

可能会提示有几个参数的值应该大于等于2，根据提示调整到大于等于2的值

这时，可以在web页面中看到添加的Cluster

点击进去，可以看到各种操作选项

点击Topic->List，可以看到之前创建的topic的相关信息

大家可以根据自己的需求，试着在页面上操作。

至此，kafka-manager安装配置完成！