目录
简介
安装
启动kafka-manager
测试kafka-manager
输出信息关键参数
Kafka默认是没有web界面的,需要自己安装web界面监控工具
可以使用三方开源的监控工具,查询了些资料,网上流传最多的有三个监控工具:
(其中Kafka Web Conslole程序运行后,会定时去读取kafka集群分区的日志长度,读取完毕后,连接没有正常释放,一段时间后产生大量的socket连接,导致网络堵塞,所以不建议使用;KafkaOffsetMonitor 相对上面来说,这个工具耦合性比较低,单用于监控比较适合而且部署很简单,但是需要考虑版本兼容等问题,导致需要自己编译;kafka manager是目前最受欢迎的kafka集群管理工具,最早由雅虎开源,用户可以在Web界面执行一些简单的集群管理操作)
若只需要监控功能,推荐使用KafkaOffsetMonitor,若偏重Kafka集群管理,推荐使用Kafka Manager
unzip kafka-manager-1.3.3.7.zip
mv kafka-manager-1.3.3.7 kafka-manager
2.修改conf/application.conf配置文件
将kafka-manager.zkhosts注释掉并修改为zookeeper地址
Kafka-manager默认端口是9000,可以通过 -Dhttp.port,指定端口;-Dconfig.file=conf/application.conf 指定配置文件,命令 如下:
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9011 &
2.使用jps查看kafka-manager进程
其中ProdServerStart即为kafka-manager的进程
3.在浏览器上输入ip:端口号(我这里是10.103.104.181:9011)进行访问
出现如下界面则kafka-manager安装成功
1、新建一个cluster
点击Cluster->Add Cluster
其他的配置可以根据自己的需要进行配置,我这里全部都选择默认
滑到最下面,点击Save保存,你会看到这个界面
2、管理和使用kafka-manage
点击Cluster,再点击kafka-cluster-181-182-183可以查看kafka集群的详细信息
点击上面的Brokers可以查看当前的broker信息
创建topic
查看topic信息
Operations列表参数说明:
Generate Partition Assignments:
对多个topic来进行分区重分布计划的生成,知道就好,不推荐使用。
Run Partition Assignments:
对多个topic分区执行重分布计划,知道就好,不推荐使用。
Add Partitions:
对多个topic来进行添加分区操作,生成环境并不建议大家这样搞,避免误操作。
Topics列表参数说明:
Topic:
表示topic名称。
--consumer_offsets是kafka内置保存consumer offset的topic.
Partitions:
topic对应的分区数
Brokers:
topic对应的broker数
Brokers Spread%:
指broker的分布比例,计算公式:用topic的分区分布的broker数/总的broker数量。Brokers Skew %:
Brokers的偏斜比例,计算公式:(Broker最多的分区数/Brokers最少的分区数) -1
Brokers Leader Skew%:
Brokers的leader偏斜比例,计算公式:(Broker最多的leader分区数/Brokers最少leader
的分区数) -1
Replicas:
副本因子,即副本数。
Under Replicated %:
副本不足的比例,计算公式:副本不足的分区数/总分区数
Producer Message/Sec:
每秒产生的消息数量。
Summed Recent Offsets:
当前总计的消费偏移量。