原创: cocodroid 搬运工来架构 今天
Kafka监控工具V1.2.6版本最新发布,支持越来越多的特性:Kafka性能指标监控优化(指标完善及展示优化)、告警优化(性能指标告警+集群告警【Kafka和Zookeeper】)。欢迎大家使用,star,提issue、提pr。
当前发布的版本1.2.6主要内容如下:
[Release] Add:Release Kafka Eagle V1.2.6 version,The following changes:
Modify Mail Alert Formats.
Add Broker Metrics Charts.
Fixed Remember Account & Password.
更多更新记录请看:https://ke.smartloli.org/5.ChangeLog/1.ChangeLog.html
简述
这是一款监控kafka集群的监控系统,其内容包含消费者,偏移量offset,以及消费者所属的线程。
当你安装Kafka Eagle之后,你可以很清楚知道,当前的消费者组以及每个消费者组下的主题,所消费的偏移量。阻塞的消息数据,生产的总的消息记录,这些信息能够帮你快速理解当前消费者消息队列的增长速度,当然他可以帮你调试kafka生产者和消费者应用程序,或者其他的用途。
这个管理系统也展示了消费者和生产者当天的趋势。能够让你知道当天发生了什么。
当前支持的kafka版本有0.8.2.x,0.9.x,0.10.x,1.x,2.x 当前支持的操作系统有Mac OS X ,Linux,Windows
下面是一些kafak系统的截图:
List of Consumer Groups & Active Group Graph
List of Topics Detail
Consumer & Producer Rate Chart
Start Kafka Eagle
Kafka Offset Types
Kafka设计之初,可以用来灵活管理偏移量,消费者可以选择一种存储介质,用来持久化kafka偏移量, kafka eagle 当前支持以下几种主流的存储格式:
zookeeper,老版本kafka(0.8.2以前) 默认存储在zookeeper
kafka,新版本的kafka(0.10.0 之后)默认推荐存储在kakfa主题当中(__consumer_offsets)
kafka eagle支持多集群偏移量存储,如果你存储在zookeeper and kafka之中,你可以按照以下的内容配置:
# Set kafka cluster alias
kafka.eagle.zk.cluster.alias=cluster1,cluster2
# Set kafka cluster zookeeper address
cluster1.zk.list=xdn1:2181,xdn2:2181,xdn3:2181
cluster2.zk.list=tdn1:2181,tdn2:2181,tdn3:2181
# Set kafka cluster offset storage path
cluster1.kafka.eagle.offset.storage=kafka
cluster2.kafka.eagle.offset.storage=zookeeper
Kafka SQL
使用SQL语法查询主题消息日志,并且可视化结果,你可以阅读Kafka SQL 来了解更多。
了解更多详情,请参考github和文档! —— https://ke.smartloli.org/
温馨提示
若觉得这篇文章不错,请分享到朋友圈。
更多干货,关注公众号:搬运工来架构。
搬运工来架构
挨踢人聚集地,一个分享干货的公众号
作者:翻译-泡菜
来源:github
你可能喜欢
基于HBase+ ElasticSearch的海量交通数据实时...
加入:互联网基础/架构交流群
dubbo面试题!会这些,说明你看懂了dubbo源码
高性能Netty之内存池源码分析
Netty 5.0为啥被舍弃?原因竟然是...
必备瑞士军刀IDEA插件,你使用了哪些?