Prometheus+Grafana监控Kafka实现

本文采用kafka_exporter对kafka进行监控，该方式的优点在于不需要消耗JVM资源，且指标的收集时间从分钟降为秒级别，方便实现大规模集群的监控。
技术架构

图片引用：https://zhuanlan.zhihu.com/p/57704357
部署kafka_exporter
下载kafka_exporter地址：
https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz
解压命令：

tar -xvf kafka_exporter-1.2.0.linux-amd64.tar

配置及启动:
配置使用默认配置即可；
启动命令如下:

cd /usr/local/kafka_exporter-1.2.0.linux-amd64
nohup ./kafka_exporter --kafka.server=172.30.11.11:9097 &

kafka.server端口根据kafka配置设置
启动成功后，访问网址：
http://172.30.11.11:9308/metrics/
即可看到抓取的信息。
Prometheus配置
配置prometheus.yml加入kafka监控：

验证，如果是热启动方式，在Prometheus服务器直接用如下命令即可：

curl -X POST http://ip:9090/-/reload

否则用如下命令重启

cd /usr/local/prometheus-2.12.0
nohup ./prometheus --config.file=prometheus.yml &

Grafana仪表盘配置
访问http://grafana服务器ip:3000

添加数据源，选prometheus，填prometheus服务器的IP地址及端口，点击save&test
导入监控图表


输入7589，即出现如下图

数据图表就显示出来，配置完成。