Prometheus监控平台配置kafka_exporter

目录

1. 前言

2. 安装配置kafka_exporter

3. Prometheus配置

4. Grafana配置

---

1. 前言

接上一篇Prometheus+Grafana监控部署，环境已经安装完成，本篇进行Prometheus的一些常用监控。

Dashboard模板下载(.json文件)

Kafka现有开源的集群监控方案：kafka-manager、kafka-monitor、kafka-eagle、KafkaOffsetMonitor，但有所限制监控指标被固化，不易扩展、预警功能弱。Kafka集群的监控方案倾向于使用Grafana + Prometheus，监控数据采集器使用Kafka_exporter。

注：1个kafka集群只需要1个exporter，在集群上的任意1台服务器部署。

2. 安装配置kafka_exporter

2.1 下载

安装包下载，也可以wget在线下载，这里我下载到了home目录下

# wget https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz

2.2 解压/usr/local目录下，并重命名

# tar -zxvf kafka_exporter-1.2.0.linux-amd64.tar.gz  -C /usr/local/

# cd /usr/local/

# mv kafka_exporter-1.2.0.linux-amd64/ kafka_exporter

2.3 启动

前台启动，默认监听端口9308

# ./kafka_exporter --kafka.server=172.20.32.218:9092

后台启动

# nohup ./kafka_exporter --kafka.server=172.20.32.218:9092 &&   

2.4 加入开机自启

cat > /etc/systemd/system/kafka_exporter.service << "EOF"
[Unit]
Description=kafka_exporter
After=local-fs.target network-online.target network.target
Wants=local-fs.target network-online.target network.target
 
[Service]
ExecStart=/usr/local/kafka_exporter/kafka_exporter --kafka.server=172.20.32.218:9092
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

# systemctl daemon-reload

# systemctl enable kafka_exporter

# systemctl start kafka_exporter

# systemctl status kafka_exporter 

2.5 浏览器访问

 http://172.20.32.218:9308

也可以通过http://172.20.32.218:9308/metrics，看抓取的指标信息。 

3. Prometheus配置

3.1 进入prometheus安装目录，编辑prometheus.yml

# vim prometheus.yml      //加入prometheus监控中，targets可配置多个监控目标

  - job_name: 'kafka'
    static_configs:
    - targets: ['172.20.32.218:9308']

3.2 重启Prometheus

# systemctl restart prometheus

浏览器查看监控信息：http://172.20.32.218:9090/targets

注：State=UP，说明成功 

4. Grafana配置

浏览器访问：http://172.20.32.218:3000

导入官方模板 ，可在官方模板查看模板编号7589（推荐）或者9018、9947、10973-JMX-阿里云，如果内网环境建议可下载后导入。

修改模板信息Prometheus

配置完之后，查看仪表盘，就能自动读取prometheus存储的数据