Prometheus + Grafana 配置监控指标

Prometheus + Grafana 配置监控指标

在前一篇指南中，我们详细介绍了如何安装和配置 Prometheus 与 Grafana。接下来，我们将深入探讨如何配置 Prometheus 来采集具体的监控指标，并使用 Grafana 将这些指标可视化。

本指南将涵盖以下内容：

1. 选择和配置 Exporters（除了 Node Exporter 之外）
2. 配置 Prometheus 以采集相关指标
3. 在 Grafana 中创建和配置仪表板
4. 高级监控指标配置
5. 优化与安全性建议

---

目录

1. 选择和配置 Exporters
   • Node Exporter
   • Additional Exporters
     • cAdvisor（容器监控）
     • Blackbox Exporter（服务健康监控）
     • Application Specific Exporters
2. 配置 Prometheus 以采集相关指标
3. 在 Grafana 中创建和配置仪表板
   • 添加数据源
   • 导入预设仪表板
   • 创建自定义仪表板
4. 高级监控指标配置
   • 告警规则配置
   • 服务发现与自动化
5. 优化与安全性建议
   • Prometheus 存储优化
   • Grafana 用户管理与权限
   • HTTPS 配置与安全通信

---

1. 选择和配置 Exporters

Exporters 是 Prometheus 用于收集不同类型指标的组件。除了之前安装的 Node Exporter 之外，您可能还需要其他 Exporters 来监控特定的服务或应用程序。

Node Exporter

Node Exporter 已经安装并配置，用于采集系统级别的指标，如 CPU、内存、磁盘和网络使用情况。

Additional Exporters

根据您的监控需求，您可以安装以下常用的 Exporters：

cAdvisor（容器监控）

cAdvisor（Container Advisor） 用于监控容器的资源使用情况，特别适用于使用 Docker 或 Kubernetes 的环境。

安装步骤：

1. 下载并运行 cAdvisor

   使用 Docker 运行 cAdvisor：

   docker run \
     --volume=/:/rootfs:ro \
     --volume=/var/run:/var/run:rw \
     --volume=/sys:/sys:ro \
     --volume=/var/lib/docker/:/var/lib/docker:ro \
     --publish=8080:8080 \
     --detach=true \
     --name=cadvisor \
     google/cadvisor:latest
   

   注意：根据您的环境和需求，调整卷挂载路径和端口。

2. 验证 cAdvisor

   打开浏览器访问 http://<服务器IP>:8080/metrics，应能看到 cAdvisor 的指标数据。

3. 配置 Prometheus 采集 cAdvisor 指标

   编辑 Prometheus 配置文件 /etc/prometheus/prometheus.yml，添加 cAdvisor 的 scrape_config：

   scrape_configs:
     # Existing scrape configs...
   
     - job_name: 'cadvisor'
       static_configs:
         - targets: ['localhost:8080']
   

   提示： 如果 cAdvisor 运行在不同的主机，替换 localhost 为相应的 IP 地址。

4. 重新加载 Prometheus 配置

   sudo systemctl reload prometheus
   

Blackbox Exporter（服务健康监控）

Blackbox Exporter 用于监控外部服务的可达性和性能，如 HTTP、HTTPS、TCP 等协议的端点。

安装步骤：

1. 下载 Blackbox Exporter

   前往 Blackbox Exporter GitHub 页面 下载最新版本。

   cd /tmp
   wget https://github.com/prometheus/blackbox_exporter/releases/download/v0.24.0/blackbox_exporter-0.24.0.linux-amd64.tar.gz
   tar -xvf blackbox_exporter-0.24.0.linux-amd64.tar.gz
   sudo cp blackbox_exporter-0.24.0.linux-amd64/blackbox_exporter /usr/local/bin/
   

2. 创建 Blackbox Exporter 用户和目录

   sudo useradd --no-create-home --shell /bin/false blackbox
   sudo mkdir /etc/blackbox_exporter
   sudo chown blackbox:blackbox /etc/blackbox_exporter
   

3. 配置 Blackbox Exporter

   编辑 /etc/blackbox_exporter/config.yml：

   modules:
     http_2xx:
       prober: http
       timeout: 5s
       http:
         valid_http_versions: ["HTTP/1.1", "HTTP/2"]
         method: GET
   

4. 创建 Systemd 服务文件

   sudo nano /etc/systemd/system/blackbox_exporter.service
   

   添加以下内容：

   [Unit]
   Description=Blackbox Exporter
   Wants=network-online.target
   After=network-online.target
   
   [Service]
   User=blackbox
   Group=blackbox
   Type=simple
   ExecStart=/usr/local/bin/blackbox_exporter --config.file=/etc/blackbox_exporter/config.yml
   
   [Install]
   WantedBy=multi-user.target
   

5. 启动并启用 Blackbox Exporter

   sudo systemctl daemon-reload
   sudo systemctl start blackbox_exporter
   sudo systemctl enable blackbox_exporter
   

6. 验证 Blackbox Exporter

   打开浏览器访问 http://<服务器IP>:9115/metrics，应能看到 Blackbox Exporter 的指标数据。

7. 配置 Prometheus 采集 Blackbox Exporter 指标

   编辑 Prometheus 配置文件 /etc/prometheus/prometheus.yml，添加 Blackbox Exporter 的 scrape_config 和相应的 probe 任务。例如，