Prometheus

Prometheus官网:https://prometheus.io/

prometheus 中文文档 · GitHub https://prometheus.fuckcloudnative.io/

Grafana:https://grafana.com

onealert:https://caweb.aiops.com/#/integrate

环境规划

主机名称 主机ip 角色

  • prometheus 192.168.6.109 prometheus
    node_exporler 192.168.6.110 node_exporler

初始化服务器

ip地址、hostname、绑定/etc/hosts文件、时间同步

修改hosts

[root@localhost ~]#  vim /etc/hosts

添加如下:

192.168.6.110 node1

虚拟机克隆过来的修改UUID后三位,检查uuid不能一致

hostnamectl set-hostname  prometheus

时间同步

1、下载ntpdate

注:有些版本是没有自带ntpdate,因此需要下载

yum install -y ntpdate

2、调整时区为上海,也就是北京时间+8区

注:想改其他时区也可以去看看/usr/share/zoneinfo目录

cp /usr/share/zoneinfo/Asia/Shangha /etc/localtime

3、使用NTP来同步时间

ntpdate ntp6.aliyun.com

4、自动时间同步

(1)利用开机脚本进行同步

Vim /etc/rc.local

添加一条时间同步命令:

/usr/sbin/ntpdate ntp6.aliyun.com

(2)利用周期进程(crontab)进行同步
crontab -e 命令,进入一个VI的编辑界面,既可以添加或修改任务了
格式:

*/5 * * * * /usr/sbin/ntpdate ntp5.aliyun.com ntp6.aliyun.com ntp7.aliyun.com&> /dev/null

Crontab –l 查看是否已经成功添加。

安装prometheus软件

 [root@promethues prometheus-2.34.0.linux-amd64]# cd /opt
[root@promethues prometheus-2.34.0.linux-amd64]# mkdir soft
[root@promethues prometheus-2.34.0.linux-amd64]# cd soft
[root@promethues prometheus-2.34.0.linux-amd64]# tar -zxvf prometheus-2.34.0.linux-amd64.tar.gz 
[root@promethues prometheus-2.34.0.linux-amd64]# rm -rf prometheus-2.34.0.linux-amd64.tar.gz 
[root@promethues prometheus-2.34.0.linux-amd64]# cd prometheus-2.34.0.linux-amd64/
[root@promethues prometheus-2.34.0.linux-amd64]# pwd
[root@promethues prometheus-2.34.0.linux-amd64]# ln -sv /opt/soft/prometheus-2.34.0.linux-amd64 /usr/local/prometheus

配置使用Systemd管理Prometheus

# 编辑脚本
vim /etc/systemd/system/prometheus.service 
# 粘贴如下内容(内容可酌情自行修改)

[Unit]
Description=Prometheus
Documentation=https://prometheus.io/
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml --storage.tsdb.path= /usr/local/promethues/data/  --web.listen-address=:9290 --web.enable-lifecycle
ExecStop=/usr/bin/pkill -f prometheus

[Install]
WantedBy=multi-user.target
# 保存退出
:wq

启动Prometheus

# 重载systemd 配置,修改完systemd配置文件后需重载才会生效。
systemctl daemon-reload
# 设置服务开机启动
systemctl enable prometheus
# 启动服务
systemctl start prometheus
# 查看服务状态
systemctl status prometheus

此时就可以访问ui了,地址:[http://ip:9290/]
页面长这样,可以访问代表启动成功

4 页面大致介绍(可选)

  1. Alerts界面。展示告警的信息,每个告警有3种状态:
    Inactive(正常状态,未满足告警条件)
    Pending(待办状态,已满足告警条件,未满足持续时间,未发送告警信息)
    Firing(已产生告警,已经满足告警条件和时间,已发送告警信息)

  2. Graph
    使用Promql语言查询prometheus里保存的指标(metric),结果查看形式可以是表格,也可以是图

  3. Status

    1. TSDB Status 时序数据库的状态
    2. Configuration 配置信息
    3. Rules 告警规则详细信息
    4. Targets 所有prometheus采集的指标
  4. Help

  5. Classic UI

其他未提到的请自行研究。

5 常用命令(可选)

1 删除job数据

如果一个job已经不再使用,想要删除对应数据,就要用到删除命令了

注意:使用删除命令前必须开启管理员命令,删除数据无法恢复

删除名为node_exporter_local的job

curl -X POST  -g 'http://host:9290/api/v1/admin/tsdb/delete_series?match[]={__name__=~".+"}&match[]={job="jobname"}'
  • host 为prometheus的ip或者hostname
  • jobname 要删除的job的名字。

2 热重载配置规则

curl -XPOST http://host:9290/-/reload
复制代码
  • host 为prometheus的ip或者hostname

二、安装Grafana

建议Grafana安装在Prometheus所在节点

1 添加repo

vim /etc/yum.repos.d/grafana.repo
# 粘贴如下内容

[grafana]
name=grafana
baseurl=https://packages.grafana.com/oss/rpm
repo_gpgcheck=1
enabled=1
gpgcheck=1
gpgkey=https://packages.grafana.com/gpg.key
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt

2 安装

yum install grafana -y

3 启动

# 设置grafana开机启动
systemctl enable grafana-server
# 启动grafana服务
systemctl start grafana-server

访问grafana页面: [http://ip:3000]用户名密码 admin admin

访问地址看到如下界面,说明启动成功


1.png

三、监控linux服务器

监控linux服务器的cpu、内存、磁盘等信息。
流程:

  1. node_exporter采集指标
  2. prometheus从exporter拉取指标保存起来
  3. grafana从prometheus查询数据,可视化展示

1 安装node_exporter

node_exporter的作用是报告单个节点的服务器指标给prometheus,例如内存、磁盘、cpu。

所有需要监控的节点都需要按照如下流程安装node_exporter。
1 下载包

# 1 进入安装目录
cd /opt/soft/
# 2 下载安装包
wget https://github.com/prometheus/node_exporter/releases/download/v1.2.2/node_exporter-1.3.1.linux-amd64.tar.gz
# 3 解压
tar -zxvf node_exporter-1.3.1.linux-amd64.tar.gz
# 4 创建链接,方便统一管理目录
ln -sv /opt/soft/node_exporter-1.3.1.linux-amd64 /usr/local/node_exporter

2 配置使用Systemd管理node_exporter

# 编辑脚本
vim /etc/systemd/system/node_exporter.service 
# 粘贴如下内容(内容可酌情自行修改)

[Unit]
Description=node_exporter
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/node_exporter/node_exporter --web.listen-address=:9120
ExecStop=/usr/bin/pkill -f node_exporter

[Install]
WantedBy=multi-user.target
# 保存退出
:wq
复制代码

因为默认端口号9100已被占用,通过启动时指定参数修改端口号为9120
–web.listen-address=:9120

3 启动node_exporter

# 重载systemd 配置,修改完systemd配置文件后需重载才会生效。
systemctl daemon-reload
# 设置服务开机启动
systemctl enable node_exporter
# 启动服务
systemctl start node_exporter
# 查看服务状态
systemctl status node_exporter

每个node_exporter都会启动一个简易页面:[http://ip:9120/],如果可以访问代表启动成功

2 修改prometheus配置

默认配置

# my global config
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=` to any timeseries scraped from this config.
  - job_name: "prometheus"

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
      - targets: ["localhost:9090"]

修改配置文件

注意:yml文件的缩进不能乱,乱了就识别不了

# 进入prometheus安装目录
cd /usr/local/prometheus
# 编辑配置文件
vim prometheus.yml

# 在文件最后粘贴如下内容
  - job_name: 'all_node'
    static_configs:
    - targets: ['node01:9120']
      labels:
        instance: node01
    - targets: ['node02:9120']
      labels:
        instance: node02
    - targets: ['node03:9120']
      labels:
        instance: node03

- targets: ['node01:9120']这里的node01是1台启动了node_exporter的服务器的hostname,这里也可以换成ip。9120则是node_exporter启动端口。其余2台服务器配置以此类推。

这里的配置是告诉prometheus从哪个服务器的哪个端口拉取数据。

修改后的配置文件如下所示

global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=` to any timeseries scraped from this config.
  - job_name: "prometheus"

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
      - targets: ["localhost:9290"]

  - job_name: 'all_node'
    static_configs:
    - targets: ['node01:9120']
      labels:
        nodename: node01
    - targets: ['node02:9120']
      labels:
        nodename: node02
    - targets: ['node03:9120']
      labels:
        nodename: node03

修改完配置后,重启prometheus服务配置才生效

systemctl stop prometheus
systemctl start prometheus

3 验证是否配置成功

此时打开prometheus的地址 [http://ip:9290/]
操作步骤: 点击Status —> 点击Targets

这里图片是后截的,这里all_node(N/N up)的根据上面的配置来的。如果配置了3台,那么应该像这样`all_node(3/3 up)

2022-04-01_150708.png

上面配置文件里配置了几台,这里看到几台就是配置正确了。如果不对,可以排查一下hostname或者端口是否有误,或者node_exporter是否启动成功。

4 配置grafana

4.1 创建数据源

1 浏览器打开grafana地址 http://ip:3000 用户名密码 admin admin

登录后,进入主界面

2 点击左侧齿轮(设置按钮) —> 点击Data sources


1.png

3 点击Add data source


1.png

4 点击Select,在搜索框输入prometheus,点击Select


1.png

5 输入数据源名字(名字默认即可),输入prometheus的地址 http://localhost:9290/。这里我的prometheus和grafana部署在同一台上所以host为localhost,如果不在一台机器上请自行更改。

1.png

6 点击Save & test


1.png

这样一个prometheus数据源就创建好了。

7 点击左上角图标回到主界面

4.2 添加Dashboard

1 点击 + ,点击Import


1.png

2 输入8919,点击Load

这个8919是一个其他人发布的一个Dashboard。这个id是我从Grafana官方提供的Dashboard网站https://grafana.com/grafana/dashboards/ 里找到的。以后要添加其他类型的比如flink或者mysql监控报表,都可以从这个网站找到。

1.png

3 输入名字,选择数据源,点击Import


1.png

看到如下的Dashboard,就说明配置成功了


2.png

四、监控Flink

flink默认提供了报道数据的实现类将指标上报给PushGateway;Prometheus再从PushGateway拉取指标,保存起来;Grafana从Prometheus查询数据展示出来。

注意:如果是CDH集成的Flink-yarn服务,那么任务必须提交到Flink-yarn服务启动时随之启动的session中,否则无法监控到任务运行指标

1 安装PushGateway

建议PushGateway安装到Prometheus所在节点

1.1 下载PushGateway

# 进入安装目录
cd /opt/soft/
# 下载安装包
wget -c https://github.com/prometheus/pushgateway/releases/download/v1.4.2/pushgateway-1.4.2.linux-amd64.tar.gz
# 解压
tar -zxvf /pushgateway-1.4.2.linux-amd64.tar.gz
# 创建软连接,方便管理
ln -sv /opt/soft/pushgateway-1.4.2.linux-amd64 /usr/local/pushgateway

1.2 用system管理push_gateway
vim /etc/systemd/system/pushgateway.service

粘贴如下内容

[Unit]
Description=pushgateway
After=network.target

[Service]
Type=simple
ExecStart=/opt/soft/pushgateway-1.4.2.linux-amd64/pushgateway --web.listen-address=:9291
ExecStop=/usr/bin/pkill -f pushgateway

[Install]
WantedBy=multi-user.target

保存退出

:wq

–web.listen-address=:9291 默认端口为9091,避免冲突改为9291

1.3 启动PushGateway

重载systemd 配置,修改完systemd配置文件后需重载才会生效。

systemctl daemon-reload

设置服务开机启动

systemctl enable pushgateway

启动服务

systemctl start pushgateway

查看服务状态

systemctl status pushgateway


# 进入prometheus安装目录

vim /usr/local/prometheus/prometheus.yml

在文件最后追加如下内容

  • job_name: 'pushgateway'
    honor_labels: true
    static_configs:
    • targets: ['node01:9291']
      labels:
      instance: 'pushgateway'
修改完配置后,重启prometheus服务配置才生效

systemctl restart prometheus


1.4 验证是否配置成功
打开prometheus地址 [http://ip:9290/targets]可以看到如下内容即是成功
![1.png](https://upload-images.jianshu.io/upload_images/26919493-4622859824f1a226.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)


# 五、配置告警

告警流程

1.  exporter采集指标数据
2.  prometheus从exporter拉取指标数据保存起来
3.  prometheus向alertmanager推送触发了的告警
4.  alertmanager通过email、dingding等方式发送告警信息

## 创建钉钉机器人

1 找一个群打开对话框,点击右上角齿轮
![1.png](https://upload-images.jianshu.io/upload_images/26919493-ace28981e16971a6.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
2 点击智能群助手
![2.png](https://upload-images.jianshu.io/upload_images/26919493-a0027a92cac52099.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
3 点击+
![3.png](https://upload-images.jianshu.io/upload_images/26919493-5fb0258209bc5d55.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
4 点击+
![4.png](https://upload-images.jianshu.io/upload_images/26919493-ed2aba5990bfd67b.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
5 往下滑滑轮,点击自定义
![5.png](https://upload-images.jianshu.io/upload_images/26919493-a60b5ad0a2cf5d61.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
6 点击添加
![6.png](https://upload-images.jianshu.io/upload_images/26919493-e1cf077672722119.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
7 填入机器人名字,选择加签,点击我已阅读并同意,点击完成
![7.png](https://upload-images.jianshu.io/upload_images/26919493-a061df3c2aa6c610.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
这样一个机器人就添加完成了
![8.png](https://upload-images.jianshu.io/upload_images/26919493-630e1ca1f875180b.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

这里建议点击复制,把Webhook的url保存一下,后面会用到

##2 安装dingtalk
dingtalk是一个用来发送钉钉告警通知的prometheus插件
### 2.1 下载

cd /opt/soft

下载安装包

wget https://github.com/timonwong/prometheus-webhook-dingtalk/releases/download/v2.0.0/prometheus-webhook-dingtalk-2.0.0.linux-amd64.tar.gz

解压

tar -zxvf prometheus-webhook-dingtalk-2.0.0.linux-amd64.tar.gz

创建软连接

ln -sv /opt/soft/prometheus-webhook-dingtalk-2.0.0.linux-amd64/ /usr/local/prometheus-webhook-dingtalk

###2.2 修改dingtalk配置文件

拷贝一份新配置文件,命名为config.yml

cp config.example.yml config.yml

编辑配置文件

vim config.yml

把配置里所有的url改为上一步保存的Webhook的url

假设我的Webhook的url=https://oapi.dingtalk.com/robot/send?access_token=abc,那么配置就像这样

targets:
webhook1:
url: https://oapi.dingtalk.com/robot/send?access_token=abc
# secret for signature
secret: SEC000000000000000000000
webhook2:
url: https://oapi.dingtalk.com/robot/send?access_token=abc
webhook_legacy:
url: https://oapi.dingtalk.com/robot/send?access_token=abc
# Customize template content
message:
# Use legacy template
title: '{{ template "legacy.title" . }}'
text: '{{ template "legacy.content" . }}'
webhook_mention_all:
url: https://oapi.dingtalk.com/robot/send?access_token=abc
mention:
all: true
webhook_mention_users:
url: https://oapi.dingtalk.com/robot/send?access_token=abc
mention:
mobiles: ['156xxxx8827', '189xxxx8325']


### 2.3 用system管理dingtalk

编辑配置

vim /etc/systemd/system/prometheus-webhook-dingtalk.service

粘贴如下内容

[Unit]
Description=prometheus-webhook-dingtalk
After=network-online.target

[Service]
Restart=on-failure
ExecStart=/usr/local/prometheus-webhook-dingtalk/prometheus-webhook-dingtalk --config.file=/usr/local/prometheus-webhook-dingtalk/config.yml --web.listen-address=:8260
ExecStop=/usr/bin/pkill -f prometheus-webhook-dingtalk

[Install]
WantedBy=multi-user.target

保存退出

:wq


–web.listen-address=:8260 默认端口为8060,避免冲突修改为8260

### 2.4 启动dingtalk

重载systemd 配置,修改完systemd配置文件后需重载才会生效。

systemctl daemon-reload

设置服务开机启动

systemctl enable prometheus-webhook-dingtalk

启动服务

systemctl start prometheus-webhook-dingtalk

查看服务状态

systemctl status prometheus-webhook-dingtalk

查看端口

lsof -i :8260
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
prometheu 7893 root 3u IPv6 110639539 0t0 TCP *:8260 (LISTEN)


## 3 安装alertmanager

建议alertmanager安装到prometheus所在节点

### 3.1 下载alertmanager

cd /opt/soft

下载安装包

wget https://github.com/prometheus/alertmanager/releases/download/v0.23.0/alertmanager-0.24.0.linux-amd64.tar.gz

解压

tar -zxvf alertmanager-0.24.0.linux-amd64.tar.gz

创建软连接

ln -sv /opt/soft/alertmanager-0.24.0.linux-amd64/ /usr/local/alertmanager


### 3.2 用system管理alertmanager

vim /etc/systemd/system/alertmanager.service

粘贴如下内容

[Unit]
Description=alertmanager
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/alertmanager/alertmanager --web.listen-address=:9293 --config.file=/usr/local/alertmanager/alertmanager.yml --storage.path=/usr/local/alertmanager/data/
ExecStop=/usr/bin/pkill -f alertmanager

[Install]
WantedBy=multi-user.target

保存退出

:wq
复制代码


### 3.3 启动alertmanager

重载systemd 配置,修改完systemd配置文件后需重载才会生效。

systemctl daemon-reload

设置服务开机启动

systemctl enable alertmanager

启动服务

systemctl start alertmanager

查看服务状态

systemctl status alertmanager


访问alertmanager的地址 [http://localhost:9293/],如果出现如下界面,说明启动成功,如果不能启动请检查配置
![1.png](https://upload-images.jianshu.io/upload_images/26919493-d9981143ed2c3bf9.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

## 4 修改prometheus配置文件

### 1 编辑规则文件

创建告警规则文件目录

mkdir /usr/local/prometheus/rules

进入目录

cd /usr/local/prometheus/rules


#### 1 创建cpu告警文件,内容如下

groups:

  • name: CPU报警规则
    rules:
    • alert: 服务器-CPU使用率告警
      expr: 100 - (avg by (instance)(irate(node_cpu_seconds_total{mode="idle"}[1m]) )) * 100 > 85
      for: 3m
      labels:
      severity: warning
      annotations:
      summary: "CPU使用率正在飙升。"
      description: "CPU使用率超过85%(当前值:{{ $value }}%)"

#### 2 创建磁盘告警文件,内容如下

groups:

  • name: 磁盘使用率报警规则
    rules:
    • alert: 服务器-磁盘使用率告警
      expr: 100 - node_filesystem_free_bytes{fstype=~"xfs|ext4"} / node_filesystem_size_bytes{fstype=~"xfs|ext4"} * 100 > 85
      for: 30m
      labels:
      severity: warning
      annotations:
      summary: "硬盘分区使用率过高"
      description: "分区使用大于85%(当前值:{{ $value }}%)"

####3 创建内存告警文件,内容如下

groups:

  • name: 内存报警规则
    rules:
    • alert: 服务器-内存使用率告警
      expr: (1 - (node_memory_MemAvailable_bytes{job="all_node"} / (node_memory_MemTotal_bytes{job="all_node"}))) * 100 > 85
      for: 3m
      labels:
      severity: warning
      annotations:
      summary: "服务器可用内存不足。"
      description: "内存使用率已超过85%(当前值:{{ $value }}%)"

#### 4 创建flink任务存活个数告警文件

第一个文件

groups:

  • name: 生产-实时-flink-任务执行失败
    rules:
    • alert: 生产-实时-flink-任务失败告警
      expr: flink_jobmanager_numRunningJobs{job=~"flink_pushgateway.*"} < 3
      for: 1m
      labels:
      severity: warning
      annotations:
      summary: "生产-flink 某个任务执行失败"
      description: "生产-实时-flink-任务执行失败, 期待正在执行的任务数=3,(当前正在执行的任务数={{ $value }})"
      复制代码

*   expr: flink_jobmanager_numRunningJobs{job=~“flink_pushgateway.*”} < 3
    当前正在运行的任务有3个,判断当前正在运行的任务数量小于3吗,小于3说明有任务挂了
*   for: 1m
    expr条件触发后,这种情况持续了1分钟,则发出告警

#### [](https://link.juejin.cn?target=)5 判断flink某任务是否存活

groups:

  • name: MainClassName 执行失败
    rules:
    • alert: 生产-实时-flink-任务失败告警
      expr: ((flink_jobmanager_job_uptime{ job_name="MainClassName"})-(flink_jobmanager_job_uptime{ job_name="MainClassName"} offset 10s))/1000 == 0
      for: 1m
      labels:
      severity: warning
      annotations:
      summary: "生产-实时任务执行失败"
      description: "MainClassName(xxx任务) 执行失败(当前值:{{ $value }})"

**注意:这里只能根据任务启动时的MainClassName主类名监控指定任务**

原理是根据一个不断增加的指标uptime来判断

如果任务存活,当前时间戳减去10秒前的时间戳就等于10秒,则表达式 `((flink_jobmanager_job_uptime{ job_name="MainClassName"})-(flink_jobmanager_job_uptime{ job_name="MainClassName"} offset 10s))/1000`的值会是一个固定值约等于10秒的一个数

如果任务失败,那么值uptime的值不会在随时间增加而是一个固定值,那么当前时间戳减去10秒前的时间戳就回等于0。则当表达式`((flink_jobmanager_job_uptime{ job_name="MainClassName"})-(flink_jobmanager_job_uptime{ job_name="MainClassName"} offset 10s))/1000 == 0`成立时触发告警

### [](https://link.juejin.cn?target=)2 编辑配置文件

vim /usr/local/prometheus/prometheus.yml

修改如下部分

Alertmanager configuration

alerting:
alertmanagers:
- static_configs:
- targets:
- localhost:9293

Load rules once and periodically evaluate them according to the global 'evaluation_interval'.

rule_files:

  • rules/*.yml

- "first_rules.yml"

- "second_rules.yml"

复制代码


重启prometheus

systemctl stop prometheus
systemctl start prometheus


## [](https://link.juejin.cn?target=)5 验证配置结果

访问prometheus的alert地址 [http://node01:9290/alerts]
可以看到如下


你可能感兴趣的:(Prometheus)