Prometheus:监控主机和容器

1、每台主机上安装exporter和cadvisor
2、主机资源监控项：

• CPU
• 内存
• 磁盘
• 可用性
  3、基础的主机插件：Node Exporter
  可选的Exporter列表：https://prometheus.io/docs/instrumenting/exporters/
  4、node exporter设置路径：
  --web.listen-address=":9600"
  --web.telemetry-path="/node_metrics"
  5、配置textfile收集器
  mkdir -p /var/lib/node_exporter/textfile_collector
  echo 'metadata{role="docker_server",datacenter="NJ"} 1'|sudo tee /var/lib/node_exporter/textfile_collector/metadata.prom

在node exporter上设置textfile的路径： --collector.textfile.directory=/var/lib/node_exporter/textfile_collector/
6、配置systemd收集器
node_exporter --collector.textfile.directory /var/lib/node_exporter/textfile_collector --collector.systemd --collector.systemd.unit-whitelist="(docker|ssh|rsyslog).service"
7、服务端prometheus.yml配置
scrape_configs:

• job_name: 'prometheus'
  static_configs:
  - targets: ['localhost:9090']
• job_name: 'node'
  static_configs:
  - targets: ['192.168.1.11:9100','192.168.1.12:9100','192.168.1.13:9100']

重启prometheus

8、通过params collect[]过滤收集的指标

image.png

9、运行cadvisor
docker run -v /:/rootfs:ro -v /var/run:/var/run:rw -v /sys:/sys:ro -v /var/lib/docker:/var/lib/docker:ro -v /dev/disk:/dev/disk:ro -p 8080:8080 --detach=true --restart=always --name=cadvisor google/cadvisor
10、prometheus服务端配置

image.png

？？？覆盖标签配置？？？？、

image.png

image.png

标签分为拓扑标签、模式标签
拓扑标签：job:node instance:address ....
模式标签：url error_code user....

标签分类示例：
数据中心-->环境：开发、预发布、生产-->服务、应用程序

重新标记：relabel

有两个阶段可以重新标记：服务发现后重新标记 relabel_configs 抓取之后过滤 metric_relabel_configs 最简单的区分，一个是抓取前，一个是抓取后

docker 删除部分指标的例子

image.png

定义新的标签分隔符separator

image.png

操作有：drop/keep/replace/labeldrop/labelkeep

标签替换

image.png

隐藏收集的主机内核版本的方式

metric_relabel_configs:

• regex: 'kernelVersion'
  action: labeldrop

USE方法：使用率、饱和度、错误指标。用于CPU、内存、磁盘

cpu使用率：node_cpu_seconds_total。使用promQL来查询5分钟内的CPU平均值：100-avg(irate(node_cpu_seconds_total{job="node",mode="idle"}[5m])) by (instance) * 100

image.png

cpu饱和度：计算cpu数量 count by (instance) (node_cpu_seconds_total{mode="idle"})
查询1分钟平均负载超过2倍CPU数量的指标：node_load1 > on (instance) 2 * count by (instance) (node_cpu_seconds_total{mode="idle"})
cpu错误：无法收集
---#
内存使用率指标：(node_memory_MemTotal_bytes - (node_memory_MemFree_bytes+node_memory_Cached_bytes+node_memory_Buffers_bytes)) / node_memory_MemTotal_bytes * 100
内存饱和度：node_vmstat_pswpin 系统每秒从磁盘读到内存的字节数
1024 * sum by (instance) (rate(node_vmstat_pswpin[1m])+rate(node_vmstat_pswpin[1m]))
内存错误：无法收集
--#
磁盘使用率：(node_filesystem_size_bytes{mountpoint="/"}-node_filesystem_free_bytes{mountpoint="/"})/node_filesystem_size_bytes{mountpoint="/"}*100

其他挂载点：/替换成其他，可以使用正则 =~"/|/run"

-----#预测函数**** predict_linear
predict_linear(node_filesystem_free_bytes{job="node"}[1h],4*3600)<0

这个函数的意义是如果基于最后一个小时的增长历史记录，文件系统将在接下来4个小时内用完空间，那么查询将返回一个负数，然后我们可以使用它来触发告警。

--

systemd

node_systemd_unit_state{name="docker.service",state="active"} ==1

查询持久化

• 记录规则
• 警报规则
• 可视化

记录规则放在rules_files中,记录规则放在prometheus.yml同文件夹的rules/下。

记录规则可以自定义时间间隔，interval: 10s

rule_files:

• "rules/node_rules.yml"

CPU、内存、磁盘的记录规则node_rules.yml

groups:

• name: node_rules
  rules:
  • record: instance:node_cpu:avg_rate5m
    expr: 100 - avg (irate(node_cpu_seconds_total{job="node",mode="idle"}[5m])) by (instance) * 100
  • record: instance:node_cpus:count
    expr: count by (instance)(node_cpu_seconds_total{mode="idle"})
  • record: instance:node_cpu_saturation_load1
    expr: node_load1 > on (instance) 2 * count by (instance)(node_cpu_seconds_total{mode="idle"})
  • record: instance:node_memory_usage:percentage
    expr: (node_memory_MemTotal_bytes - (node_memory_MemFree + node_memory_Cached_bytes + node_memory_Buffers_bytes)) / node_memory_MemTotal_bytes * 100
  • record: instance:node_memory_swap_io_bytes:sum_rate
    expr: 1024 * sum by (instance) (
    (rate(node_vmstat_pgpgin[1m])
    + rate(node_vmstat_pgpgout[1m]))
    )
  • record: instance:root:node_filesystem_usage:percentage
    expr: (node_filesystem_size_bytes{mountpoint="/"} - node_filesystem_free_bytes{mountpoint="/"}) / node_filesystem_size_bytes{mountpoint="/"} * 100