Prometheus 和 Alertmanager实战配置

AlertManager下载

https://prometheus.io/download/

也可通过github下载

https://github.com/prometheus/alertmanager

解压

添加配置文件test.yml,配置收发邮件邮箱

参考配置:

global:
  smtp_smarthost: 'smtp.163.com:25'  #163服务器
  smtp_from: '[email protected]'        #发邮件的邮箱
  smtp_auth_username: '[email protected]'  #发邮件的邮箱用户名,也就是你的邮箱
  smtp_auth_password: 'XXX'        #发邮件的邮箱密码

route:
  group_by: ['alertname']

  repeat_interval: 1h

  receiver: live-monitoring

receivers:
- name: 'live-monitoring'
  email_configs:
  - to: '[email protected]'        #收邮件的邮箱

更多配置参考alertmanager包中的simple.yml

添加报警规则

prometheus targets 监控报警参考配置(node_down.yml):

groups:
- name: example
  rules:
  - alert: InstanceDown
    expr: up == 0
    for: 1m
    labels:
      user: caizh
    annotations:
      summary: "Instance {{ $labels.instance }} down"
      description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 1 minutes."

节点内存使用率监控报警参考配置(memory_over.yml)

groups:
- name: example
  rules:
  - alert: NodeMemoryUsage
    expr: (node_memory_MemTotal_bytes - (node_memory_MemFree_bytes+node_memory_Buffers_bytes+node_memory_Cached_bytes )) / node_memory_MemTotal_bytes * 100 > 80
    for: 1m
    labels:
      user: caizh
    annotations:
      summary: "{{$labels.instance}}: High Memory usage detected"
      description: "{{$labels.instance}}: Memory usage is above 80% (current value is:{{ $value }})"

当然,想要监控节点内存需要提前配置好node_exporter

修改prometheus配置文件prometheus.yml,开启报警功能,添加报警规则配置文件

# Alertmanager configuration
alerting:
  alertmanagers:
  - static_configs:
    - targets: ["localhost:9093"]
      # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  - "node_down.yml"
  - "memory_over.yml"

配置完成!

启动alertmanager

./alertmanager --config.file test.yml

启动prometheus(默认会调用prometheus.yml)

./prometheus

http://localhost:9090/alerts

看配置与报警规则是否添加成功

成功则如下图:

Prometheus 和 Alertmanager实战配置_第1张图片
image

告警信息生命周期的3中状态
1)inactive:表示当前报警信息即不是firing状态也不是pending状态
2)pending:表示在设置的阈值时间范围内被激活的
3)firing:表示超过设置的阈值时间被激活的

我的Prometheus Targets如下:

Prometheus 和 Alertmanager实战配置_第2张图片
image

尝试kill一个测试是否可以用邮件报警

例如在slave1节点上:

InstanceDown会变成(1 active),并处在PENDING状态

Prometheus 和 Alertmanager实战配置_第3张图片
image

1min后变FIRING状态

Prometheus 和 Alertmanager实战配置_第4张图片
image

耐心等待几分钟,会收到报警邮件:

Prometheus 和 Alertmanager实战配置_第5张图片
image

邮件可能会有延时,耐心等一会~

想测试内存使用率可以多开点占内存的服务,或者把报警规则中内存占用超过80%报警调小一些

Over~

你可能感兴趣的:(Prometheus 和 Alertmanager实战配置)