【无标题】
欢迎关注个人微信公众号 singless
1 介绍
prometheus相信大家都接触的比较多，prometheus天然的适合云原生场景，并且也有一套成熟的告警体系。通过alertmanger可以将告警信息发送到钉钉、企业微信等常用的办公软件。不过alertmanger的告警内容比较单一，在某些场景下，我们可能在接收到告警的同时获取到更多的信息，比如某个服务当前的状态，或是某个命令执行的结果。通过这些信息有一些基本的判断后，可能就不需要再打开电脑去检查业务的状态了。
本文主要介绍如何配置webhook，再产生告警时，由webhook执行已经写好的脚本，在脚本中我们会发送业务当前的状态检查结果到企业微信机器人。
告警机制这边先放个图
prometheus从exporter中采集指标，并根据配置好的rule.yaml中的规则去判断指标值是否正常，如果指标值异常，会将告警推送到alertmanager。altermanger再发送消息给webhook。
2 部署webhook
webhook官网地址如下
https://github.com/adnanh/webhook
ubuntu系列可以直接通过apt安装webhook，其他系列可以参考官方文档通过go对源码进行编译安装。webhook默认使用9000端口。
首先安装webhook
root@ceph-4:~# apt install webhook
安装后我们通过一个小例子来体验webhook的功能。编辑webhook配置文件，配置文件格式参考
https://github.com/adnanh/webhook/blob/master/docs/Hook-Definition.md
https://github.com/adnanh/webhook/blob/master/docs/Hook-Examples.md
root@ceph-4:~# cat /etc/webhook.conf - id: singless-webhook ##hook名，访问时需要用到 execute-command: "/root/test.sh" ##webhook被访问时执行的脚本 command-working-directory: "/var/webhook" ##webhook的工作目录，可以自己新建一个 root@ceph-4:~# root@ceph-4:~# cat /root/test.sh ##脚本内容如下，注意一定要写明解释器，比如bash或python，或者脚本会无法执行 #!/bin/bash /usr/bin/echo webhook >> /root/webhook
配置完成后重启webhook，并尝试触发webhook。访问方式为http://{webhook_ip}:{port}/hooks/{webhook_id}
其中端口默认使用9000端口，webhook_id为上面在配置文件中指定的id，通过下图可以看到，访问webhook后，/root/webhook文件被写入了内容，说明/root/test.sh脚本成功执行。
root@ceph-4:~# systemctl restart webhook.service root@ceph-4:~# curl http://192.168.85.151:9000/hooks/singless-webhook root@ceph-4:~# cat /root/webhook webhook
3 修改webhook的默认端口
某些情况下，9000端口我们可能已经由其他业务使用了，这种情况下，可以修改webhook的端口。可以直接修改webhook的service文件，添加一个-port参数。比如下图，我修改端口为9001，修改后重启服务生效。
root@ceph-4:~# cat /lib/systemd/system/webhook.service [Unit] Description=Small server for creating HTTP endpoints (hooks) Documentation=https://github.com/adnanh/webhook/ ConditionPathExists=/etc/webhook.conf [Service] ExecStart=/usr/bin/webhook -nopanic -hooks /etc/webhook.conf -port 9001 [Install] WantedBy=multi-user.target root@ceph-4:~# root@ceph-4:~# systemctl daemon-reload root@ceph-4:~# systemctl restart webhook.service
4 发送自定义告警内容到企业微信机器人
现在我们已经知道webhook的基本功能，下来来一个例子，当ceph状态异常时，将ceph health detail命令的执行结果发送到企业微信群。
prometheus和alertmanger的部署和对接这边不在赘述。
prometheus的告警规则如下，当ceph状态为warn时会推送告警到alertmanger
root@ceph-4:~# cat /usr/local/prometheus/rules/ceph_rules.yml groups: - name: ceph.rules rules: - alert: CephErrorState expr: ceph_health_status > 0 for: 5m labels: severity: critical annotations: description: Ceph is in Warring state longer than 5m, please check status of pools and OSDs summary: CEPH in WARN
alertmanger配置如下，当接收到prometheus的告警时，会发送消息给webhook
root@ceph-4:~# cat /usr/local/alertmanager/alertmanager.yml route: group_by: ['alertname'] group_wait: 30s group_interval: 1m repeat_interval: 1h receiver: 'wechat.hook' ##指定告警接收者，和下面的name保持一致 receivers: - name: 'wechat.hook' webhook_configs: - url: 'http://192.168.85.151:9001/hooks/singless-webhook' ##webhook地址 inhibit_rules: - source_match: severity: 'critical' target_match: severity: 'warning' equal: ['alertname', 'dev', 'instance']
webhook配置如下，当webhook被访问时会执行/root/trigger.sh脚本
root@ceph-4:~# cat /etc/webhook.conf - id: singless-webhook execute-command: "/root/trigger.sh" command-working-directory: "/var/webhook"
trigger.sh脚本内容如下
root@ceph-4:~# cat /root/trigger.sh
#!/bin/bash
wechat_webhook=https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=3b0a40d5-1c1a-4d67-87ac-a40584f217b8
ceph_health_detail=$(ceph health detail)
date=$(date)
curl $wechat_webhook \
-H 'Content-Type: application/json' \
-d '{ "msgtype": "text","text": {"content": "'"$date"' \n '"$ceph_health_detail"'"}}'
解释一下脚本中一些变量的作用
-
wechat_webhook：企业微信机器人的webhook地址，企业微信机器人可以参考网上教程创建
-
ceph_health_detail：记录ceph health detail命令的执行结果
-
date：记录当前时间
这个脚本的作用就是将当前时间和ceph health detail命令的执行结果发送给企业微信机器人
现在我模拟一下业务故障，看下效果
停止掉ceph的osd服务，这时候ceph状态会变为WARN，触发prometheus告警。
检查可以发现，收到了企业微信机器人发送的消息，且消息内容也是我们想要的。
我们再将ceph环境恢复，恢复后prometheus也会触发恢复告警。因此机器人也可以收到恢复的告警
总结，webhook让我们在接收到告警后上环境检查前可以做更多的事情。比如可以在产生告警时通过脚本抓取告警时的一些进程信息，服务信息。或是在告警产生时执行一些预定义的检查脚本等。总之该工具可以根据自身需要做很多定制化的内容，应用广泛。