grafana告警配置记录

1. 设置SMTP
邮件告警需要设置smtp,smtp配置查看需要admin权限:点击左侧Server Admin,选择Settings,
ctrl+F搜索smtp查看具体信息。
修改smtp配置需要到linux服务器修改grafana.ini配置文件中[smtp]节点,大致如下:

[smtp]
enabled = true
host = xxx.xxx.com:port
user = [email protected]  (注意特殊字符用三引号括起来,如#)
password =
skip_verify = true
from_address = [email protected]
from_name = Grafana



2. 添加Alerting
左侧边栏选择Alerting,选择Notification channels,添加New channel。
Name自定义,Type选择email,勾选Default(所有alert都通过email发送),勾选Include image,
保证同时发送告警图片。
发送告警图片需要安装插件:
参考:https://grafana.com/docs/grafana/latest/administration/image_rendering/

安装图形渲染插件
参考:https://grafana.com/grafana/plugins/grafana-image-renderer/installation

[root@xxx jalchu]# whereis grafana-cli
grafana-cli: /usr/sbin/grafana-cli
[root@xxx jalchu]# /usr/sbin/grafana-cli plugins install grafana-image-renderer
installing grafana-image-renderer @ 2.0.0
from: https://grafana.com/api/plugins/grafana-image-renderer/versions/2.0.0/download
into: /var/lib/grafana/plugins

Installed grafana-image-renderer successfully 

Restart grafana after installing plugins . 

[root@xxx jalchu]# service grafana-server restart

插件相关配置
(1)设置通知图片的临时过期时间(grafana.ini)
[root@xxx jalchu]# vi /etc/grafana/grafana.ini
修改
# Temporary files in `data` directory older than given duration will be removed
;temp_data_lifetime = 24h
说明:
也可以通过点击panel上方箭头,选择Share-Direct link rendered image来渲染图片。
(2)超载配置(grafana.ini)
渲染图片需要很大内存,因为如果你有很多dashboard或很多panel,这里涉及到并行渲染,
所以官方建议最小内存为16G。
对于同时需要渲染多个图片,grafana内部可通过concurrent_render_limit参数配置,防止超载。
# Alert notifications can include images, but rendering many images at the same time can overload the server
# This limit will protect the server from render overloading and make sure notifications are sent out quickly
;concurrent_render_limit = 5



3. 添加Alert
打开具体的dashboard,选择一个panel,点edit进入编辑页面。
找到Alert,添加Alert规则:
Rule:评估时间,比如每5分钟评估一次,瞧瞧在这5分钟内是否存在告警
Conditions:评估条件,比如5分钟内这5个点的平均值超过多少,或者最小值低于多少
No Data & Error Handling:如果没有数据或者所有数据都是null,或者发生了异常或超时
Notifications:默认会显示刚刚配置好的Notification channel,并输入该alert的邮件内容说明




附一个未解决的问题:
以上安装方式在我们prod环境尝试时,
按照官网安装后重启,发现创建channel勾选Include image时任然显示:
No image renderer available/installed
参考:https://github.com/grafana/grafana-image-renderer/issues/165
尝试执行ldd /var/lib/grafana/plugins/grafana-image-renderer/chrome-linux/chrome后重启,仍然报
No image renderer available/installed

尝试修改log的filters配置:filters = oauth.generic_oauth:debug
改为filters = rendering:debug,然后查询log,发现log里直接报
No image renderer found/installed

尝试去/var/lib/grafana/plugins/grafana-image-renderer目录下执行make & make install,执行失败

这个目前在linux上尚未解决

 

 

你可能感兴趣的:(Linux,grafana)