本文基于《IT运维:使用鸿鹄监控PowerStore存储》(以下简称原文)文章进行了优化。主要优化部分包括存储日志进入到鸿鹄后,如何进行字段抽取,以及图表的展示。
字段抽取:由原来采用视图的方式,变为正则+键值抽取的方式。
图表展示:本文将增加一下略复杂的语句,如钻取等,并采用更多的图表展现方式。
参考本文有一定的前置条件,包括如下:
鸿鹄已经完成安装,并可以正常工作
vector已经安装并完成配置,并可以正常工作
本文的数据源类型为ps_syslog(鸿鹄内置syslog数据源类型,可以按照syslog的属性去配置ps_syslog)如下文实例所示,数据集为ps_syslog,可以按照自己的环境去匹配。但数据源类型建议在syslog导入前完成创建,因为后续字段加工时,会对数据源类型进行更改,并绑定
如需了解鸿鹄vector等详细的安装与配置,可以参考《IT运维:使用鸿鹄监控PowerStore存储》原文。
查看内置syslog属性
创建ps_syslog,并按照内置syslog配置
字段抽取
原始日志分析
在字段抽取前,我们需要先查看下原始日志,对其进行分析
通过查询可以看到原始日志格式如下,对其进行分析发现日志格式有部分为KV格式,所以采用正则+键值抽取的方式。
我的做法是
1、先用正则将整个日志进行区分,将如下KV部分通过正则抽取为content。
2、随后对content采用键值抽取。
正则+键值抽取
抽取新字段
选择数据源类型,选择数据样例
选择抽取规则:正则抽取,编辑正则表达式,将下面的抽取规则填进去,对content采用键值对抽取
TIPS:一般来说这个正则表达式具备通用性,你可以在《regex101》上验证正则表达式,如果未能匹配,通常是由于匹配主机名的字段规则需要调整。
为规则命名并保存,完成抽取。
仪表盘可以直接导入,我会在最下面附上我的仪表盘。如果你的数据集名称和我的不一样,需要将数据集名称进行变更。
仪表盘导入
新建仪表盘>选择仪表盘配置文件>浏览后选择你需要导入的仪表盘文件即可
PowerStore存储仪表盘-final.json(具体内容请至官网加入鸿鹄技术交流群,从鸿鹄知识库中获取)