本文基于鸿鹄2.10.0版本。
●监控奇安信日志类型分布
●监控奇安信攻击行为、分析攻击类型
●监控奇安信攻击来源情况
数据导入
1、创建数据集,如使用已经存在的数据集,可跳过此步骤
数据集名称:qax_syslog(仪表板中使用的名称,如更改为其他,需要在导入仪表板后调整SQL语句中的数据集)
2、创建数据源类型,如使用已经存在的数据集,可跳过此步骤
数据源类型:qax_syslog
TIPs:数据源类型用于对具有统一类型属性的数据进行集合处理。鸿鹄提供了多种内置的数据源类型,例如syslog, json, csv等。如果您的数据处理需要配置自定义的字段抽取规则,建议先创建新的数据源类型,再将字段抽取规则绑定到相应的数据源类型。
3、配置vector.toml。vector安装参考[vector安装](https://vector.dev/docs/setup/quickstart/#install-vector)
._datatype = "qax_syslog" 数据源类型名称
._target_table = "qax_syslog" 数据集名称
address = "172.16.1.5:20000"
字段抽取这里用到的就是读时建模。数据以原始数据进入鸿鹄鸿鹄平台,在需要分析时,进行数据建模。
日志分析
在字段抽取前,我们需要先查看下原始日志,对其进行分析
通过查询可以看到原始日志格式如下
对其进行分析发现日志由两个部分组成,那么我们需要先通过正则将两个部分分开,再对第一部分采用正则抽取,第二部分采用json抽取。
第一部分
第二部分
TIPS:如何验证json格式,可以在线网站验证[Json在线验证](https://www.bejson.com/explore/index_new/)
字段抽取
抽取新字段
选择目标数据类型,选择样例事件
新建抽取规则>编辑正则表达式
可以看到我们将两部分日志分离,第二部分为json_content
继续新建抽取规则>选中json_content>选择JSON抽取
预览并保存,完成抽取
导入奇安信仪表板。新建仪表板>选择仪表板配置文件>确定
奇安信日志分为3类,webids-ids_dolog、alarm、webids-webattack_dolog,这里使用了钻取,点击奇安信日志类型分布,下面的所有图表会根据日志类型自动适配。
效果如下:
奇安信仪表板.json(12 kB)
(具体文档请加入鸿鹄技术交流群,至知识库中获取)