利用同花顺日志实现用户详细数据分析

概述

本文基于鸿鹄2.10.0版本,旨在为使用鸿鹄进行同花顺日志数据分析的场景提供一些参考。本文所使用的数据为样例数据(非真实数据)。本文主要利用同花顺日志实现如下分析:

  • 分析活跃用户数量
  • 分析用户分布的区域,并在地图上展示
  • 分析用户的请求,并按照请求进行进一步分析
  • 分析用户终端的情况

操作步骤

数据导入

1、创建数据集,如使用已经存在的数据集,可跳过此步骤

数据集名称:tonghuashun_syslog(仪表盘中使用的名称,如更改为其他,需要在导入仪表盘后调整SQL语句中的数据集)

利用同花顺日志实现用户详细数据分析_第1张图片

2、创建数据源类型

数据源类型:tonghuashun_syslog

利用同花顺日志实现用户详细数据分析_第2张图片

3、配置vector.toml。vector安装参考vector安装(https://vector.dev/docs/setup/quickstart/#install-vector)

include = ["/data/log/*.json"] #同花顺日志文件路径

._datatype = "tonghuashun_syslog" #数据源类型名称

._target_table = "tonghuashun_syslog" #数据集名称

address = "172.16.1.5:20000" #鸿鹄IP

利用同花顺日志实现用户详细数据分析_第3张图片

字段抽取

日志分析

在字段抽取前,我们需要先查看下原始日志,对其进行分析

利用同花顺日志实现用户详细数据分析_第4张图片

通过查询可以看到原始日志格式如下(以下样例只提供日志格式的参考)

利用同花顺日志实现用户详细数据分析_第5张图片

我们可以大致判断该文件是一个json类型的文件,现在去验证下

TIPS:如何验证json格式,可以在线网站验证[Json在线验证]

利用同花顺日志实现用户详细数据分析_第6张图片

验证后说json是无效的json,我们想办法补全json文件。

这里我们在最开始补了"{",在最后补了"}",并删除了,"@timestamp"之前的",",发现json可以正常识别解析了

利用同花顺日志实现用户详细数据分析_第7张图片

字段抽取

上面我们已经验证了文件可以补全为json文件,那么接下来就确定字段抽取方式为json,我们需要想办法通过鸿鹄sql搜索命令将文件补全为json。最终的sql语句如下:

利用同花顺日志实现用户详细数据分析_第8张图片

利用同花顺日志实现用户详细数据分析_第9张图片

下面是我的实现语句,这里解释下逻辑

第一步:补全json文件

  • concat:会把字符串串联在一起,这里解决了添加"{"与"}"的问题
  • substring:返回第一个参数输入的字符串的一部分,这里我由于不需要@timestamp"之前的",",所以","在事件中是第一个字符,我们从第二个字符开始,就解决了删除","的问题

利用同花顺日志实现用户详细数据分析_第10张图片

第二步:用json来解析补全后的事件

  • 上面我们将补全后的命名为content_json,这里我们通过parse_json解析补全后的content_json

利用同花顺日志实现用户详细数据分析_第11张图片

第三步:我们将我们的语句存为视图"v_tonghuashun",便于后面调用解析后的字段

利用同花顺日志实现用户详细数据分析_第12张图片

仪表盘

导入同花顺仪表盘。新建仪表盘>选择仪表盘配置文件>确定

效果如下:

利用同花顺日志实现用户详细数据分析_第13张图片

利用同花顺日志实现用户详细数据分析_第14张图片

利用同花顺日志实现用户详细数据分析_第15张图片

利用同花顺日志实现用户详细数据分析_第16张图片

同花顺—运维画像.json(获取文件请至官网,加入“鸿鹄技术交流群”)

扩展

上文我们使用过的SQL函数和语法以及他们的用途,这些函数均可以在"帮助的使用手册"查询,更多查询分析功能,见
https://www.yanhuangdata.com/honghu_manual/docs/search/。 

利用同花顺日志实现用户详细数据分析_第17张图片

你可能感兴趣的:(大数据,数据分析,时序数据库,big,data)