利用同花顺日志实现用户详细数据分析

概述

本文基于鸿鹄2.10.0版本，旨在为使用鸿鹄进行同花顺日志数据分析的场景提供一些参考。本文所使用的数据为样例数据（非真实数据）。本文主要利用同花顺日志实现如下分析：

• 分析活跃用户数量
• 分析用户分布的区域，并在地图上展示
• 分析用户的请求，并按照请求进行进一步分析
• 分析用户终端的情况

操作步骤

数据导入

1、创建数据集，如使用已经存在的数据集，可跳过此步骤

数据集名称：tonghuashun_syslog（仪表盘中使用的名称，如更改为其他，需要在导入仪表盘后调整SQL语句中的数据集）

2、创建数据源类型

数据源类型：tonghuashun_syslog

3、配置vector.toml。vector安装参考vector安装（https://vector.dev/docs/setup/quickstart/#install-vector）

include = ["/data/log/*.json"] #同花顺日志文件路径

._datatype = "tonghuashun_syslog" #数据源类型名称

._target_table = "tonghuashun_syslog" #数据集名称

address = "172.16.1.5:20000" #鸿鹄IP

字段抽取

日志分析

在字段抽取前，我们需要先查看下原始日志，对其进行分析

通过查询可以看到原始日志格式如下(以下样例只提供日志格式的参考)

我们可以大致判断该文件是一个json类型的文件，现在去验证下

TIPS：如何验证json格式，可以在线网站验证[Json在线验证]

验证后说json是无效的json，我们想办法补全json文件。

这里我们在最开始补了"{"，在最后补了"}"，并删除了,"@timestamp"之前的","，发现json可以正常识别解析了

字段抽取

上面我们已经验证了文件可以补全为json文件，那么接下来就确定字段抽取方式为json，我们需要想办法通过鸿鹄sql搜索命令将文件补全为json。最终的sql语句如下：

下面是我的实现语句，这里解释下逻辑

第一步：补全json文件

• concat：会把字符串串联在一起，这里解决了添加"{"与"}"的问题
• substring：返回第一个参数输入的字符串的一部分，这里我由于不需要@timestamp"之前的","，所以","在事件中是第一个字符，我们从第二个字符开始，就解决了删除","的问题

第二步：用json来解析补全后的事件

• 上面我们将补全后的命名为content_json，这里我们通过parse_json解析补全后的content_json

第三步：我们将我们的语句存为视图"v_tonghuashun"，便于后面调用解析后的字段

仪表盘

导入同花顺仪表盘。新建仪表盘>选择仪表盘配置文件>确定

效果如下：

同花顺—运维画像.json（获取文件请至官网，加入“鸿鹄技术交流群”）

扩展

上文我们使用过的SQL函数和语法以及他们的用途，这些函数均可以在"帮助的使用手册"查询，更多查询分析功能，见
https://www.yanhuangdata.com/honghu_manual/docs/search/。