JVS智能BI的ETL数据集实践：数据自动化分析的秘诀

数据集是JVS-智能BI中承载数据、使用数据、管理数据的基础，同样也是构建数据分析的基础。可以通俗地将其理解为数据库中的普通的表，它来源于智能的ETL数据加工工具，可以将数据集进行分析图表、统计报表、数字大屏、数据服务等制作。

数据集管理与界面介绍

在整体的数仓架构中，数据集是在线加工的标准数据形态，数据集配置的过程就似对数据进行加工、清晰、关联、建模的过程，建模完成后，可通过手动数据执行或者周期性的数据执行，形成标准的数据集（通用），如下图所示

实现从业务数据抽取到数据统计分析库中，在界面上完成数据加工的过程。

数据集的创建

选中对应要添加数据集的目录，点击“+”新增目录菜单、数据集，这里直接选择数据集时，需要选择新建在哪个目录下，如下图所示，当然也可以直接在目录菜单上点击“+”按钮，直接创建数据集

系统进入新增数据集的界面，需要填写数据集基本的信息，对数据集进行设计

数据集的状态管理

数据集的状态是用于控制在数据应用中的可见性，状态为启用时数据集为可用状态。

在启用状态下，数据设计不可修改，通过点击禁用/启用按钮修改状态

数据集信息预览

数据信息预览包括数据加工的过程输出的结果等等，如下图所示：

数据集的设计

点击数据集设计按钮（在禁用的状态下，数据集才能进入设计状态）

进入到数据集的设计界面，其中包括基本信息配置、界面化的数据设计、周期性执行设置等具体对数据集的配置管理

设计器界面介绍

• 基本信息页

• 数据设计页

左上角可以设置数据集名称，左侧是系统提供的多种数据处理节点，主界面为数据配置画布，左侧的数据处理节点可以拖拽至画布，点击节点，下侧弹出对应的节点配置界面，后续章节将详细介绍设计器的具体操作使用方式

①：输入输出的基础算子，用户数据引入数据加工流程和完成后输出标准的数据结果

②：各种数据加工算子（后续章节将详细介绍）

③：数据加工流程配置的画布，支持拖拽式的算子链接配置

④：算子，点击画布中的算子时，系统将展示算子的配置与预览结果（建模结果）的界面

⑤：建模状态标志，绿色标志表示本节点完成模型构建，红色警示标志表示本环节还未完成建模，需要触发自动建模

⑥：在点击算子后会弹出本界面，界面上包括配置与预览建模结果数据

• 执行设置界面

本界面是提供对本数据集完成建模后，周期性或者定时触发完成数据分析结果的构建，如下图所示：

①：点击执行设置页面

②：开启定时开关后，系统按照后续的配置可以实现定制周期性的配置

③：录入负责人信息

④：录入负责人邮箱信息

⑤：设置定时任务开始时间

⑥：可以设置自定义的corn表达式

⑦：可以快速的设置周期性执行的方式，包括按照小时、天...... 等多种方式周期化执行

• 血缘视图

血缘视图用于本数据集的上下游数据关联引用具体情况，如下图所示

• 执行日志

执行日志会记录本数据集执行的历史记录，执行具体的情况，如下图所示

点击详细日志时，系统会把当时执行的具体过程都展示出来

• 权限配置

主要用于对本数据集所涉及的人员进行授权配置，如下图所示，具体的配置介绍查看相关章节

在线demo：http://bi.bctools.cn

gitee地址：https://gitee.com/software-minister/jvs-bi