数睿通2.0数据中台数据治理—元数据功能发布

文章目录

  • 引言
  • 数据集成 - 实时日志
  • 数据治理 - 元模型
  • 数据治理 - 元数据采集
  • 数据治理 - 元数据管理
  • 结语

引言

数睿通 2.0 目前基本完成了数据集成,数据开发,数据服务三大模块,初步具备了拉数,造数,供数的能力。因为平台相关人员都是兼职开发,并非全职,所以进度没有那么快,这点希望大家可以理解。3 月份主要是完善了一下数据集成,添加了实时日志的展示,同时开发了数据治理模块 — 元数据的相关功能,主要包括元模型,元数据采集,元数据管理,数据治理模块还有数据血缘,数据质量,数据标准,数据清洗处于开发之中,四月中下旬应该可以再出一版,元数据是底层基础,地基打好了,剩下的功能开发起来会顺手很多。之前的功能就不做赘述了,首次了解的朋友可以查看我的往期文章,下面我们来看一下本次主要更新的功能吧。

数据集成 - 实时日志

之前的数据集成任务执行之后,无法实时获取任务的执行日志,不方便排查问题,所以本地更新添加了查看实时日志的功能,具体功能如下所示:
数睿通2.0数据中台数据治理—元数据功能发布_第1张图片
数睿通2.0数据中台数据治理—元数据功能发布_第2张图片

数据治理 - 元模型

元模型可以理解为是描述元数据的数据,元模型分为内置元模型和自定义元模型,目前内置的元模型有数据库,数据表和表字段,内置元模型是固定的,不可更改,而自定义元模型则可以灵活扩展,达到自定义元数据的效果。
数睿通2.0数据中台数据治理—元数据功能发布_第3张图片
数睿通2.0数据中台数据治理—元数据功能发布_第4张图片

数据治理 - 元数据采集

通过元数据采集功能,我们可以指定需要采集的数据源,一次性或者定时采集目标数据源的元数据信息,支持全量和增量采集,全量则会保持元数据跟目标数据源完全一致,多余的数据会进行删除,增量则只会新增和更新数据,不会做删除操作。采集的时候会根据定义的元模型的属性信息进行采集。

元数据采集执行时会生成执行记录,通过执行记录可以查看采集的实时日志信息,帮助排查解决问题。
数睿通2.0数据中台数据治理—元数据功能发布_第5张图片
数睿通2.0数据中台数据治理—元数据功能发布_第6张图片

数睿通2.0数据中台数据治理—元数据功能发布_第7张图片
数睿通2.0数据中台数据治理—元数据功能发布_第8张图片

数据治理 - 元数据管理

元数据采集之后,可以在元数据管理模块查看采集的元数据信息,帮助我们直观的了解元数据信息,目前开发中的数据血缘,数据质量等都依赖于元数据管理模块,它是整个中台的基盘,对数据治理起着至关重要的作用。
数睿通2.0数据中台数据治理—元数据功能发布_第9张图片

结语

这就是本次更新的主要内容了,看起来功能不多,但代码量却一点不少,数据治理在数据中台中至关重要,企业能不能管理好数据,用好数据,构建好自己的数据资产目录,都很大程度上依赖于数据治理,所以这块不能急于求成,慢工出细活,需要好好设计一下,数睿通从启动至今,得到了不少朋友的鼓励和认可,在这里由衷的表示感谢,这也是我们开发的动力源泉所在。

想要获取系统目前最新源码,部署指南等资料的朋友可以关注公众号 螺旋编程极客 加入我的知识星球,星球内可以获取到数睿通 2.0 的最新源码资料等,新功能发布之后也会第一时间分享,期待你的加入。

你可能感兴趣的:(大数据,人工智能,数据中台)