数睿通2.0:高效的数据处理,主数据与数据表功能全面升级

引言

八天很短,七天很长,数睿通 2.0 数据中台也随之迎来了新一轮的版本迭代,本次更新主要包括:

  • 主数据模型(可视化建模)
  • 主数据派发(支持派发主数据到下游数据表,rabbitMq,kafka,接口)
  • 数据表(数仓分层表信息展示,可视化建表,sql控制台)
  • 修复数据质量任务连接泄露问题
  • 数据库管理添加 schema 属性,解决部分数据库由于 schema 与库名不同产生的查询问题
  • 全局项目—数仓配置添加 ip,port,schema 属性,自动生成 jdbcUrl,提升交互体验
  • 修复数据质量任务连接泄露问题
  • 部分细节优化

对数睿通 2.0 数据中台感兴趣的朋友,如果想要获取源码,部署文档等资料,下拉至文末查看。

主数据模型、主数据派发

主数据也称基准数据,通常指系统间共享数据(例如,客户、供应商、账户和组织部门相关数据),与业务数据相比,主数据变化缓慢。

在实际应用当中,业务发展到一定规模,各个系统的数据并不能完全互通,导致每个系统的主数据参差不齐,维护起来十分麻烦,而通过数据中台维护主数据模型,派发主数据到各系统,实现系统间主数据的整齐划一,便是其价值所在。

本次更新在数据治理模块添加了主数据管理菜单,菜单下包含主数据模型,主数据派发两个功能点,通过主数据模型可以维护主数据目录,建立主数据模型,模型建设完毕后可以通过数据集成和数据开发两个模块,结合使用,引入主数据,形成稳定的主数据资产;通过主数据派发可以把主数据分发给各子系统的接口、消息队列、数据表,以下是部分功能截图展示。
数睿通2.0:高效的数据处理,主数据与数据表功能全面升级_第1张图片
数睿通2.0:高效的数据处理,主数据与数据表功能全面升级_第2张图片
数睿通2.0:高效的数据处理,主数据与数据表功能全面升级_第3张图片
数睿通2.0:高效的数据处理,主数据与数据表功能全面升级_第4张图片
数睿通2.0:高效的数据处理,主数据与数据表功能全面升级_第5张图片
数睿通2.0:高效的数据处理,主数据与数据表功能全面升级_第6张图片

数据表

本次更新在数据开发模块添加了数据表功能,在此可以查看数仓分层下的所有物理表,查看表信息,建表语句等,同时提供 sql 控制台,便于用户执行 sql 语句,支持一次执行多条 sql,下面是部分功能截图展示。
数睿通2.0:高效的数据处理,主数据与数据表功能全面升级_第7张图片
数睿通2.0:高效的数据处理,主数据与数据表功能全面升级_第8张图片

修复数据质量任务连接泄露问题

得到用户反馈,执行多次质量任务之后会出现数据库连接被异常占满的问题,通过排查,发现是由于创建的数据库连接池没有得到及时释放导致,当前版本已修复此问题,主要是此处代码的修改,如下图所示。
数睿通2.0:高效的数据处理,主数据与数据表功能全面升级_第9张图片

数据库管理,全局项目优化

之前版本的数据库管理和全局项目中只有库名属性,没有添加 schema 属性,但部分数据库的库名和 schema 并不相同,比如 oracle,sqlServer,postgreSql 中都存在此问题,导致配置完数据库信息后,无法查询到库下的数据表信息,需要用户把库名配置成 schema 的名称才可以,对用户使用造成困扰,所以本次更新添加了 schema 属性,用以解决此问题。同时数仓配置额外添加了 ip 和 port 属性,便于系统自动生成 jdbcUrl,提升交互体验。
数睿通2.0:高效的数据处理,主数据与数据表功能全面升级_第10张图片
数睿通2.0:高效的数据处理,主数据与数据表功能全面升级_第11张图片

其他优化

本次更新还对数据集成,数据开发,数据集市的一些细节问题进行了优化,主要是前台交互和底层的逻辑微调,在此就不再过多赘述了。

结语

本次中台的新功能介绍就到此结束了,其中主数据管理算是一个比较有价值的功能点,用的好可以对企业各系统的数据起到一个规范引导作用,而不是相互之间反复同步,调用,比对,有利于数据使用效能的提升。

后续数睿通 2.0 还会逐渐完善,搜集用户的合理需求,让平台更健壮,成熟,稳定!

目前源码,部署指南,讲解视频等相关资料是付费加入知识星球获取的,价格相比其他同系列的产品连个零头都不到,还是很良心的,星球内可以获取到数睿通 2.0 的最新源码资料等,功能发布之后也会第一时间分享。

感兴趣的朋友请关注公众号 螺旋编程极客 加入星球,我们一起成长,一起进步。

你可能感兴趣的:(大数据,数据库,大数据,数据中台)