数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级

引言

数睿通 2.0 数据中台迎来了11月份的更新,感谢大家的支持,本次更新主要包括以下内容:

  • 数据库支持 MongoDB
  • 数据接入支持 MongoDB,支持自定义 SQL 采集,支持停止运行中的任务
  • 数据生产支持 FlinkJar 任务,分为 Standalone 和 Yarn Application 模式
  • 数据生产支持 Flink1.16(需要 maven profiles 选择 flink-1.16 打包,后面会做成多版本动态支持)
  • 接入集群监控微服务,监控各服务状态
  • 支持根据部门划分数据权限
  • bug 修复,细节优化

支持 MongoDB

新版数睿通的数据接入和数据生产模块添加了 MongoDB 的支持,数据接入可以选择 MongoDB 作为源端或者目的端进行数据同步操作。数据生产可以创建 MongoDB 类型的作业任务。现在的数据生产模块已经可以支持 Flink1.16(选择 flink-1.16 打包) , 目前 Flink1.16 官方已经支持 MongoDB 的连接器,所以在平台可以建立 MongoDB 类型的 FlinkSql 任务,提交到 Flink 集群或者 Yarn 上面执行,但具体效果还需要进一步测试,后续版本平台在建立数据生产任务的时候,将可以动态选择 Flink 版本执行相应的任务。部分运行效果如下图所示。
数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级_第1张图片
数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级_第2张图片
数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级_第3张图片

支持 FlinkJar 任务

之前版本的数据生产支持 Sql 和 FlinkSql 两种任务类型,通过这两种方式可以完成大部分的实时和离线开发需求,但如果遇到复杂的业务,仅靠这两种方式显得有些力不从心,所以新版支持了 FlinkJar 类型的任务,通过数据开发人员编写任务代码,打成 Jar 包提交到平台,应对复杂的数据开发需求,当前支持提交任务到 Flink 集群或 Yarn 集群。部分运行效果如下图所示。
数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级_第4张图片
数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级_第5张图片
数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级_第6张图片

支持自定义 Sql 采集,支持停止运行中的任务

新版的数据接入模块添加了 Sql 采集任务的支持,源端可以通过书写 Sql 语句采集数据,相比之前数据表的接入方式更加灵活,通常用于多表 Join 等复杂业务的数据采集。部分运行效果如下图所示。
数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级_第7张图片
数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级_第8张图片
之前版本如果手动执行了数据接入任务,便无法停止,只能通过重启调度服务解决,如果任务耗时较长,则会对资源造成浪费,新版本添加了终止运行中任务的支持,可以随时终止正在运行的任务。

数据生产支持 Flink1.16

因为新版支持了 MongoDB 数据库,但 Flink 官方从 1.16 版本才开始支持 MongoDB,所以添加了 Flink1.16 的支持,以便能够使用 MongoDB 的连接器,打包数据生产模块的时候需要选择 Flink-1.16 进行打包,由于时间有限,我只测试了 Local 模式下读取 MogoDB 的 FlinkSql 任务,稳定性尚需进一步验证,下个版本平台将会在任务执行的时候支持动态选择 Flink 版本,现在只能单版本,大家可以等到下个版本发布的时候再使用测试。

接入集群监控微服务

新版本集成了 SpringBootAdmin,单独作为一个集群监控服务,用于监控每个服务的状态,查看服务的内存利用情况,日志等,帮助用户更加直观的查看每个服务的健康状况,保证每个微服务稳定运行。效果如下图所示(只启动了部分服务)。
数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级_第9张图片
数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级_第10张图片

数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级_第11张图片

支持部门级别的数据权限

新版本除了通过多项目租户进行数据隔离,还可以通过租户下的部门来控制数据查看权限,后台基本对每张业务表都添加了部门 id 字段,控制数据的查看范围,数据权限的具体设置方式如下所示。
数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级_第12张图片
数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级_第13张图片

结语

本次中台的新功能介绍就到此结束了,更新的功能较多,平台也因此变得更加稳定,强大,这离不开大家的反馈和支持!

后续数睿通 2.0 会推出数据标签,多版本 Flink 支持等功能,敬请期待!

目前源码,部署指南,讲解视频等相关资料是付费加入知识星球获取的,价格相比其他同系列的产品连个零头都不到,还是很良心的,星球内可以获取到数睿通 2.0 的最新源码资料等,功能发布之后也会第一时间分享。

感兴趣的朋友请关注公众号 螺旋编程极客 加入星球,我们一起成长,一起进步。

你可能感兴趣的:(数据中台,大数据,数据库,数据仓库)