数据仓库自动化,可视化建设

概述
在数据仓库建设中,特别是在多个开发人员的过程中,经常会遇到以下问题:

是不是可以建一个数据仓库平台,把开发流程、规范、标准进行统一管理,基于元数据驱动的自动化、可视化的平台。

平台架构 


主要包括系统管理、业务总线管理、维度模型管理、作业管理、应用管理、元数据管理、数据标准管理等模块。 

系统管理:这个模块主要管理各个系统的信息包括源系统信息、数据仓库系统、作业调度系统、报表系统。通过源系统信息可以自动导入源系统的元数据,为维度建模和检查数据结构变化提供数据。

业务总线管理:每个源系统都有多个业务过程,每个业务过程都会涉及多个维度实体。业务过程和维度实体组成总线结构,统一管理每个源系统的业务总线。

维度模型管理:根据命名规范进行物理模型和映射关系设计,保证命名的统一。可以自动生成建表脚本,自动在数据仓库执行脚本,同时会生成一个词库,方便以后的模型设计。

作业管理:根据查询脚本和程序模板自动生成ETL程序,自动生成作业的依赖关系。

保证程序代码的统一,规范。

应用管理:统一管理报表、接口业务元数据信息。

数据标准管理:统一管理代码命名规范、数据类型映射关系、常用单词库、指标定义、ETL程序模板。

元数据管理:在开发的过程中,会存储各种元数据信息,可以根据这些元数据进行代码规范检查、数据影响分析、数据异常监控。
--------------------- 
作者:mark_wu2000 
来源:CSDN 
原文:https://blog.csdn.net/mark_wu2000/article/details/90413019 
版权声明:本文为博主原创文章,转载请附上博文链接!

你可能感兴趣的:(数据仓库ETL)