数据仓库自动化，可视化建设

• 概述

在数据仓库建设中，特别是在多个开发人员的过程中，经常会遇到以下问题：

                                                       

是不是可以建一个数据仓库平台，把开发流程、规范、标准进行统一管理，基于元数据驱动的自动化、可视化的平台。

• 平台架构 

                                          

主要包括系统管理、业务总线管理、维度模型管理、作业管理、应用管理、元数据管理、数据标准管理等模块。 

系统管理：这个模块主要管理各个系统的信息包括源系统信息、数据仓库系统、作业调度系统、报表系统。通过源系统信息可以自动导入源系统的元数据，为维度建模和检查数据结构变化提供数据。

业务总线管理：每个源系统都有多个业务过程，每个业务过程都会涉及多个维度实体。业务过程和维度实体组成总线结构，统一管理每个源系统的业务总线。

维度模型管理：根据命名规范进行物理模型和映射关系设计，保证命名的统一。可以自动生成建表脚本，自动在数据仓库执行脚本，同时会生成一个词库，方便以后的模型设计。

作业管理：根据查询脚本和程序模板自动生成ETL程序，自动生成作业的依赖关系。

保证程序代码的统一，规范。

应用管理：统一管理报表、接口业务元数据信息。

数据标准管理：统一管理代码命名规范、数据类型映射关系、常用单词库、指标定义、ETL程序模板。

元数据管理：在开发的过程中，会存储各种元数据信息，可以根据这些元数据进行代码规范检查、数据影响分析、数据异常监控。