数据仓库常用名词汇总

数仓为了支撑企业或组织的决策和业务分析,而从各个业务系统中抽取数据集成到一个数据存储中心,这样的数据存储中心称为数据仓库(Data Warehouse),而在搭建数据仓库时,通常会采用一些命名规范,常见的有:ods、dim和dws。

1. ODS:ODS全称是Operational Data Store,即运营数据存储层,是数据仓库中的一层,主要用于存储来自源系统的数据,该层保留着与业务相关的行为数据,通常不对数据进行聚合处理,也不进行数据清洗和格式转换。ODS主要是为数据仓库提供数据源。

2. DIM:DIM全称是Dimension Data,即维度数据层,是数据仓库中的一层,存储着与业务关系较大的元数据(如产品、客户、时间、区域等),其主要用于数据的分类、归纳,使得数据的访问和分析更方便、快捷,并可以记录历史变更信息。

3. DWS:DWS全称是Data Warehouse System,即数据仓库服务层,是数据仓库的主体层,通常存储处理过的数据和结果,是用户直接操作和访问的数据层。在DWS层一般会将ODS和DIM的数据进一步加工、清洗、统计和去重等处理方式,生成目标数据集合并存放。

4. DWM:Data Warehouse Manager,即数据仓库管理层,是数据仓库的管理层,主要用于管理元数据,数据仓库的安全性、稳定性、监控性和维护性等。DWM负责数据仓库的运行状态和管理,它负责元数据的管理和操作,包括统一元数据管理,元数据的标准化和规范化,以及数据质量控制等。

总的来说,ODS、DIM和DWS是数据仓库中不同的层级,各自承担不同的功能。ODS是数据源层,DIM是维度数据层,DWS是数据仓库服务层,三者合作,构成完成的数据仓库体系架构。
DWM层是建立在ODS、DIM、DWS层之上的,它的任务是维护整个数据仓库的元数据信息,比如数据表结构、数据质量、访问权限等,它还可以管理ETL过程,包括数据抽取、转换和加载等,它可以提供数据质量指标,并监控数据的异常情况,对数据仓库的运行状态进行管理和优化,确保数据仓库无故障地稳定运行。

你可能感兴趣的:(大数据,spark,大数据,分布式)