大数据电商数据仓库系统搭建 附离线安装包

一、数仓理论

1、数据仓库概念

数据仓库(Data Warehouse),是为企业所有决策制定过程,提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析,可以帮助企业,改进业务流程、控制成本、提高产品质量等。

数据仓库,并不是数据的最终目的地,而是为数据最终的目的地做好准备。这些准备包括对数据的:清洗,转义,分类,重组,合并,拆分,统计等等。

大数据电商数据仓库系统搭建 附离线安装包_第1张图片

2、数仓分层概念

1. 数据仓库分层

大数据电商数据仓库系统搭建 附离线安装包_第2张图片

ODS层:原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理。

大数据电商数据仓库系统搭建 附离线安装包_第3张图片

DWD层:结构和粒度与原始表保持一致,对ODS层数据进行清洗(去除空值,脏数据,超过极限范围的数据),也有的叫DWT。

你可能感兴趣的:(Hadoop,Hive,Spark,大数据安全,大数据,数据仓库,hadoop)