数据仓库的实现与使用

一、创建数据仓库

通过编写DDL(数据定义语言)语句来实现。
建模：使用专门的建模软件进行ER建模、关系建模、维度建模
实现：Hive/Spark SQL

二、ETL

实质：从各个数据源提取数据，对数据进行转换，并最终加载填充数据到数据仓库维度建模后的表中。

1. 抽取（Extract）

根据数仓主题、主题域确定需要从应用数据库中提取的数据。

2. 转换（Transform）

对提取好的数据的结构进行转换，以满足目标数仓模型的过程。转换过程也负责数据质量工作，也称为数据清洗。

3. 加载（Load）

将已经提取好、转换后保证了数据质量的数据加载到目标数仓。

• 首次加载：大量数据
• 刷新加载：微批量式加载

三、OLAP/BI工具

参考博文

四、数据立方体（Data Cube）

数据分析的对象就是这个逻辑概念上的数据立方体。
OLAP工具使用者工作流程：先配置好维表、事实表；然后每次在查询的时候告诉OLAP需要展示的维度、事实字段和操作类型即可。

cube常见五大操作*：

1. 切片和切块（Slice Dice）

切片：在数据立方体的某一维度上选定一个维成员的操作叫切片
切块：对两个或多个维执行选择则叫做切块。
主要是对WHERE语句做更改

2. 旋转（Pivot）

旋转：就是指改变报表或页面的展示方向。
改变SELECT后面字段的顺序

3. 上卷和下钻（Rol-up and Drill-down）

上卷：可理解无视为“”某些维度
下钻：将某些维度进行细分
参考博文