【理论】数据仓库与数据分析

本篇文章记录《数据仓库与数据分析》课程相关的知识点，属于大数据领域的理论基础

1 什么是数据仓库以及数据仓库的特点（core）

特征一：数据仓库的数据是面向主题
特征二：数据仓库的数据是集成的
特征三：数据仓库的数据是不可更新的
特征四：数据仓库的随时间不断变化的

扩展理解：根据特征引申“数据仓库定义”：数据仓库就是一个用以更好地支持企业或组织的决策分析处理的、面向主题的、集成的、不可更新的、随时间不断变化的数据集合。
扩展理解：已有数据记录不可更新；整体数据仓库内数据跟随时间变化不断增加新的数据，并且去除某一时间点之前的数据。只有读取，删除，插入操作，没有修改操作。
支持理解：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。
OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果.

2 理解数据仓库的数据是不可更新的，同时是随时间不断变化的？
数据仓库中的数据主要供企业决策分析之用，一般情况下不允许再修改，所以他是不可更新的。
数据仓库会随时间变化不断增加新的数据或将不需要的数据从数据仓库中卸出（删除），所以数据仓库的数据是随时间不断变化的。
3 主题域具有两个特点：独立性，完备性

4 数据集市与数据仓库的区别

数据集市是部门级的数据仓库，是为特定部门的“主题域”而组织起来的一批数据和业务规则；数据仓库是整个企业的数据，是全局的。从数据量上讲，数据仓库是海量的，数据集市的数据量则比数据仓库要少得多。

5 ODS(操作数据存储)定义
ODS主要是适应进行企业级的全局应用的需求而产生的。这种全局应用还可以大致地划分为两类：一类是进行企业级的联机事务处理，另一类可以称之为“即时OLAP”数据处理。
ODS的主要用户是企业中层管理
DW的主要用户是企业的高层管理

DW.png

6. 数据粒度 （core）
   数据粒度分为两种形式：
   1）第一种粒度是对数据仓库中数据的综合程度高低的一个度量。
   粒度越小，细节程度越高，综合程度越低，回答查询的种类就越多；粒度大小影响数据仓库效率、能回答询问的种类；数据仓库是多粒度的，不同的粒度回答不同的查询。
   2）另一种特殊形式的粒度是样本数据库
   根据采样率的高低来划分粒度：以一定的采样率从细节数据或轻度综合数据中抽取的一个子集。用处：代替源数据进行模拟分析。

7 从操作型数据库到数据仓库的过过程中，要进行的步骤有数据抽取，清洗，转换，加载
8 数据仓库三类聚集函数（core）
数据立方体度量（measure）是一个数值函数，该函数可以对数据立方体空间的每个点求值
8.1） 分布式
8.2）代数型
8.3）全局性