大数据入门（一）—— 数据仓库（数仓）基本概念

前言：

最近做需求的时候，涉及到了数仓相关的知识。
简单介绍下数仓的一些基本概念。
以及，了解下大数据开发的一些基本流程。

一、什么是数仓？

数据仓库 ，由数据仓库之父比尔·恩门（Bill Inmon）于1990年提出的。
1991年，他写了一本书，叫《Building the Data Warehouse》（建立数据仓库），书中提出的：数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、不可修改的（Non-Volatile）、与时间相关的（Time Variant）的数据集合，专门用于支持管理决策(Decision Making Support)。

简单来说，有了大数据的支撑，会让我们更加容易的做出正确的产品决策。
因此，对于一个产品的长期发展来说，需要基于大数据的分析，甚至A/B实验（用户行为、业务数据等等），来判断产品需求的效果以及业务痛点。

1.1 简介

数据仓库（Data warehouse，简称DW或DWH），是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。（来源：百度百科）

1.2 数仓特点

面向主题

• 数据仓库中的数据是按照一定的主题域进行组织的。
• 主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通过与多个操作型信息系统相关。

集成的：

• 需要对源数据进行加工与融合，统一与综合
• 在加工的过程中必须消除源数据的不一致性，以保证数据仓库内的信息时关于整个企业的一致的全局信息。（关联关系）

不可修改的：

• DW中的数据并不是最新的，而是来源于其他数据源
• 数据仓库主要是为决策分析提供数据，涉及的操作主要是数据的查询

时间相关的：

• 处于决策的需要数据仓库中的数据都需要标明时间属性

1.3 数仓与数据库的对比？

• 数据库：一般用于在线处理业务、存储数据。
• DW：专门为数据分析设计的，涉及读取大量数据以了解数据之间的关系和趋势。（往往是离线的，类似定时任务）

特性	数据仓库	数据库
职责	大数据分析	业务事务处理
数据源	从多个来源收集或标准化数据	往往从单个来源（某个事务系统）产生数据
数据标准化	非标准化schema，例如星型Schema或雪花型schema	高度标准化的静态schema
数据存储	使用 “列存储” 进行了优化，可实现轻松访问和高速查询列性能	往往采用 “行存储”，对在单行型物理块中执行高吞吐量写入操作进行了优化。
数据访问	为最小化I/O并最大化数据吞吐量进行了优化	大量小型读取操作

二、数据分层处理

每个企业/业务，可以根据自己的场景将数据分层加工处理。
正常情况下，一般会分为三层：

• 数据运营层（ODS）
• 数据仓库层（DW）
• 数据应用层（ADS）

我们的业务数据会经过 ODS -> DW -> ADS，最终加工成我们所要分析的大数据。
接下来，我们分别介绍一下每一层具体的作用。

2.1 数据运营层（ODS）

ODS：Operation Data Store 数据准备区，也称为贴源层。
数据仓库源头系统的数据表通常会原封不动的存储一份，这称为ODS层，是后续数据仓库加工数据的来源。

ODS层数据的来源方式：

1. 业务数据库
   经常会使用sqoop来抽取，例如每天定时抽取一次。
   实时方面，可以考虑监听mysql的binlog，实时接入即可。

2. 消息队列
   即来自Kafka、RocketMQ、ActiveMQ 等等的数据。

3. 埋点日志
   日志一般以文件的形式保存，可以选择用flume定时同步
   可以用spark streaming或者Flink来实时接入，kafka也OK

2.2 数据仓库层（DW）

DW 层一般又分为三小层，分别是 DWD、DWB、DWS。

DWD（数据细节层）

DWD：data warehouse details 细节数据层，是业务层与数据仓库的隔离层。
主要对ODS数据层做一些数据清洗和规范化的操作。

在这层往往会去除空值、业务脏数据、超过极限范围的数据

DWB（数据基础层）

DWB：data warehouse base 数据基础层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。

DWS（数据服务层）

DWS：data warehouse service 数据服务层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据层，一般是宽表。用于提供后续的业务查询，OLAP分析，数据分发等。
用户行为，轻度聚合
主要对ODS/DWD层数据做一些轻度的汇总。

2.3 数据应用层（ADS）

ADS：applicationData Service应用数据服务，该层主要是提供数据产品和数据分析使用的数据，一般会存储在ES、mysql等系统中供线上系统使用。
我们通过说的报表数据，或者说那种大宽表，一般就放在这里

参考与致谢：
《企业数据仓库技术架构》
《数据仓库分层中的ODS、DWD、DWS》
《Apache Flink 简介》