大数据入门(一)—— 数据仓库(数仓)基本概念

前言:

最近做需求的时候,涉及到了数仓相关的知识。
简单介绍下数仓的一些基本概念。
以及,了解下大数据开发的一些基本流程。

一、什么是数仓?

数据仓库 ,由数据仓库之父比尔·恩门(Bill Inmon)于1990年提出的。
1991年,他写了一本书,叫《Building the Data Warehouse》(建立数据仓库),书中提出的:数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、不可修改的(Non-Volatile)、与时间相关的(Time Variant)的数据集合,专门用于支持管理决策(Decision Making Support)。

简单来说,有了大数据的支撑,会让我们更加容易的做出正确的产品决策。
因此,对于一个产品的长期发展来说,需要基于大数据的分析,甚至A/B实验(用户行为、业务数据等等),来判断产品需求的效果以及业务痛点。

1.1 简介

数据仓库(Data warehouse,简称DWDWH),是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。(来源:百度百科)

1.2 数仓特点

面向主题

  • 数据仓库中的数据是按照一定的主题域进行组织的。
  • 主题是指用户使用数据仓库进行决策时所关心的重点方面,一个主题通过与多个操作型信息系统相关。

集成的:

  • 需要对源数据进行加工与融合,统一与综合
  • 在加工的过程中必须消除源数据的不一致性,以保证数据仓库内的信息时关于整个企业的一致的全局信息。(关联关系)

不可修改的:

  • DW中的数据并不是最新的,而是来源于其他数据源
  • 数据仓库主要是为决策分析提供数据,涉及的操作主要是数据的查询

时间相关的:

  • 处于决策的需要数据仓库中的数据都需要标明时间属性

1.3 数仓与数据库的对比?

  • 数据库:一般用于在线处理业务、存储数据。
  • DW:专门为数据分析设计的,涉及读取大量数据以了解数据之间的关系和趋势。(往往是离线的,类似定时任务)
特性 数据仓库 数据库
职责 大数据分析 业务事务处理
数据源 从多个来源收集或标准化数据 往往从单个来源(某个事务系统)产生数据
数据标准化 非标准化schema,例如星型Schema或雪花型schema 高度标准化的静态schema
数据存储 使用 “列存储” 进行了优化,可实现轻松访问和高速查询列性能 往往采用 “行存储”,对在单行型物理块中执行高吞吐量写入操作进行了优化。
数据访问 为最小化I/O并最大化数据吞吐量进行了优化 大量小型读取操作

二、数据分层处理

每个企业/业务,可以根据自己的场景将数据分层加工处理。
正常情况下,一般会分为三层:

  • 数据运营层(ODS
  • 数据仓库层(DW
  • 数据应用层(ADS

我们的业务数据会经过 ODS -> DW -> ADS,最终加工成我们所要分析的大数据。
接下来,我们分别介绍一下每一层具体的作用。

2.1 数据运营层(ODS)

ODS:Operation Data Store 数据准备区,也称为贴源层。
数据仓库源头系统的数据表通常会原封不动的存储一份,这称为ODS层,是后续数据仓库加工数据的来源。

ODS层数据的来源方式:

  1. 业务数据库
    经常会使用sqoop来抽取,例如每天定时抽取一次。
    实时方面,可以考虑监听mysql的binlog,实时接入即可。

  2. 消息队列
    即来自Kafka、RocketMQ、ActiveMQ 等等的数据。

  3. 埋点日志
    日志一般以文件的形式保存,可以选择用flume定时同步
    可以用spark streaming或者Flink来实时接入,kafka也OK

2.2 数据仓库层(DW)

DW 层一般又分为三小层,分别是 DWDDWBDWS

DWD(数据细节层)

DWD:data warehouse details 细节数据层,是业务层与数据仓库的隔离层。
主要对ODS数据层做一些数据清洗和规范化的操作。

在这层往往会去除空值、业务脏数据、超过极限范围的数据

DWB(数据基础层)

DWB:data warehouse base 数据基础层,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。

DWS(数据服务层)

DWS:data warehouse service 数据服务层,基于DWB上的基础数据,整合汇总成分析某一个主题域的服务数据层,一般是宽表。用于提供后续的业务查询,OLAP分析,数据分发等。
用户行为,轻度聚合
主要对ODS/DWD层数据做一些轻度的汇总。

2.3 数据应用层(ADS)

ADS:applicationData Service应用数据服务,该层主要是提供数据产品和数据分析使用的数据,一般会存储在ES、mysql等系统中供线上系统使用。
我们通过说的报表数据,或者说那种大宽表,一般就放在这里

参考与致谢:
《企业数据仓库技术架构》
《数据仓库分层中的ODS、DWD、DWS》
《Apache Flink 简介》

你可能感兴趣的:(大数据入门(一)—— 数据仓库(数仓)基本概念)