大数据之数据仓库分层

1. 什么是数据分层？

数据分层是一套行之有效的数据组织和管理方法，使得数据体系更有序。

2. 数据分层的好处

（1）清晰数据结构
每一个数据分层都有它的作用域和职责，在使用表的时候能更方便的定位和理解。
（2）减少重复开发
规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。
（3）统一数据口径
通过数据分层，提供统一的数据出口，统一对外输出的数据口径。
（4）复杂问题简单化
将一个复杂的任务分解成多个步骤完成，每一层解决特定的问题。

一种通用的数据分层设计

ODS：存放原始数据
DW：存放数仓中间层数据
APP：面向业务定制的应用数据

3. 举例

以下是一个电商网站的数据体系设计，只关注用户访问日志这部分数据。

4. 各层会用到的计算引擎和存储系统

5. 大数据相关基础概念

数据源：业务系统、埋点、爬虫
PG：PostgreSQL,一种关系型数据库
Sqoop：是一个在结构化数据(mysql/oracle)和Hadoop(Hive)之间进行批量数据迁移的工具
Flume：是一个分布式、可靠、高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据；提供对数据进行简单处理，并写到各种数据接受方（HDFS\Hbase）的能力。
Kafka：是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统。
Flink：一个流式的数据流执行引擎。针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。
Kylin：是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力一直吃超大规模数据。能在亚秒内查询巨大的Hive表。
ES：elasticsSearch,是一个高扩展、开源的全文检索和分析引擎，可准实时地快速存储、搜索、分析海量的数据。
Hadoop：是一个分布式系统基础架构，可使用户在不了解分布式底层细节的情况下开发分布式程序，充分利用集群的威力进行高速运算和存储。两大核心：HDFS\MapReduce
HDFS：是可扩展、容错、高性能的分布式文件系统，异步复制，一次写入多次读取，主要负责存储。
MapReduce：分布式计算框架。
Spark：是一个专为大规模数据处理而设计的快速通用的计算引擎。

参考博文