了解ODS、DW和DM概念

在和数据架构师聊天的时候,提到了ODS.当时对这个概念并不是很了解,需要深入学习一下

一.ODS、DW和DM概念

了解ODS、DW和DM概念_第1张图片
ODS: 操作性数据;
DW: 数据仓库;
DM: 数据集市;

ODS的数据是"实时值",而数据仓库的数据却是"历史值",一般ODS中储存的数据不超过一个月,而数据仓库为10年或更多.
DSS(decision-support system)决策支持系统:用于支持管理决策的系统。通常,DSS包括以启发的方式对大量的数据单元进行的分析,通常不涉及数据更新。

二.数据仓库和ODS并存方案

1、业务数据 - ODS - 数据仓库

了解ODS、DW和DM概念_第2张图片
优点:ODS的数据与数据仓库的数据高度统一;开发成本低,至少开发一次并应用到ODS即可;可见ODS是发挥承上启下的作用,调研阿里巴巴的数据部门也是这么实现的。

缺点:数据仓库需要的所有数据都需要走ODS,ODS的灵活性必然受到影响,甚至不利于扩展、系统的灵活性差

2、OB - ODS

优点:所有数据都归结到ODS,结构简单。一般的初创数据分析团队都是类似的结构

缺点:长期数据决策分析能力差,软硬件成本高,模块划分不清晰,通用性差

3、数据仓库和ODS并行

了解ODS、DW和DM概念_第3张图片

4.ODS、DW、DM协作层次图

了解ODS、DW和DM概念_第4张图片

5.通过一个简单例子看这几层的协作关系

了解ODS、DW和DM概念_第5张图片

6.ODS到DW的集成示例

了解ODS、DW和DM概念_第6张图片
参考:https://www.cnblogs.com/kuang17/p/7091941.html
参考:https://www.jianshu.com/p/72e395d8cb33

你可能感兴趣的:(个人学习记录,ODS,DW和DM)