离线数仓03-数仓分层业务逻辑

1 数仓分层

离线数仓03-数仓分层业务逻辑_第1张图片

1.1 为什么要分层?

(1)把复杂的问题简单化

  • 把复杂的任务分解为多层完成,方便定位问题~

  • 少写了很多复杂的sql

(2)减少重复开发

  • 规范数据分层,通过中间数据,可以减少极大的重复计算,增加复用性

    中间结果保存出来,以后拿数据就能从中间获取,不用从最开始的数据拿

(3)隔离原始数据

  • 将真实数据和要使用的统计数据解耦开;

  • 权限管理:控制哪些人可以访问哪些表。

--数据怎么到ODS层?
1. load
2. flume ->

你可能感兴趣的:(大数据项目实战,大数据,数据仓库)