麻烦给我来一杯mojito,我喜欢数仓上头的感受~
原始数据层,存放原始数据,直接加载原始日志,数据。数据保存原貌不做处理,起到备份数据的作用。
数据采用压缩,减少磁盘存储空间(例如:原始数据100G,可以压缩到10G左右,LZO)
创建分区表,防止后续的全表扫描。
对ODS层数据进行清洗(去除空值,脏数据,超过极限范围的数据),维度退化,脱敏等。
需构建维度模型,一般采用星型模型,呈现的状态一般为星座模型。
以DWD为基础,按天进行轻度汇总。
统计各个主题对象的当天行为,服务于DWT层的主题宽表,以及一些业务明细数据,应对特殊需求(例如,购买行为,统计商品复购率)。
以DWS为基础,按主题进行汇总。
以分析的主题对象为建模驱动,基于上层的应用和产品的指标需求,构建主题对象的全量宽表。
为各种统计报表提供数据。
将复杂的任务分解成多层来完成,每一层只处理简单的任务,方便定位问题。
规范数据分层,通过中间层数据,能够减少极大的重复计算,增加一次计算结果的复用性。
不论是数据的异常还是数据的敏感性,使真实数据和统计数据解耦开。
当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing),联机分析处理OLAP(on-line analytical processing)。
二者的主要区别对比:
对比属性 | OLTP | OLAP |
---|---|---|
读特性 | 每次查询只返回少量记录 | 对大量记录进行汇总 |
写特性 | 随机,低延时写入用户的输入 | 批量导入 |
使用场景 | 用户,JavaEE项目 | 内部分析师,为决策提供支持 |
数据表征 | 最新数据状态 | 随时间变化的历史状态 |
数据规模 | GB | TB 到 PB |
从图中可以看出,较为松散,零碎。物理表数量多,而数据冗余程度低。
由于数据分布于众多的表中,这些数据可以更为灵活的被应用,功能性较强。
关系模型主要应用于OLTP系统中,为了保证数据的一致性以及避免冗余,所以大部分业务系统的表都是遵循第三范式的。
主要面向业务,特征是可能存在数据的冗余,但是能方便的得到数据。
关系模型虽然冗余少,但是在大规模数据,跨表分析统计查询过程中,会造成多表关联,这会大大降低执行效率。
所以通常我们采用维度模型建模,把相关各种表整理成两种:事实表和维度表两种。
雪花模型,比较靠近3NF,但是无法完全遵守,因为遵循3NF的性能成本太高。
区别主要在于维度的层次。标准的星型模型维度只有一层,而雪花模型可能会涉及多层。
基本上是很多数据仓库的常态,因为很多数据仓库都是多个事实表的。所以星座不星座只反映是否有多个事实表,他们之间是否共享一些维度表。
所以星座模型并不和前两个模型冲突。
实际企业开发中,根据情况灵活组合,甚至并存(一层维度和多层维度都保存)。
但是整体来看,更倾向于维度更少的星座模型。尤其是Hadoop体系,减少join就是减少Shuffle,性能差距很大。
一般是对事实的描述信息。每一张维表对应业务中一个对象或者概念。
例如:用户,商品,日期,地区等。
日期ID | day of week | day of year | 季度 | 节假日 |
---|---|---|---|---|
2020-01-01 | 2 | 1 | 1 | 元旦 |
2020-01-02 | 3 | 2 | 1 | 无 |
事实表中每行数据代表一个业务事件(下单,支付,退款,评价等)。
“事实”这个术语表示的是业务事件的度量值(可统计次数,个数,金额等),例如,订单事件中的下单金额。
每一个事实表的行包括:具有可加性的数值型的度量值,与维表相连接的外键。通常具有两个和两个以上的外键。
以每个事务或事件为单位, 例如:一个销售订单记录,一笔支付记录等,作为事实表里的一行数据。
一旦事务被提交,事实表数据被插入,数据就不再进行更改。
其更新方式为增量。
周期型快照事实表中不会保留所有数据,只保留固定时间间隔的数据。
不关心具体的业务操作,只关心结果。
例如,每天或者每月的销售额,或每月的账户余额等。
其更新方式为全量。
累积快照事实表用于跟踪业务事实的变化。
例如,数据仓库中可能需要累积或者存储订单从下订单开始,到订单商品被打包,运输,签收的各个业务阶段的时间点数据来跟踪订单生命周期的进展情况。
当这个业务过程进行时,事实表的记录也要不断更新。
其更新方式为新增及变化。
订单id | 用户id | 下单时间 | 打包时间 | 发货时间 | 签收时间 | 订单金额 |
---|---|---|---|---|---|---|
3-8 | 3-8 | 3-9 | 3-10 |
维度建模一般按照以下四个步骤:
选择业务过程 -> 声明粒度 -> 确认维度 -> 确认事实
在业务系统中,挑选我们感兴趣的业务线,比如下单业务,支付业务,退款业务,物理业务。
一条业务线对应一张事实表。
数据粒度:指数据仓库的数据中保存数据的细化程度或综合程度的级别。
声明粒度:意味着精确定义事实表的一行数据表示什么,应该尽可能选择最小粒度,以此来应对各种各样的需求。
典型的粒度声明:
维度的主要作用是描述业务是事实,主要表示的是“谁,何处,何时”等信息。
方法:退化维度主题,罗列出所有维度(主题),然后确认哪些业务与哪些维度(主题)有关。
此处的“事实”一词,指的是业务中的度量值,例如订单金额,下单次数等。
统计各个主题对象的当天行为,服务于DWT层的主题宽表,以及一些业务明细数据,应对特殊需求(例如,购买行为,统计商品复购率)。
以分析的主题对象为建模驱动,基于上层的应用和产品的指标需求,构建主题对象的全量宽表。
对电商系统各大主题指标分别进行分析。
数仓中的数据有一个时间轴的概念,体现在数据上就是以年-月-日进行数据同步和分区。保存历史状态。
我们可以以时间为维度,分析各种指标在时间上的延续性。
这里的数据同步指的是数据从业务服务器传到数仓
每日全量:就是每天存储一份完整数据,作为一个分区
适用:表数据量不大,且每天既会有新数据插入,也会有旧数据修改的场景
例如:
这两张事实表数据量也不小,用全量同步策略是因为业务需求。数仓用来做周期性快照事实表。
Sqoop:
where 1=1
每日增量:就是每天存储一份增量数据,作为一个分区。
适用:表数据量大,且每天只会有新数据插入的场景。
例如:
Sqoop:
where date_format(create_time,'%Y-%m-%d')='$do_date'
每日新增及变化:就是存储创建时间和操作时间都是今天的数据。
适用:表的数据量大,既会有新增,又会有变化。
例如:
Sqoop:
where (date_format(create_time,'%Y-%m-%d')='$do_date'
or date_format(operate_time,'%Y-%m-%d')='$do_date'
某些特殊的维度表,可不必遵循上述同步策略。
1)客观世界维度
没变化的客观世界维度可以只存一份固定值。比如 性别,地区,名族,政治成分,鞋子尺码。
2)日期维度
日期维度可以一次性导入一年或若干年的数据。
3)地区维度
省份表,地区表
Sqoop:
where 1=1