MaxCompute数据仓库在更新插入、直接加载、全量历史表三大算法中的数据转换实践

2018“MaxCompute开发者交流”钉钉群直播分享，由阿里云数据技术专家彬甫带来以“MaxCompute数据仓库数据转换实践”为题的演讲。本文首先介绍了MaxCompute的数据架构和流程，其次介绍了ETL算法中的三大算法，即更新插入算法、直接加载算法、全量历史表算法，再次介绍了在OLTP系统中怎样处理NULL值，最后对ETL相关知识进行了详细地介绍。
数十款阿里云产品限时折扣中，赶快点击这里，领券开始云上实践吧!
直播视频回顾
PPT下载请点击
以下内容根据现场分享整理而成。

数据架构及流程

 

MaxCompute包含临时层、基础数据层、应用层三个层次，数据上云后将数据源中的数据先传输到MaxCompute里的临时层中，并将数据进行处理，接着将数据经过简单的转换传输到基础数据层，最后将数据进一步汇总到应用层进而提供服务。三个层次的具体介绍如下：

• 临时层：临时层包含增量数据和全量数据。
• 基础数据层：基础数据层的优点是可以永久性的保存数据，它包含核心模型和通用汇总，其中核心模型又包含客户、商品、事件、渠道、代码等数据。基础数据层使用数据仓库的实体、属性命名规范来创建模型表，基础数据层表可分为主表、历史表和追加表，且具有保存历史数据、高效地使用、方便的设计原则。
• 应用层：应用层包含数据集市，即包含客户分析、销售分析、商品库存分析。它不像基础数据层那样可以永久性的保存数据，而是仅保存需要的数据，但它像基础数据层那样适应于使用数据仓库的实体、属性命名规范来创建模型表的原则。

ETL算法

ETL加载转换策略有M1全表覆盖、M2更新插入、M3直接加载、M4全量历史拉链、M5增量历史拉链五种策略，在ETL算法中主要介绍M2更新插入（主表）算法、M3直接加载算法、M4全量历史表算法三种算法。

原文链接