大数据平台层级架构图

数据平台层级架构图

 

主流数据平台架构

一般包含三个层级，ODS层、数据仓库层、数据应用层。

业务系统的操作和日志数据抽取到ODS层，ODS的数据经过ETL过程（抽取Extraction，转化Transformation，加载Loading）进入数据仓库，数据仓库反哺业务，为业务的分析和决策提供支持：反应业务现状，预测业务未来发展趋势，为业务的优化拓展赋能智慧。

 

ODS层

设计方案

直接从业务系统和用户日志中抽取，可与业务系统、日志系统中的数据结构和关系保持一致。

作用

直接在业务系统和日志系统进行查询是会影响业务体统的正常运转，ODS的存在将查询操作和业务系统隔离开来，使分析师和决策者的查询更高效，隔离查询对业务系统运转的影响。

 

数据仓库

设计方案

推荐设计流程：业务建模-领域建模-逻辑建模-物理建模

业务建模-领域建模-逻辑建模-物理建模，的建模流程。
业务建模：深入业务现场，进行业务主线的划分，业务流程的整合。
领域建模：即是实体抽象的过程，抽象出各个业务主线涉及到的领域概念和实体。
逻辑建模：找出各个实体之间的关系，此时推荐3NF 建模方法，ER图很有帮助。
物理建模：ER图落地到具体的数据库。

作用

反应企业当前的经营状况、可进行多维度系统分析、数据挖掘的基础，为商业决策提供支持。

 

数据应用层

涉及方案

数据的应用来自于实际的业务需要，不要为了赶时髦急于上各种高大上的项目。
以上的架构方案最终都是应为有数据应用的需求才去实施。
不要等到ODS、DW“建好了”，再去想怎么用。首先要有Why。
没有目的和规划的建设是无意义的浪费。

作用

实践的好，也许能成为三体里的星环公司。