大数据之路、阿里巴巴大数据实践读书笔记 --- 第九章、阿里巴巴数据整合及管理体系

• OneData即是阿里巴巴内部进行数据整合及管理的方法体系和工具。

• 阿里巴巴大数据工程师在这一体系下，构建统一、规范、可共享的全域数据体系，避免数据的冗余和重复建设，规避数据烟囱和不一致性，充分发挥阿里巴巴在大数据海量、多样性方面独特优势。借助这一统一化数据整合及管理的方法体系，我们构建了阿里巴巴的数据公共层。

 

一、概述

• 阿里巴巴的大数据建设方法论的核心是：

• • 从业务架构到模型设计；

  • 从数据研发到数据服务；

  • 数据可管理

  • 数据可追溯；

  • 数据避免重复建设；

  • 产品化；

• 定义及价值

• • 数据公共层建设

  • • 建设统一的、规范化的数据接入层（ODS）和数据中间层（DWD和DWS），通过数据服务和数据产品，完成服务于阿里巴巴的大数据系统建设；

    • 标准化（Standard）；

    • 共享的（Shared）；

    • 数据服务（Service）；

    • 降低数据互通成本；

    • 释放计算；

    • 降低存储；

    • 解放人力；

    • 节省资源；

    • 消除业务/技术痛点；