大数据之路、阿里巴巴大数据实践读书笔记 --- 第九章、阿里巴巴数据整合及管理体系

  • OneData即是阿里巴巴内部进行数据整合及管理的方法体系和工具。

  • 阿里巴巴大数据工程师在这一体系下,构建统一、规范、可共享的全域数据体系,避免数据的冗余和重复建设,规避数据烟囱和不一致性,充分发挥阿里巴巴在大数据海量、多样性方面独特优势。借助这一统一化数据整合及管理的方法体系,我们构建了阿里巴巴的数据公共层。

 

一、概述

  • 阿里巴巴的大数据建设方法论的核心是:

    • 从业务架构到模型设计;

    • 从数据研发到数据服务;

    • 数据可管理

    • 数据可追溯;

    • 数据避免重复建设;

    • 产品化;

  • 定义及价值

    • 数据公共层建设

      • 建设统一的、规范化的数据接入层(ODS)和数据中间层(DWD和DWS),通过数据服务和数据产品,完成服务于阿里巴巴的大数据系统建设;

      • 标准化(Standard);

      • 共享的(Shared);

      • 数据服务(Service);

      • 降低数据互通成本;

      • 释放计算;

      • 降低存储;

      • 解放人力;

      • 节省资源;

      • 消除业务/技术痛点;

你可能感兴趣的:(数据仓库,大数据挖掘与大数据应用案例,大数据,数据仓库,阿里巴巴,数据建模,数据架构)