总述

数据的井喷式爆发，如何做好数据模型、数据研发、数据质量和运维保障工作，并且如何提高用户的数据使用满意度，即数据服务和数据产品也是需要我们思考的问题。

如何建设高效的数据模型和体系，使数据易用，避免重复建设和数据不一致性，保证数据的规范性；如何提供高效易用的数据开发工具；如何做好数据质量保障；如何有效管理和控制日益增长的存储和计算消耗；如何保证数据服务的稳定，保证其性能；如何设计有效的数据产品高效赋能于外部客户和内部员工......

1、数据采集层--一套标准的数据采集体系方案

阿里巴巴的日志采集体系方案包括两大体系：Aplus.JS是web端日志采集技术方案；UserTrack是APP端日志采集技术方案。用以满足浏览、点击、特殊交互、APP事件、H5及APP里的H5和Native日志数据打通等多种业务场景。

同事还建立了一套高性能、高可靠性的数据传输体系，完成数据从生产业务端到大数据系统的传输。采用TimeTunnel（TT），既能包括数据库的增量数据传输，也包括日志数据传输；TT作为数据传输服务的基础架构，既支持实时流式计算，也支持各种事件窗口的批量计算。另外，也通过数据同步工具（DataX和同步中心，其中同步中心是基于DataX易用性封装的）直连异构数据库（备库）来抽取各种时间窗口的数据。

2、数据计算层--数据的整合与计算

阿里巴巴的数据计算层包括两大体系：数据存储及计算云平台（离线计算平台MaxCompute和实时计算平台StreamCompute）和数据整合及管理体系（内部称之为“OneData”）。其中MaxCompute是离线大数据平台，其丰富的功能和强大的存储及计算能力使得阿里巴巴的大数据有了强大的存储和计算引擎；StreamCompute是流式大数据平台；OneData是数据整合及管理的方法体系和工具，构建统一、规范、可共享的全域数据体系，避免数据的冗余和重复建设，规避数据烟囱和不一致性，充分发挥海量、多样性等方面的优势。借助统一化数据整合及管理的方法体系，构建了数据公共层。

间里数据仓库的数据加工链路也是遵循业界的分层理念，包括操作数据层（ Operational Data Store, ODS ）、明细数据层（ Data WarehouseDetail , DWD ）、汇总数据层（ Data Warehouse Summary, DWS ）和应用数据层（ Application Data Store, ADS ）。。通过数据仓库不同层次之间的加工过程实现从数据资产向信息资产的转化，并且对整个过程进行有效的元数据管理及数据质量处理。

在阿里大数据系统中，元数据模型整合及应用是一个重要的组成部分，主要包含数据源元数据、数据仓库元数据 、数据链路元数据、工具类元数据 数据质量类元数据等。元数据应用主要面向数据发现、数据管理等 ，如用于存储、计算和成本管理等。

3、数据服务层--提供产品和应用进行数据消费

数据服务可以使应用对底层数据存储透明，将海量数据方便高效地开放给集团内部各应用使用。数据服务层对外提供数据服务主要是通过统一的数据服务平台（方便阅读，简称为“OneService ”）。One Service 以数据仓库整合计算好的数据作为数据源，对外通过接口的方式提供数据服务，主要提供简单数据查询服务、复杂数据查询服务（承接集团用户识别、用户画像等复杂数据查询服务）和实时数据推送服务三大特色数据服务。

4、数据应用层--通过合适的应用提供给用户，让数据最大化地发挥价值。

如搜索、推荐、广告、金融、信用、保险、文娱、物流等。阿里内部的运营和管理人员等，都是数据应用方； ISV研究机构和社会组织等也可以利用阿里开放的数据能力和技术。

我们相信，数据作为新能源，为产业注人的变革是显而易见的。我们对数据新能源的探索也不仅仅停留在狭义的技术、服务和应用上。我们正在挖掘大数据更深层次的价值，为社会经济和民生基础建设等提供创新方法。