大数据之路——阿里巴巴大数据实践(小白笔记)

第一章 总述

1.阿里巴巴大数据系统体系架构分为三大部分数据采集层、数据计算层、数据服务层

2.数据采集层

    日志采集系统:Aplus.JS是 web端日志采集技术方案;UserTrack是APP端日志采集方案

     数据传输:TimeTunnel(TT)体系进行数据传输,既包括数据库的增量数据传输,也包括日志数据的传输,既支持实时流式计算,也支持时间窗口的批量计算

      数据同步工具(DataX和同步中心(基于Datax易用性封装的))直连异构数据库来抽取各时间窗口数据

3.数据计算层

    数据存储及计算云平台(离线计算平台MaxCompute和实时计算平台StreamCompute)和数据整合及管理体系(oneData)

4.数据服务层

数据服务平台(oneService)

5.数据应用层

搜索,推荐,广告,金融。。。。。。

对内:实时数据监控、自助式的数据网站、宏观决策分析支撑平台、对象分析工具、行业数据分析门户、流量分析平台。。。

你可能感兴趣的:(大数据)