阿里大佬十年终成大数据技术体系详解：原理、架构与实践

这是一部系统、深度讲解大数据技术栈的著作，从数据收集、数据存储、资源管理与服务协调、计算引擎、数据分析5个层次讲解了整个大数据技术体系中所有核心技术的原理、架构与实践。不仅能让读者从宏观上全面认识整个大数据系统，而且能让读者从微观上深入理解各种大数据技术的细节。

相比于现有的大数据基础书籍，本篇具有三大特色:

①系统性:深度剖析大数据技术体系的六层架构;

②技术性:详尽介绍Hadoop和Spark等主流大数据技术;

③实用性:理论与实践相结合，探讨常见的大数据问题。

本篇尝试以“数据生命周期”为线索，按照分层结构逐步介绍大数据技术体系，涉及数据收集、数据存储、资源管理和服务协调、计算引擎及数据分析五层技术架构，由点及面,最终通过综合案例将这些技术串接在一起。

本篇将以数据在大数据系统中的生命周期为线索，一共16章，分为6个部分:

第一部分(第1章):概述主要介绍企业级大数据技术框架、技术实现方案和架构，包括Google的 大数据技术栈和以Hadoop和Spark为代表的开源技术栈。

第二部分(第2-4章) :数据收集讲解大数据收集相关技术，主要涉及关系型数据收集工具Sqoop与Canel，非关系型数据收集系统Flume以及分布式消息队列Kafka。

第三部分(第5-7章):数据存储讲解大数据存储相关技术，涉及数据存储格式、分布式文件系统以及分布式数据库三部分，包括Thrif. Protobuf、Avro, HDFS和HBase等。

第四部分( 1第1-9章) :分布式协调与资源管理讲解资源管理和服务协调相关技术，涉及资源管理和调度系统Y ARN以及资源协调系统Zookeeper。

第五部分1 第10-1:3章): i计算引|擎讲解计算引擎相关技术，涉及批处理、交互式处理以及流式实时处理三类引擎，包括MapReduce .Spark、Impala/Presto. Storm等常用技术。

第六部分1第11-16章) :数据分析讲解数据分析相关技术，涉及基于数据分析的语言HQL与SQL，大数据统一编程模型及机器学习库等。

由于本书篇幅过多，只是对整体进行了一个简单的介绍，其中还有很多的细节需要大家来推敲学习的，有志者事竟成，成功不是偶然，而是你不懈努力的结果。

想要获取【大数据技术体系详解：原理、架构与实践】技术文档的小伙伴，只需要关注+转发+评论，获取++++++我v x    ①⑧⑤⑥①③零⑤③⑨⑤  就可以获取了。

读者对象

(1 )大数据应用开发人员

本书用了相当大的篇幅介绍各个大数据系统的适用场景和使用方式，能够很好地帮助大数据应用开发工程师设计出满足要求的程序。

(2)大数据讲师和学员

本书按照大数据五层架构，即数据收集- + 数据存储- +资源管理与服务协调-→计算引擎-→数据分析，完整介绍了整个大数据技术体系，非常易于理解，此外，每节包含大量代码示例和思考题目，非常适合大数据教学。

(3)大数据运维工程师

对于一名合格的大数据运维工程师而言，适当地了解大数据系统的应用场景、设计原理和架构是十分有帮助的，这不仅有助于我们更快地排除各种可能的大数据系统故障，也能够让运维人员与研发人员更有效地进行沟通。本书可以有效地帮助运维工程师全面理解当下主流的大数据技术体系。

(4)开源软件爱好者

开源大数据系统(比如Hadoop和Spark)是开源软件中的佼佼者，它们在实现的过程中吸收了大量开源领域的优秀思想，同时也有很多值得学习的创新。通过阅读本书，这部分读者不仅能领略到开源软件的优秀思想，还可以学习如何构建一套完整的技 术生态。