大数据Spark实战高手之路职业学习路线图

从零起步，分阶段无任何障碍逐步掌握大数据统一计算平台Spark，从Spark框架编写和开发语言Scala开始，到Spark企业级开发，再到Spark框架源码解析、Spark与Hadoop的融合、商业案例和企业面试，一次性彻底掌握Spark，成为云计算大数据时代的幸运儿和弄潮儿，笑傲大数据职场和人生！

学习条件

1，掌握Scala；2，精通Spark企业及开发；3，精通Spark框架源码实现；4，掌握Spark与Hadoop融合和商业案例；5，轻松加入任何类型和难度的Spark面试；

学习建议

1，从第一阶段掌握Scala开始，逐步深入； 2，跟着视频一步步动手实践 ：技术群：37369766

大数据Spark实战总论

大数据Spark实战高手之路--总论

• 1 大数据Spark实战高手之路：如何成为Spark高手 ？【免费】

Scala语言系列课程

熟练的掌握Scala语言系列课程1：Scala动手实战入门教程

• 1 1.1 安装Scala开发环境【免费】
• 2 1.2 Scala常用类型介绍
• 3 1.3 动手体验值与变量的声明
• 4 1.4 动手体验Scala函数与方法的定义和使用
• 5 1.5 动手编写条件表达式
• 6 1.6 循环表达式与For循环的使用
• 7 对1.6和2.1中循环语句块执行的说明

熟练的掌握Scala语言系列课程2：Scala实战入门进阶

• 1 对2.1节的说明中关于println的说明【免费】
• 2 2.1 默认参数、带名参数及变长参数
• 3 2.2 lazy值
• 4 2.3 异常处理
• 5 2.4 数组
• 6 2.5 Map操作

熟练的掌握Scala语言系列课程3：Scala面向对象入门实战

• 1 3.1 类的定义：属性与方法【免费】
• 2 3.2 不同的构造器
• 3 3.3 object对象
• 4 3.4 apply方法
• 5 3.5 方法重写与字段重写

熟练的掌握Scala语言系列课程4：Scala面向对象进阶实战

• 1 4.1 抽象类【免费】
• 2 4.2 trait
• 3 4.3 包的定义与使用
• 4 4.4 包对象定义与使用
• 5 4.5 文件访问

熟练的掌握Scala语言系列课程5：Scala函数式编程入门实战

• 1 5.1 函数的定义【免费】
• 2 5.2 值函数
• 3 5.3 匿名函数
• 4 5.4 闭包
• 5 5.5 SAM与Curry
• 6 5.6 高阶函数示例

熟练的掌握Scala语言系列课程6：Scala函数式编程进阶实战

• 1 6.1 集合【免费】
• 2 6.2 序列
• 3 6.3 可变列表与不可变列表
• 4 6.4 集合操作
• 5 6.5 case class
• 6 6.6 模式匹配

熟练的掌握Scala语言系列课程7：Scala高级特性实战

• 1 7.1 泛型类【免费】
• 2 7.2 泛型函数
• 3 7.3 Lower bounds 与 Upper bounds
• 4 7.4 View bounds
• 5 7.5Context bounds
• 6 7.6 协变与逆变
• 7 7.7 隐式转换
• 8 7.8 隐式参数
• 9 7.9 隐式类

熟练的掌握Scala语言系列课程8：Scala的Actor

• 1 8.1 创建actor【免费】
• 2 8.2 actor的消息机制
• 3 8.3 共享线程
• 4 8.4 多个actor协同工作
• 5 8.5 actor使用最佳实践

熟练的掌握Scala语言系列课程9：深入Scala隐式转换和隐式参数

• 1 9.1 隐式转换规则【免费】
• 2 9.2 隐式参数
• 3 9.3 上下文界定
• 4 9.4 隐式参数下的隐式转换
• 5 9.5 Scala隐式转发最佳实践

熟练的掌握Scala语言系列课程10：Akka架构解析与案例实战

• 1 10.1 Akka在分布式系统中的巨大价值【免费】
• 2 10.2 Akka架构
• 3 10.3 Akka内核剖析
• 4 10.4 Akka案例实战

Spark内核解析绝密视频瞬间成功提升Scala功力！

• 1 spark内核剖析概述【免费】
• 2 Spark内核解析绝密视频（瞬间成功提升Scala功力）

精通Spark平台本身提供给开发者API

精通Spark提供给开发者API系列课程1：动手构建Spark集群

• 1 1.1 动手构建Hadoop集群【免费】
• 2 1.2 动手构建Spark集群
• 3 1.3 测试Spark集群

精通Spark提供给开发者API系列课程2：编写Spark程序

• 1 2.1 程序数据的来源：File、HDFS、HBase、S3等【免费】
• 2 2.2 IDE环境构建
• 3 2.3 Maven
• 4 2.4 sbt.
• 5 2.5 编写并部署Spark程序的实例

精通Spark提供给开发者API系列课程3：SparkContext解析

• 1 3.1 源码剖析SparkContext【免费】
• 2 3.2 Scala、Java、Python使用SparkContext
• 3 3.3 加载数据成为RDD
• 4 3.4 把数据物化

精通Spark提供给开发者API系列课程4：深入实战RDD

• 1 4.1 DAG【免费】
• 2 4.2 深入实战各种Scala RDD Function
• 3 4.3 Spark Java RDD Function
• 4 4.4 RDD的优化问题

精通Spark提供给开发者API系列课程5：Spark程序的测试

• 1 5.1 编写可测试的Spark程序【免费】
• 2 5.2 Spark测试框架解析
• 3 5.3 Spark测试代码实战

精通Spark提供给开发者API系列课程6：Spark程序的优化

• 1 6.1 Logs【免费】
• 2 6.2 并发
• 3 6.3 内存
• 4 6.4 垃圾回收
• 5 6.5 序列化
• 6 6.6 安全

精通Spark内核

精通Spark内核系列课程1：Spark的架构设计

• 1 1.1 Spark生态系统剖析【免费】
• 2 1.2 Spark的架构设计剖析
• 3 1.3 RDD计算流程解析
• 4 1.4 Spark的出色容错机制

精通Spark内核系列课程2: Spark编程模型

• 1 2.1 RDD【免费】
• 2 2.2 transformation
• 3 2.3 action
• 4 2.4 lineage
• 5 2.5宽依赖与窄依赖

精通Spark内核系列课程3: 深入Spark内核

• 1 3.1 Spark集群【免费】
• 2 3.2 任务调度
• 3 3.3 DAGScheduler
• 4 3.4 TaskScheduler
• 5 3.5 Task内部揭秘

精通Spark内核系列课程4: Spark的广播变量与累加器

• 1 4.1 广播变量的机制和使用最佳实践【免费】
• 2 4.2累加器的机制和使用的最佳实践

精通Spark内核系列课程5：核心源码剖析

• 1 5.1，RDD的设计和源码实现；【免费】
• 2 5.2，Spark作业提交过程源码剖析；
• 3 5.3，Spark的Task执行过程源码剖析；
• 4 5.4，Spark的Scheduler模块源码剖析；

精通Spark内核系列课程6：RDD内幕揭秘

• 1 6.1，如何建立RDD之间的关系；【免费】
• 2 6.2，细说RDD的transformation之reduceByKey、groupByKey等
• 3 6.3，细说RDD的transformation之join、sortByKey等
• 4 6.4，揭秘combineByKey；

精通Spark内核系列课程7： Job内幕揭秘

• 1 7.1 从部署层次细说Job的部署和执行细节；【免费】
• 2 7.2 Job的逻辑执行和物理执行；
• 3 7.3 复杂的Job的实现；
• 4 7.4 Job的物理执行内幕；
• 5 7.5 生产和提交Job的内幕；

精通Spark内核系列课程8：Shuffle内幕揭秘

• 1 8.1 Shuffle的工作机制；【免费】
• 2 8.2 细说Shuffle操作；
• 3 8.3 深入解析Shuffle的Write操作；
• 4 8.4 深入解析Shuffle的Read操作；
• 5 8.5 Shuffle的性能优化；

精通Spark内核系列课程9：Spark集群工作内幕揭秘

• 1 9.1，Job的提交和接收内幕揭秘；【免费】
• 2 9.2，Task内幕揭秘；
• 3 9.3，从集群工作的角度看Shuffle；

精通Spark内核系列课程10：Cache和Checkpoint内幕揭秘

• 1 10.1，Cache的内部实现揭秘；【免费】
• 2 10.2，CheckPoint内部实现揭秘；

精通Spark内核系列课程11：Broadcast内幕揭秘

• 1 11.1，Broadcast的实现揭秘；【免费】
• 2 11.2， 生产环境下的Broadcast；

掌握基于Spark的核心框架使用

掌握基于Spark上的核心框架的使用系列课程1: Spark SQL

• 1 1.1 Spark SQL原理和实现【免费】
• 2 1.2 使用Spark SQL操作文本文件和DSL
• 3 1.3 Spark SQL操作JSON和Hive

掌握基于Spark上的核心框架的使用系列课程2：Spark的图计算

• 1 2.1 Spark GraphX原理和实现【免费】
• 2 2.2 Table operator和Graph Operator
• 3 2.3 Verticies、Edges、Triplets
• 4 2.4 动手编写GraphX实例
• 5 2.5图操作之Property Operator、Structural Operator
• 6 2.6图操作之Computing Degree、Computing Neighbors
• 7 2.7 图操作之Join Operators、Map Reduce Triplets
• 8 2.8 Pregel API
• 9 2.9 ShortestPaths
• 10 2.10 PageRank
• 11 2.11 TriangleCount

掌握基于Spark上的核心框架的使用系列课程3: Spark实时流处理

• 1 3.1 DStream【免费】
• 2 3.2 transformation
• 3 3.3 checkpoint
• 4 2.4 案例实战之一
• 5 3.5 案例实战之二
• 6 3.6 案例实战之三
• 7 3.7 案例实战之四

掌握基于Spark上的核心框架的使用系列课程4: Spark的机器学习

• 1 4.1 LinearRegression【免费】
• 2 4.2 K-Means
• 3 4.3 Collaborative Filtering

掌握基于Spark上的核心框架的使用系列课程5：Spark作为云服务

• 1 5.1 JobServer的架构设计【免费】
• 2 5.2 JobServer提供的接口
• 3 5.3 JobServer最佳实践

掌握基于Spark上的核心框架的使用系列课程6：Spark on Yarn

• 1 6.1 Spark on Yarn的架构原理【免费】
• 2 6.2 Spark on Yarn的最佳实践

掌握基于Spark上的核心框架的使用系列课程7： Tachyon

• 1 7.1 Tachyon架构剖析【免费】
• 2 7.2 Tachyon操作详解
• 3 7.3 Spark下的Tachyon使用解析

商业级别大数据中心黄金组合

商业级别大数据中心系列课程1：大数据架构案例鉴赏

• 1 1.淘宝的Hadoo+Spark大数据鉴赏【免费】
• 2 2. Yahoo！的Hadoop+Spark大数据鉴赏
• 3 3. Conviva的Spark大数据鉴赏
• 4 4. 优酷土豆使用Spark大数据鉴赏
• 5 5.网易使用Spark大数据鉴赏
• 6 6.腾讯使用Spark大数据鉴赏
• 7 7.京东使用大数据Spark鉴赏
• 8 8.华为使用Spark大数据鉴赏

商业级别大数据中心系列课程2：大数据处理中心的架构揭秘

• 1 1 大数据处理中心的黄金架构【免费】
• 2 2 大数据处理中心的最佳技术堆栈
• 3 3 大数据处理中心的速度为王

商业级别大数据中心系列课程3：大数据中心构建最佳实践

• 1 1.互联网企业构建大数据中心最佳实践【免费】
• 2 2.金融机构构建大数据中心最佳实践
• 3 3.传统企业构建大数据中心最佳实践

Spark源码完整解析和系统定制

Spark源码完整解析和系统定制系列课程1：Spark本质论RDD等

• 1 彻底精通RDD源码解读（一）；【免费】
• 2 彻底精通RDD源码解读（二）；
• 3 彻底精通RDD源码解读（三）；
• 4 彻底精通RDD源码解读（四）；
• 5 彻底精通RDD源码解读（五）；
• 6 彻底精通Shuffle源码解析和优化（一）；
• 7 彻底精通Shuffle源码解析和优化（二）；
• 8 彻底精通Shuffle源码解析和优化（三）；
• 9 彻底精通Shuffle源码解析和优化（四）；
• 10 彻底精通Spark作业提交和执行过程源码剖析（一）；
• 11 彻底精通Spark作业提交和执行过程源码剖析（二）；
• 12 彻底精通Spark作业提交和执行过程源码剖析（三）；
• 13 彻底精通Spark作业提交和执行过程源码剖析（四）；
• 14 彻底精通Spark作业提交和执行过程源码剖析（五）；【即将发布】
• 15 彻底精通Akka在Spark上的源码解析（一）；【即将发布】
• 16 彻底精通Akka在Spark上的源码解析（二）；【即将发布】
• 17 彻底精通Akka在Spark上的源码解析（三）；【即将发布】
• 18 彻底精通Akka在Spark上的源码解析（四）；【即将发布】
• 19 彻底精通Akka在Spark上的源码解析（五）；【即将发布】

Spark源码完整解析和系统定制系列课程2：Spark本质论Scheduler等

• 1 1 彻底精通Spark的任务调度模块源码剖析（一）；【即将发布】
• 2 2 彻底精通Spark的任务调度模块源码剖析（二）；【即将发布】
• 3 3 彻底精通Spark的任务调度模块源码剖析（三）；【即将发布】
• 4 4 彻底精通Spark的任务调度模块源码剖析（四）；【即将发布】
• 5 5 彻底精通Spark的任务调度模块源码剖析（五）；【即将发布】
• 6 6 彻底精通Spark的任务调度模块源码剖析（六）；【即将发布】
• 7 7 彻底精通Spark的任务调度模块源码剖析（七）；【即将发布】
• 8 8 彻底精通Spark的任务调度模块源码剖析（八）；【即将发布】
• 9 9 彻底精通Spark的任务调度模块源码剖析（九）；【即将发布】
• 10 10 彻底精通Task执行过程源码剖析（一）；【即将发布】
• 11 11 彻底精通Task执行过程源码剖析（二）；【即将发布】
• 12 12 彻底精通Task执行过程源码剖析（三）；【即将发布】
• 13 13 彻底精通Storage模块源码解析（一）；【即将发布】
• 14 14 彻底精通Storage模块源码解析（二）；【即将发布】
• 15 15 彻底精通Storage模块源码解析（三）；【即将发布】
• 16 16 彻底精通Storage模块源码解析（四）；【即将发布】
• 17 17 彻底精通Storage模块源码解析（五）【即将发布】
• 18 18 彻底精通Spark中的容错处理源码剖析（一）；【即将发布】
• 19 19 彻底精通Spark中的容错处理源码剖析（二）；【即将发布】
• 20 20 彻底精通Spark中的容错处理源码剖析（三）；【即将发布】

Spark源码完整解析和系统定制系列课程3：Spark本质论：SQL等

• 1 1 彻底精通Spark SQL的模块源码剖析（一）；【即将发布】
• 2 2 彻底精通Spark SQL的模块源码剖析（二）；【即将发布】
• 3 3 彻底精通Spark SQL的模块源码剖析（三）；【即将发布】
• 4 4 彻底精通Spark SQL的模块源码剖析（四）；【即将发布】
• 5 5 彻底精通Spark SQL的模块源码剖析（五）；【即将发布】
• 6 6 彻底精通Spark SQL的模块源码剖析（六）；【即将发布】
• 7 7 彻底精通Spark SQL的模块源码剖析（七）；【即将发布】
• 8 8 彻底精通Spark SQL的模块源码剖析（八）；【即将发布】
• 9 9 彻底精通Spark SQL的模块源码剖析（九）；【即将发布】
• 10 10 深入Spark Catalyst源码剖析（一）；【即将发布】
• 11 11 深入Spark Catalyst源码剖析（二）；【即将发布】
• 12 12 深入Spark Catalyst源码剖析（三）；【即将发布】
• 13 13 彻底深入Spark Streaming 源码解析(一)；【即将发布】
• 14 14 彻底深入Spark Streaming 源码解析(二)；【即将发布】
• 15 15 彻底深入Spark Streaming 源码解析(三)；【即将发布】
• 16 16 彻底深入Spark Streaming 源码解析(四)；【即将发布】
• 17 17 彻底深入Spark Streaming 源码解析(五)；【即将发布】

Spark源码完整解析和系统定制系列课程4：Spark本质论：MLLib等

• 1 1 彻底精通Spark MLlib源码解析（一）；【即将发布】
• 2 2 彻底精通Spark MLlib源码解析（二）；【即将发布】
• 3 3 彻底精通Spark MLlib源码解析（三）；【即将发布】
• 4 4 彻底精通Spark MLlib源码解析（四）；【即将发布】
• 5 5 彻底精通Spark MLlib源码解析（五）；【即将发布】
• 6 6 彻底精通Spark MLlib源码解析（六）；【即将发布】
• 7 7 彻底精通Spark MLlib源码解析（七）；【即将发布】
• 8 8 彻底精通Spark MLlib源码解析（八）；【即将发布】
• 9 9 彻底精通Spark MLlib源码解析（九）；【即将发布】
• 10 10 彻底精通Spark图计算源码解析（一）；【即将发布】
• 11 11 彻底精通Spark图计算源码解析（二）；【即将发布】
• 12 12 彻底精通Spark图计算源码解析（三）；【即将发布】
• 13 13 彻底精通Spark图计算源码解析（四）；【即将发布】
• 14 14 彻底精通Spark图计算源码解析（五）；【即将发布】
• 15 15 彻底精通Spark图计算源码解析（六）；【即将发布】
• 16 16 彻底精通Spark图计算源码解析（七）；【即将发布】
• 17 17 彻底精通Spark图计算源码解析（八）；【即将发布】
• 18 18 彻底精通Spark图计算源码解析（九）；【即将发布】
• 19 19 彻底精通Spark图计算源码解析（十）；【即将发布】

Spark源码完整解析和系统定制系列课程5：Spark不同场景解决方案

• 1 1 离线；【即将发布】
• 2 2 近线【即将发布】
• 3 3 在线【即将发布】

Spark源码完整解析和系统定制系列课程6：Spark 框架二次开发

• 1 1 打造自定义的Spark框架；【即将发布】
• 2 2 自定义框架的核心；【即将发布】
• 3 3 构造自己的大数据中心；【即将发布】