大数据Spark实战高手之路职业学习路线图

从零起步，分阶段无任何障碍逐步掌握大数据统一计算平台Spark，从Spark框架编写和开发语言Scala开始，到Spark企业级开发，再到Spark框架源码解析、Spark与Hadoop的融合、商业案例和企业面试，一次性彻底掌握Spark，成为云计算大数据时代的幸运儿和弄潮儿，笑傲大数据职场和人生！

学习目标：

1、掌握Scala；

2、精通Spark企业及开发；

3、精通Spark框架源码实现；

4、掌握Spark与Hadoop融合和商业案例；

5、轻松通过任何类型和难度的Spark面试。

 

• 一、大数据Spark实战总论1、大数据Spark实战高手之路视频课程—总论大数据Spark实战高手之路：如何成为Spark高手？
• 二、Scala语言系列课程
• 1、熟练的掌握Scala语言系列课程
• 1：Scala动手实战入门教程
• 1.1 安装Scala开发环境
• 1.2 Scala常用类型介绍
• 1.3 动手体验值与变量的声明
• 1.4 动手体验Scala函数与方法的定义和使用
• 1.5 动手编写条件表达式
• 1.6 循环表达式与For循环的使用
• 1.7 对1.6和2.1中循环语句块执行的说明
• 2、熟练的掌握Scala语言系列课程
• 2：Scala实战入门进阶对
• 2.1节的说明中关于println的说明
• 2.1 默认参数、带名参数及变长参数
• 2.2 lazy值
• 2.3 异常处理
• 2.4 数组
• 2.5 Map操作
• 3、熟练的掌握Scala语言系列课程
• 3：Scala面向对象入门实战
• 3.1 类的定义：属性与方法
• 3.2 不同的构造器
• 3.3 object对象
• 3.4 apply方法
• 3.5 方法重写与字段重写
• 4、熟练的掌握Scala语言系列课程
• 4：Scala面向对象进阶实战
• 4.1 抽象类
• 4.2 trait
• 4.3 包的定义与使用
• 4.4 包对象定义与使用
• 4.5 文件访问
• 5、熟练的掌握Scala语言系列课程
• 5：Scala函数式编程入门实战
• 5.1 函数的定义
• 5.2 值函数
• 5.3 匿名函数
• 5.4 闭包
• 5.5 SAM与Curry
• 5.6 高阶函数示例
• 6、熟练的掌握Scala语言系列课程
• 6：Scala函数式编程进阶实战
• 6.1 集合
• 6.2 序列
• 6.3 可变列表与不可变列表
• 6.4 集合操作6.5 case class
• 6.6 模式匹配
• 7、熟练的掌握Scala语言系列课程
• 7：Scala高级特性实战
• 7.1 泛型类
• 7.2 泛型函数
• 7.3 Lower bounds 与 Upper bounds
• 7.4 View bounds
• 7.5Context bounds
• 7.6 协变与逆变
• 7.7 隐式转换
• 7.8 隐式参数
• 7.9 隐式类
• 8、熟练的掌握Scala语言系列课程
• 8：Scala的Actor
• 8.1 创建actor
• 8.2 actor的消息机制
• 8.3 共享线程
• 8.4 多个actor协同工作
• 8.5 actor使用最佳实践
• 9、熟练的掌握Scala语言系列课程
• 9：深入Scala隐式转换和隐式参数
• 9.1 隐式转换规则
• 9.2 隐式参数
• 9.3 上下文界定
• 9.4 隐式参数下的隐式转换
• 9.5 Scala隐式转发最佳实践
• 10、熟练的掌握Scala语言系列课程
• 10：Akka架构解析与案例实战
• 10.1 Akka在分布式系统中的巨大价值
• 10.2 Akka架构
• 10.3 Akka内核剖析
• 10.4 Akka案例实战
• 11、Spark内核解析绝密视频瞬间成功提升Scala功力！
• 11.1、spark内核剖析概述
• 11.2、Spark内核解析绝密视频（瞬间成功提升Scala功力）
• 三、精通Spark平台本身提供给开发者API1、精通Spark提供给开发者API系列课程
• 1：动手构建Spark集群
• 1.1 动手构建Hadoop集群
• 1.2 动手构建Spark集群
• 1.3 测试Spark集群
• 2、精通Spark提供给开发者API系列课程
• 2：编写Spark程序
• 2.1 程序数据的来源：File、HDFS、HBase、S3等
• 2.2 IDE环境构建
• 2.3 Maven
• 2.4 sbt.
• 2.5 编写并部署Spark程序的实例
• 3、精通Spark提供给开发者API系列课程
• 3：SparkContext解析
• 3.1 源码剖析SparkContext
• 3.2 Scala、Java、Python使用SparkContext
• 3.3 加载数据成为RDD
• 3.4 把数据物化
• 4、精通Spark提供给开发者API系列课程
• 4：深入实战RDD4.1 DAG
• 4.2 深入实战各种Scala RDD Function
• 4.3 Spark Java RDD Function
• 4.4 RDD的优化问题
• 5、精通Spark提供给开发者API系列课程
• 5：Spark程序的测试
• 5.1 编写可测试的Spark程序
• 5.2 Spark测试框架解析
• 5.3 Spark测试代码实战
• 6、精通Spark提供给开发者API系列课程
• 6：Spark程序的优化
• 6.1 Logs6.2 并发
• 6.3 内存
• 6.4 垃圾回收
• 6.5 序列化
• 6.6 安全
• 四、精通Spark内核
• 1、精通Spark内核系列课程
• 1：Spark的架构设计
• 1.1 Spark生态系统剖析
• 1.2 Spark的架构设计剖析
• 1.3 RDD计算流程解析
• 1.4 Spark的出色容错机制
• 2、精通Spark内核系列课程
• 2: Spark编程模型2.1 RDD
• 2.2 transformation
• 2.3 action
• 2.4 lineage
• 2.5宽依赖与窄依赖
• 3、精通Spark内核系列课
• 3: 深入Spark内核
• 3.1 Spark集群
• 3.2 任务调度
• 3.3 DAGScheduler
• 3.4 TaskScheduler
• 3.5 Task内部揭秘
• 4、精通Spark内核系列课程
• 4: Spark的广播变量与累加器
• 4.1 广播变量的机制和使用最佳实践
• 4.2累加器的机制和使用的最佳实践
• 5、精通Spark内核系列课程
• 5：核心源码剖析
• 5.1，RDD的设计和源码实现；
• 5.2，Spark作业提交过程源码剖析；
• 5.3，Spark的Task执行过程源码剖析；
• 5.4，Spark的Scheduler模块源码剖析；
• 6、精通Spark内核系列课程
• 6：RDD内幕揭秘
• 6.1，如何建立RDD之间的关系；
• 6.2，细说RDD的transformation之reduceByKey、groupByKey等
• 6.3，细说RDD的transformation之join、sortByKey等
• 6.4，揭秘combineByKey；
• 7、精通Spark内核系列课程
• 7： Job内幕揭秘
• 7.1 从部署层次细说Job的部署和执行细节；
• 7.2 Job的逻辑执行和物理执行；
• 7.3 复杂的Job的实现；
• 7.4 Job的物理执行内幕；
• 7.5 生产和提交Job的内幕；
• 8、精通Spark内核系列课程
• 8：Shuffle内幕揭秘
• 8.1 Shuffle的工作机制；
• 8.2 细说Shuffle操作；
• 8.3 深入解析Shuffle的Write操作；
• 8.4 深入解析Shuffle的Read操作；
• 8.5 Shuffle的性能优化；
• 9、精通Spark内核系列课程
• 9：Spark集群工作内幕揭秘
• 9.1 Job的提交和接收内幕揭秘；
• 9.2 Task内幕揭秘；
• 9.3 从集群工作的角度看Shuffle；
• 10、精通Spark内核系列课程
• 10：Cache和Checkpoint内幕揭秘
• 10.1 Cache的内部实现揭秘；
• 10.2 CheckPoint内部实现揭秘；
• 11、精通Spark内核系列课程
• 11：Broadcast内幕揭秘
• 11.1 Broadcast的实现揭秘；
• 11.2 生产环境下的Broadcast；
• 五、掌握基于Spark的核心框架使用
• 1、掌握基于Spark上的核心框架的使用系列课程
• 1: Spark SQL1.1 Spark SQL原理和实现
• 1.2 使用Spark SQL操作文本文件和DSL
• 1.3 Spark SQL操作JSON和Hive
• 2、掌握基于Spark上的核心框架的使用系列课程
• 2：Spark的图计算
• 2.1 Spark GraphX原理和实现
• 2.2 Table operator和Graph Operator
• 2.3 Verticies、Edges、Triplets
• 2.4 动手编写GraphX实例
• 2.5图操作之Property Operator、Structural Operator
• 2.6图操作之Computing Degree、Computing Neighbors
• 2.7 图操作之Join Operators、Map Reduce Triplets
• 2.8 Pregel API
• 2.9 ShortestPaths
• 2.10 PageRank
• 2.11 TriangleCount
• 3、掌握基于Spark上的核心框架的使用系列课程
• 3: Spark实时流处理
• 3.1 DStream
• 3.2 transformation
• 3.3 checkpoint
• 3.4 案例实战之一
• 3.5 案例实战之二
• 3.6 案例实战之三
• 3.7 案例实战之四
• 4、掌握基于Spark上的核心框架的使用系列课程
• 4: Spark的机器学习
• 4.1 LinearRegression
• 4.2 K-Means
• 4.3 Collaborative Filtering
• 5、掌握基于Spark上的核心框架的使用系列课程
• 5：Spark作为云服务
• 5.1 JobServer的架构设计
• 5.2 JobServer提供的接口
• 5.3 JobServer最佳实践
• 6、掌握基于Spark上的核心框架的使用系列课程
• 6：Spark on Yarn
• 6.1 Spark on Yarn的架构原理
• 6.2 Spark on Yarn的最佳实践
• 7、掌握基于Spark上的核心框架的使用系列课程
• 7：Tachyon
• 7.1 Tachyon架构剖析
• 7.2 Tachyon操作详解
• 7.3 Spark下的Tachyon使用解析
• 六、商业级别大数据中心黄金组合
• 1、商业级别大数据中心系列课程
• 1：大数据架构案例鉴赏
• 已经为大家精心准备了大数据的系统学习资料，从Linux-Hadoop-spark-......，需要的小伙伴可以点击
• 1）淘宝的Hadoo+Spark大数据鉴赏
• 2）Yahoo！的Hadoop+Spark大数据鉴赏
• 3）Conviva的Spark大数据鉴赏
• 4）优酷土豆使用Spark大数据鉴赏
• 5）网易使用Spark大数据鉴赏
• 6）腾讯使用Spark大数据鉴赏
• 7）京东使用大数据Spark鉴赏
• 8）华为使用Spark大数据鉴赏
• 2、商业级别大数据中心系列课程
• 2：大数据处理中心的架构揭秘
• 1）大数据处理中心的黄金架构
• 2）大数据处理中心的最佳技术堆栈
• 3）大数据处理中心的速度为王
• 3、商业级别大数据中心系列课程
• 3：大数据中心构建最佳实践
• 1）互联网企业构建大数据中心最佳实践
• 2）金融机构构建大数据中心最佳实践
• 3）传统企业构建大数据中心最佳实践
• 七、Spark源码完整解析和系统定制
• 1、Spark源码完整解析和系统定制系列课程
• 1：Spark本质论RDD等
• 1）彻底精通RDD源码解读（一）；
• 2）彻底精通RDD源码解读（二）；
• 3）彻底精通RDD源码解读（三）；
• 4）彻底精通RDD源码解读（四）；
• 5）彻底精通RDD源码解读（五）；
• 6）彻底精通Shuffle源码解析和优化（一）；
• 7）彻底精通Shuffle源码解析和优化（二）；
• 8）彻底精通Shuffle源码解析和优化（三）；
• 9）彻底精通Shuffle源码解析和优化（四）；
• 10）彻底精通Spark作业提交和执行过程源码剖析（一）；
• 11）彻底精通Spark作业提交和执行过程源码剖析（二）；
• 12）彻底精通Spark作业提交和执行过程源码剖析（三）；
• 13）彻底精通Spark作业提交和执行过程源码剖析（四）；
• 14）彻底精通Spark作业提交和执行过程源码剖析（五）；
• 15）彻底精通Akka在Spark上的源码解析（一）；
• 16）彻底精通Akka在Spark上的源码解析（二）；
• 17）彻底精通Akka在Spark上的源码解析（三）；
• 18）彻底精通Akka在Spark上的源码解析（四）；
• 19）彻底精通Akka在Spark上的源码解析（五）；
• 2、Spark源码完整解析和系统定制系列课程
• 2：Spark本质论Scheduler等
• 1）彻底精通Spark的任务调度模块源码剖析（一）；
• 2）彻底精通Spark的任务调度模块源码剖析（二）；
• 3）彻底精通Spark的任务调度模块源码剖析（三）；
• 4）彻底精通Spark的任务调度模块源码剖析（四）；
• 5）彻底精通Spark的任务调度模块源码剖析（五）；
• 6）彻底精通Spark的任务调度模块源码剖析（六）；
• 7）彻底精通Spark的任务调度模块源码剖析（七）；
• 8）彻底精通Spark的任务调度模块源码剖析（八）；
• 9）彻底精通Spark的任务调度模块源码剖析（九）；
• 10）彻底精通Task执行过程源码剖析（一）；
• 11）彻底精通Task执行过程源码剖析（二）；
• 12）彻底精通Task执行过程源码剖析（三）；
• 13）彻底精通Storage模块源码解析（一）；
• 14）彻底精通Storage模块源码解析（二）；
• 15）彻底精通Storage模块源码解析（三）；
• 16）彻底精通Storage模块源码解析（四）；
• 17）彻底精通Storage模块源码解析（五）
• 18）彻底精通Spark中的容错处理源码剖析（一）；
• 19）彻底精通Spark中的容错处理源码剖析（二）；
• 20）彻底精通Spark中的容错处理源码剖析（三）；
• 3、Spark源码完整解析和系统定制系列课程
• 3：Spark本质论：SQL等
• 1）彻底精通Spark SQL的模块源码剖析（一）；
• 2）彻底精通Spark SQL的模块源码剖析（二）；
• 3）彻底精通Spark SQL的模块源码剖析（三）；
• 4）彻底精通Spark SQL的模块源码剖析（四）；
• 5）彻底精通Spark SQL的模块源码剖析（五）；
• 6）彻底精通Spark SQL的模块源码剖析（六）；
• 7）彻底精通Spark SQL的模块源码剖析（七）；
• 8）彻底精通Spark SQL的模块源码剖析（八）；
• 9）彻底精通Spark SQL的模块源码剖析（九）；
• 10）深入Spark Catalyst源码剖析（一）；
• 11）深入Spark Catalyst源码剖析（二）；
• 12）深入Spark Catalyst源码剖析（三）；
• 13）彻底深入Spark Streaming 源码解析(一)；
• 14）彻底深入Spark Streaming 源码解析(二)；
• 15）彻底深入Spark Streaming 源码解析(三)；
• 16）彻底深入Spark Streaming 源码解析(四)；
• 17）彻底深入Spark Streaming 源码解析(五)；
• 4、Spark源码完整解析和系统定制系列课程
• 4：Spark本质论：MLLib等
• 1）彻底精通Spark MLlib源码解析（一）；
• 2）彻底精通Spark MLlib源码解析（二）；
• 3）彻底精通Spark MLlib源码解析（三）；
• 4）彻底精通Spark MLlib源码解析（四）；
• 5）彻底精通Spark MLlib源码解析（五）；
• 6）彻底精通Spark MLlib源码解析（六）；
• 7）彻底精通Spark MLlib源码解析（七）；
• 8）彻底精通Spark MLlib源码解析（八）；
• 9）彻底精通Spark MLlib源码解析（九）；
• 10）彻底精通Spark图计算源码解析（一）；
• 11）彻底精通Spark图计算源码解析（二）；
• 12）彻底精通Spark图计算源码解析（三）；
• 13）彻底精通Spark图计算源码解析（四）；
• 14）彻底精通Spark图计算源码解析（五）；
• 15）彻底精通Spark图计算源码解析（六）；
• 16）彻底精通Spark图计算源码解析（七）；
• 17）彻底精通Spark图计算源码解析（八）；
• 18）彻底精通Spark图计算源码解析（九）；
• 19）彻底精通Spark图计算源码解析（十）；
• 5、Spark源码完整解析和系统定制系列课程
• 5：Spark不同场景解决方案
• 1）离线；
• 2）近线；
• 3）在线；
• 6、Spark源码完整解析和系统定制系列课程
• 6：Spark 框架二次开发
• 1）打造自定义的Spark框架；
• 2）自定义框架的核心；
• 3）构造自己的大数据中心；
• 1、从第一阶段掌握Scala开始，逐步深入；
• 2、一步步动手实践