Spark源码:目录

参考:
https://zhuanlan.zhihu.com/p/28893155
http://www.louisvv.com/archives/category/spark/spark%e6%ba%90%e7%a0%81
Spark内核设计的艺术-架构设计与实现(耿嘉安著)

version:2.4.4


框架启动

  1. Spark源码:启动Master

  2. Spark源码:启动Worker

提交应用

  1. Spark源码:提交Application到Spark集群

  2. Spark源码:初始化SparkContext

  3. Spark源码:创建TaskScheduler和DAGScheduler

  4. Spark源码:启动TaskScheduler

  5. Spark源码:启动Executors

分析运行

  1. Spark源码:构建处理链

  2. Spark源码:Job的Stage划分

  3. Spark源码:提交Tasks

  4. Spark源码:运行Task

Spark Streaming

  1. SparkStreaming源码:初始化StreamingContext

  2. SparkStreaming源码:构建处理链

  3. SparkStreaming源码:启动StreamingContext

你可能感兴趣的:(Spark源码:目录)