Stage 细解

Spark Application在遇到action算子时,SparkContext会生成Job,并将构成DAG图将给DAG Scheduler解析成Stage。
Stage有两种:
  • ShuffleMapStage 
    • 这种Stage是以Shuffle为输出边界
    • 其输入边界可以是从外部获取数据,也可以是另一个ShuffleMapStage的输出
    • 其输出可以是另一个Stage的开始
    • ShuffleMapStage的最后Task就是ShuffleMapTask
    • 在一个Job里可能有该类型的Stage,也可以能没有该类型Stage。
  • ResultStage 
    • 这种Stage是直接输出结果
    • 其输入边界可以是从外部获取数据,也可以是另一个ShuffleMapStage的输出
    • ResultStage的最后Task就是ResultTask
    • 在一个Job里必定有该类型Stage。
一个Job含有一个或多个Stage,但至少含有一个ResultStage。

相关信息可以参看源码:org.apache.spark.scheduler 中Stage.class

/** * Each Stage can either be a shuffle map stage, in which case its tasks' results are input for * another stage, or a result stage, in which case its tasks directly compute the action that * initiated a job (e.g. count(), save(), etc). For shuffle map stages, we also track the nodes * that each output partition is on. */



你可能感兴趣的:(spark,stage)