Spark中DAG是什么, DAG中Stage如何划分 12

1. 什么是DAG

  • DAG(Directed Acyclic Graph)叫做有向无环图, 原始的RDD通过一系统的转换就形成了DAG.
  • 根据RDD之间依赖关系的不同, 将DAG换分成不同的Stage(调度阶段).
  • 对于窄依赖, parition的转换处理在一个Stage中完成计算
  • 对于宽依赖,由于有Shuffle的存在,只能在Parent RDD处理完成后,才能开始计算接下来的计算.宽依赖是划分Stage的依据
    Spark中DAG是什么, DAG中Stage如何划分 12_第1张图片

你可能感兴趣的:(Spark社区)