宽窄依赖与Spark开发流程

  1. 窄依赖(narrow dependency)

1.1 定义

一个父RDD的partition至少被子RDD的某个partition使用一次

1.2 Example


map.png

union.png

joinWithInputCo-partition.png

1.3 窄依赖优点

没有data re-distribution, 窄依赖错误恢复更容易
  1. 宽依赖

2.1 宽依赖定义

一个父RDD的partitiom会被子RDD的partition使用多次
groupByKey.png

你可能感兴趣的:(宽窄依赖与Spark开发流程)