spark架构设计&编程模型01

spark架构设计&编程模型01_第1张图片

spark架构设计&编程模型01_第2张图片

spark架构设计&编程模型01_第3张图片

spark架构设计&编程模型01_第4张图片

spark架构设计&编程模型01_第5张图片

RDD操作例子:

spark架构设计&编程模型01_第6张图片

spark架构设计&编程模型01_第7张图片

RDD的依赖和运行时

spark架构设计&编程模型01_第8张图片

spark架构设计&编程模型01_第9张图片

spark架构设计&编程模型01_第10张图片

spark架构设计&编程模型01_第11张图片

深入RDD:

spark架构设计&编程模型01_第12张图片

spark架构设计&编程模型01_第13张图片


spark架构设计&编程模型01_第14张图片

另一种Partitioner是RangePartitioner:

spark架构设计&编程模型01_第15张图片

spark架构设计&编程模型01_第16张图片

spark架构设计&编程模型01_第17张图片

spark架构设计&编程模型01_第18张图片

spark架构设计&编程模型01_第19张图片

spark架构设计&编程模型01_第20张图片

以NewHadoopRDD为例,其诶不的信息如下所示:

spark架构设计&编程模型01_第21张图片

以WholeTextFileRDD为例,其内部的信息如下:

spark架构设计&编程模型01_第22张图片


你可能感兴趣的:(编程,spark,架构设计)