RDD的iterator中的缓存处理内幕 -- (视频笔记)

前提storageLevel != null

 读源码查看

先看ietrator,

查看storageLevel

看sparkEnv.getMemoryManger,通过block manager来操作具体的storage,a list of partitions;RDD获取缓存实质上通过block manager 来获取,partition经过处理后的数据。缓存是block级别的。

 

你可能感兴趣的:(RDD的iterator中的缓存处理内幕 -- (视频笔记))