spark dataframe, rdd unpersist的坑

目前使用的Spark 2.1.0有一个很坑爹的问题，如果persist一个df1后unpersist 与df1相关的df0，那么df1也会被unpersist掉，导致后续用到df1的地方又需要重新算df1，降低性能。这个问题直到Spark2.4.0才解决。问题复现如下：

 

 

 

但是rdd的persist不会因为linage的rdd被unpersist后而消失

 

 

df.sqlContext.clearCache可以清空所有df的persist，但是清不掉rdd直接persist的。

 

而

def unpersistUnuse( sc: SparkContext) = {
val persistRdds = sc.getPersistentRDDs
persistRdds.foreach(x => x._2.unpersist() )
}

则可清除掉所有df，rdd的缓存

 

即使吧df转为rdd persist下来也是没用的，用到df时还是会重复计算