spark rdd 爬坑集

对于在调用rdd.checkpoint()之前就做过action的rdd ,checkpoint是无效的,不会产生checkpoint文件

必须在checkpoint之前紧接再来一个map(空操作也可)


rdd2 = rdd.map {....};

rdd2.count();

rdd2.checkpoint();

rdd2.count() (无效)


rdd2 = rdd.map {....};

rdd2.checkpoint();

rdd2.count() (有效)

rdd2 = rdd.map {....};

rdd2.count();

rdd2 = rdd2.map(a=>a)

rdd2.checkpoint();

rdd2.count() (有效)

你可能感兴趣的:(spark rdd 爬坑集)