王家林每日大数据语录Spark篇0009(2015.11.1于北京)

Spark的CheckPoint是在计算完成之后重新建立一个Job来进行计算的,用户可以通过调用RDD.checkpoint()来指定RDD需要checkpoint的机制;为了避免重复计算,建议先对RDD进行persist操作,这样可以保证checkpoint更加快速的完成。


你可能感兴趣的:(王家林,王家林spark,王家林语录)