王家林每日大数据语录Spark篇0022（2015.11.18于珠海）

Spark Checkpoint通过将RDD写入Disk做检查点，是Spark lineage容错的辅助，lineage过长会造成容错成本过高，这时候在中间阶段做检查点容错，如果之后有节点出现问题而丢失分区，从做检查点的RDD开始重做Lineage，就会减少开销。Checkpoint主要适用于以下两种情况：1. DAG中的Lineage过长，如果重算时会开销太大，例如在PageRank、ALS等；2. 尤其适合于在宽依赖上做Checkpoint，这个时候就可以避免应为Lineage重新计算而带来的冗余计算。