Spark Streaming 检查点机制

SparkStreaming若需要24/7不间断的运行，因此Streaming必须对诸如系统错误，JVM出错等与程序逻辑无关的错误(failures)具体很强的弹性，具备一定的非应用程序出错的容错性。Spark Streaming的Checkpoint机制便是为此设计的，它将足够多的信息checkpoint到某些具备容错性的存储系统如hdfs上，以便出错时能够迅速恢复。

有两种数据可以checkpoint：

• Metadata checkpointing
  将流式计算的信息保存到具备容错性的存储上比如HDFS，Metadata Checkpointing适用于当streaming应用程序Driver所在的节点出错时能够恢复。

  元数据包括：
  1、配置信息：创建 Spark-Streaming 应用程序的配置信息，比如 SparkConf
  2、DStream操作：在streaming应用程序中定义的DStreaming操作
  3、未处理完的 batch 信息：在队列中没有处理完的作业

• Data checkpointing
  将生成的RDD保存到外部可靠的存储当中，对于一些数据跨度为多个batch的有状态transforation（updateStateByKey和 reduceByKeyAndWindow）操作来说，checkpoint非常有必要，因为在这些transformation操作生成的RDD对前一RDD有依赖，随着时间的增加，依赖链可能非常长，checkpoint机制能够切断依赖链，将中间的RDD周期性地checkpoint到可靠存储当中，从而在出错时可以直接从checkpoint点恢复。

具体来说，metadata checkpointing主要还是从driver失败中恢复，而Data Checkpoint用于对有状态的transformation操作进行checkpointing

什么时候checkpoint？

什么时候该启用checkpoint？满足一下任意条件：

• 使用了有状态转换，如果application中使用了updateStateByKey或者reduceByKeyAndWindow等stateful操作，必须提供checkpoint目录来允许定时的RDD checkpoint
• 希望能从意外中恢复driver
  如果streaming app没有stateful操作，也允许friver挂掉之后再次重启 的进度丢失，就没有启动checkpoint的必要了。

如何使用checkpoint？

启用checkpoint，需要设置一个支持容错的、可靠的文件系统(如hdfs、s3等)目录来保存checkpoint数据。通过调用streamingContext.checkpoint(checkpointDirectory)来完成。
另外 ，如果你想让你的application能从driver失败中恢复，你的application要满足 :

• 若application为首次重启，将创建一个新的StreamContext实例
• 如果application是从失败中重启，将会从checkpoint目录导入checkpoint数据来重新创建StreamingContext实例。

通过StreamingContext.getOrCreate可以达到目的:

object TestMetaCheckpoint {
    def main(args: Array[String]): Unit = {

        val conf = new SparkConf().setMaster("local[2]").setAppName("WC")

        val checkpointDirectory = "hdfs://linux01:8020/streaming/stateful/"

        def functionToCreateContext(): StreamingContext = {
            val ssc = new StreamingContext(conf, Seconds(5))

            val wordcount = ssc.socketTextStream("linux02", 9999)
                .flatMap(_.split(" ")).map(word => (word, 1))

            wordcount.print()

            ssc.checkpoint(checkpointDirectory)
            ssc
        }

        val ssc = StreamingContext.getOrCreate(checkpointDirectory, 
            functionToCreateContext)

        ssc.start()
        ssc.awaitTermination()
    }
}

如果checkpointDirecrory存在，那么context将导入checkpoint数据。如果目录不存在，函数functionToCreateContext将被调用并创建新的context

需要注意的是，随着streaming application的持续运行，checkpoint数据占用的存储空间会不断变大。因此，需要小心设置checkpoint的时间间隔。设置的越小 ，checkpoint次数会越多，占用空间会越大；如果设置越大，会导致恢复时占用的时间越多。一般推荐设置为batch duration的5~10倍。

通过Dstream.checkpoint(checkpointInterval)，来设置每次checkpoint的间隔时间。
如果不设置的话，checkpoint的间隔时间由下面的公式确定：
slideDuration * math.ceil(Seconds(10) / slideDuration).toInt

slideDuration：DStream中 每个batch的持续时间
math.ceil：向上取整（比如 math.ceil(4.2) = 5）

此公式的效果：取10秒 或 slideDuration 两者较大的值。

【注意】：dstream 的 checkpoint 的周期一定要是产生 batch 的时间的整数倍，同时官方建议将 checkpoint 的时间设置为至少 10 秒。假如DStream中的batch duration为3秒，则设置checkpoint的时间为30秒是合适的。