SparkStreaming之mapWithState

与updateStateByKey方法相比，使用mapWithState方法能够得到6倍的低延迟的同时维护的key状态的数量要多10倍，这一性能的提升和扩展性可以从基准测试结果得到验证，所有的结果全部在实践间隔为1秒的batch和相同大小的集群中生成。

下图比较的是mapWithState方法和updateStateByKey方法处理1秒的batch所消耗的平均时间。在本例子中，我们为同样数量的的key(0.25-1百万)保存状态，然后已同意的速率（30个更新/s）对其进行更新。可以看到mapWithState方法比updateStateByKey方法快了8倍，从而允许更低的端到端的延迟。

package com.llcc.sparkSql.MyTimeSort

import org.apache.spark.streaming.StreamingContext
import org.apache.spark.SparkConf
import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.StateSpec
import org.apache.spark.streaming.State

object MapWithStateDemo {
  def main(args: Array[String]): Unit = {
    /**
      * local[1]  中括号里面的数字都代表的是启动几个工作线程
      * 默认情况下是一个工作线程。那么做为sparkstreaming 我们至少要开启
      * 两个线程，因为其中一个线程用来接收数据，这样另外一个线程用来处理数据。
      */
    val conf=