Spark Streaming 的 Transformations

DStream 转换操作包括：无状态转换、有状态转换。
无状态转换：每个批次的处理不依赖于之前批次的数据。
有状态转换：当前批次的处理需要使用 之前批次的数据或者中间结果。有状态转换包括基于 滑动窗口的转换 和 追踪状态变化的转换(updateStateByKey)。

无状态转换操作

下面给出一些无状态转换操作的含义：

• map(func) ：对源DStream的每个元素，采用func函数进行转换，得到一个新的DStream；

• flatMap(func)： 与map相似，但是每个输入项可用被映射为0个或者多个输出项；

• filter(func)： 返回一个新的DStream，仅包含源DStream中满足函数func的项；

• repartition(numPartitions)： 通过创建更多或者更少的分区改变DStream的并行程度；

• union(otherStream)： 返回一个新的DStream，包含源DStream和其他DStream的元素；rdd1.union(rdd2)

• count()：统计源DStream中每个RDD的元素数量；

• reduce(func)：利用函数func聚集源DStream中每个RDD的元素，返回一个包含单元素RDDs的新DStream；

• countByValue()：应用于元素类型为K的DStream上，返回一个（K，V）键值对类型的新DStream，每个键的值是在原DStream的每个RDD中的出现次数；

• reduceByKey(func, [numTasks])：当在一个由(K,V)键值对组成的DStream上执行该操作时，返回一个新的由(K,V)键值对组成的DStream，每一个key的值均由给定的recuce函数（func）聚集起来；

• join(otherStream, [numTasks])：当应用于两个DStream（一个包含（K,V）键值对,一个包含(K,W)键值对），返回一个包含(K, (V, W))键值对的新DStream；

• cogroup(otherStream, [numTasks])：将多个RDD中同一个Key对应的Value组合到一起。看一个例子：

  val data1 = sc.parallelize(List((1, "www"), (2, "bbs")))
  val data2 = sc.parallelize(List((1, "iteblog"), (2, "iteblog"), (3, "very")))
  val data3 = sc.parallelize(List((1, "com"), (2, "com"), (3, "good")))
  val result = data1.cogroup(data2, data3)
  result.collect
  
  //结果为：
  Array[(Int, (Iterable[String], Iterable[String], Iterable[String]))] =
  Array((1, (CompactBuffer(www), CompactBuffer(iteblog), CompactBuffer(com))), 
  (2, (CompactBuffer(bbs), CompactBuffer(iteblog), CompactBuffer(com))), 
  (3, (CompactBuffer(), CompactBuffer(very), CompactBuffer(good))))
  
  从上面的结果可以看到，data1中不存在Key为3的元素（自然就不存在Value了），
  在组合的过程中将data1对应的位置设置为CompactBuffer()了，而不是去掉了。
  

• transform(func)：通过对源DStream的每个RDD应用RDD-to-RDD函数，创建一个新的DStream。支持在新的DStream中做任何RDD操作。todo：transform 的使用例子 网上较少，貌似在 MLlib上用的较多，先留着

上面的无状态转换有一些在这篇文章做了简要介绍并附上了例子：Spark 编程基础

DStream有状态转换操作

对于DStream有状态转换操作而言，当前批次的处理需要使用之前批次的数据或者中间结果。有状态转换包括 基于滑动窗口的转换 和 追踪状态变化(updateStateByKey) 的转换。

滑动窗口转换操作

滑动窗口转换操作的计算过程如下图所示，我们可以事先设定一个滑动窗口的长度：windowLength（也就是窗口的持续时间），并且设定滑动窗口的时间间隔：slideInterval（每隔多长时间执行一次计算），然后，就可以让窗口按照指定时间间隔在源DStream上滑动，每次窗口停放的位置上，都会有一部分DStream被框入窗口内，形成一个小段的DStream，这时，就可以启动对这个小段DStream的计算。

下面给给出一些窗口转换操作的含义：

• window(windowLength, slideInterval) 基于源DStream产生的窗口化的批数据，计算得到一个新的DStream；

• countByWindow(windowLength, slideInterval) 返回流中元素的一个滑动窗口数；

• reduceByWindow(func, windowLength, slideInterval) 返回一个单元素流。利用函数func聚集滑动时间间隔的流的元素创建这个单元素流。函数func必须满足结合律，从而可以支持并行计算；

• reduceByKeyAndWindow(func, windowLength, slideInterval, [numTasks]) 应用到一个 (K, V) 键值对组成的 DStream 上时，会返回一个由 (K, V) 键值对组成的新的DStream。每一个key的值均由给定的 reduce 函数 (func 函数) 进行聚合计算。注意：在默认情况下，这个算子利用了 Spark 默认的并发任务数去分组。可以通过 numTasks 参数的设置来指定不同的任务数；

• reduceByKeyAndWindow(func, invFunc, windowLength, slideInterval, [numTasks]) 更加高效的reduceByKeyAndWindow，每个窗口的 reduce 值，是基于先前窗口的 reduce 值进行增量计算得到的；它会对进入滑动窗口的新数据进行 reduce 操作，并对离开窗口的老数据进行“逆向 reduce”操作。但是，只能用于“可逆 reduce 函数”，即那些reduce函数都有一个对应的“逆向 reduce函数”（以InvFunc参数传入）；

• countByValueAndWindow(windowLength, slideInterval, [numTasks]) 当应用到一个(K,V)键值对组成的DStream上，返回一个由(K,V)键值对组成的新的DStream。每个key的值都是它们在滑动窗口中出现的频率。

下面重点介绍下 reduceByKeyAndWindow：

reduceByKeyAndWindow

再看一下这个图：

1、reduceByKeyAndWindow(_ + _, Seconds(3), Seconds(2))
此方法的窗口长度为3，两秒划分一次，并对 key 相同的 value 进行相加，即 WordCount。

2、对于他的重载函数 reduceByKeyAndWindow(_ + _, _ - _, Seconds(3s), seconds(2))
设计理念是，当 滑动窗口的时间Seconds(2) < Seconds(3)（窗口大小）时，两个统计的部分会有重复，那么我们就可以不用重新获取或者计算，而是通过获取旧信息来更新新的信息，这样即节省了空间又节省了内容，并且效率也大幅提升。

如上图所示，2次统计重复的部分为 time3 对用的时间片内的数据，这样对于window1，和window2的计算可以如下所示
win1 = time1 + time2 + time3
win2 = time3 + time4 + time5

更新为
win1 = time1 + time2 + time3
win2 = win1+ time4 + time5 - time1 - time2

这样就理解了吧, _ + _ 是对新产生的时间分片（time4, time5 内 RDD）进行统计，而 _ - _ 是对上一个窗口中，过时的时间分片 (time1, time2) 进行统计

updateStateByKey操作

我们统计单词词频采用的是无状态转换操作，也就是说，只对本批次内的单词进行词频统计，不会考虑之前到达的批次的单词，所以，不同批次的单词词频都是独立统计的。

对于有状态转换操作而言，本批次的词频统计，会在之前批次的词频统计结果的基础上进行不断累加，所以，最终统计得到的词频，是所有批次的单词的总的词频统计结果。

注意 updateStateByKey 操作要求开启 checkPoint。

//设置检查点，检查点具有容错机制
sc.checkpoint("file:///usr/local/spark/mycode/streaming/stateful/")

val words = lines.flatMap(_.split(" "))
val dStream = words.map(x => (x, 1))

val results = dStream.updateStateByKey[Int]((values: Seq[Int], state: Option[Int]) => {
    val currentCount = values.sum
    val previousCount = state.getOrElse(0)
    Some(currentCount + previousCount)
})

results.print()
sc.start()
sc.awaitTermination()

• 函数中第一个参数 values：
  是当前batch 某个key 即某个单词的列表，譬如：(x, 1) (x, 1) (x, 1) ...
  values.sum 即统计 当前 batch 某个单词 所有值的总和：(x, 3)。

• 第二个参数 state：
  某个key的历史状态信息，也就是某个单词历史批次的词频汇总结果，因为当前批次（batch ）可能是第一个 batch，上一batch可能没有，所以使用 getOrElse(0)，没有的话就是0。

• 上一batch 和 当前batch 累加
  当新的batch到来时，继续进行累加，依次统计当前所有 batch 的值。