基于spark的流式数据处理—SparkStreaming开发demo—RDD流

概述

在调试Spark Streaming应用程序的时候，我们可以使用如下方法创建基于RDD队列的DStream：

streamingContext.queueStream(queueOfRDD)

本文demo场景是：每隔1秒创建一个RDD，Streaming每隔2秒就对数据进行处理。

代码

新建一个LzTestRDDQueueStream.scala代码文件，如下所示：

package sparkStreaming

import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.streaming.{Seconds, StreamingContext}

import scala.collection.mutable

/**
 * @Author: Garrett Wang
 * @Description: 每隔1秒创建一个RDD，Streaming每隔2秒就对数据进行处理
 * @Date:Create：in 2019/12/26 10:42
 * @Modified By：
 * @Parameters
 */
object LzTestRDDQueueStream {

  def main(args: Array[String]): Unit = {

    val sparkConf = new SparkConf().setAppName("TestRDDQueue").setMaster("local[2]")
    val ssc = new StreamingContext(sparkConf, Seconds(2))

    // 创建一个队列并且让spark streaming监听这个队列
    val rddQueue = new mutable.Queue[RDD[Int]]()
    val queueStream = ssc.queueStream(rddQueue)

    // 队列流处理逻辑
    val mappedStream = queueStream.map(r => (r % 10, 1)).reduceByKey(_ + _)
    mappedStream.print()
    ssc.start()

    // 每隔1秒往RDD队列里面添加整数数组
    for (i <- 1 to 10) {
      rddQueue += ssc.sparkContext.makeRDD(1 to 100, 2)
      Thread.sleep(1000)
    }
    ssc.stop()

  }

}

sbt打包运行命令如下：

spark2-submit --class sparkStreaming.LzTestRDDQueueStream /opt/IdeaProjects/LzScalaSparkTest/target/scala-2.11/lzscalasparktest_2.11-0.3.jar

运行结果如下：

-------------------------------------------
Time: 1577330452000 ms
-------------------------------------------
(4,10)
(0,10)
(6,10)
(8,10)
(2,10)
(1,10)
(3,10)
(7,10)
(9,10)
(5,10)