Spark Streaming

Spark Streaming

  • Spark Streaming
    • 一、应用场景
    • 二、核心机制
    • 三、Spark Streaming的程序执行入口
      • 3.1 StreamingContext
      • 3.2 StreamingContext的使用步骤
        • 3.2.1 创建程序执行入口
        • 3.2.2 根据数据源创建数据抽象DStream
        • 3.2.3 调用DStream的算子进行数据计算
        • 3.2.4 调用StreamingContext的start方法启动实时计算
        • 3.2.5 调用StreamingContext的awaitxxxx等待实时计算运行
    • 四、DStream的创建
      • 4.1 从网络端口创建DStream
      • 4.2 从外部文件中创建DStream
      • 4.3 Flume/Kafka
    • 五、DStream的算子操作
      • 5.1 DStream是由时间批次组成RDD的集合
      • 5.2 无状态算子
      • 5.3 有状态算子
      • 5.4 窗口算子
    • 六、DStream的输出操作
      • 6.1 print操作
      • 6.2 saveAsTextFile/ObjectFile
      • 6.3 foreachRDD操作
    • 七、Spark Streaming的WAL预写日志
      • 7.1 如何开启WAL预写日志
        • 7.1.1 设置ssc的检查点目录
        • 7.1.2 给SparkConf中增加一个配置项

Spark Streaming

一、应用场景

实时计算的,一般使用在实时性要求比较高的场合。但是Spark Streaming内部采用批次计算的机制实现实时计算,一般情况下Spark Streaming也称之为准实时计算框架,批处理框架。

二、核心机制

核心采用了一个新的数据抽象DStream,DStream是多个RDD的集成体,DStream中采用时间批次的概念,将一段时间之间的数据封装为一个RDD,然后统一处理一次

三、Spark Streaming的程序执行入口

3.1 StreamingContext

3.2 StreamingContext的使用步骤

3.2.1 创建程序执行入口
3.2.2 根据数据源创建数据抽象DStream
3.2.3 调用DStream的算子进行数据计算
3.2.4 调用StreamingContext的start方法启动实时计算
3.2.5 调用StreamingContext的awaitxxxx等待实时计算运行

程序资源的问题,一般情况下,SparkStreaming的运行资源线程数一般大于等于2,receiver接收器接受数据源的数据封装称为batch批次数据时,batch数据可以自己设置存储位置,默认在内存和硬盘序列化存储2份

四、DStream的创建

4.1 从网络端口创建DStream

4.2 从外部文件中创建DStream

从外部文件中创建DStream(可以是本地文件系统的,也可以是HDFS文件系统):textFileStream fileStream 文件读取机制采用的是MapReduce中InputFormat机制来读取的

4.1~4.2:基础数据源

4.3 Flume/Kafka

高级数据源

五、DStream的算子操作

5.1 DStream是由时间批次组成RDD的集合

5.2 无状态算子

算子只对当前批次的数据有效,前一个批次的计算结果不清楚

  1. RDD中涉及的算子DStream基本都有,这些算子基本上都是无状态算子
  2. transform 算子直接对DStream中的RDD进行运算的

5.3 有状态算子

算子会记录前一个批次的计算结果,然后在和当前批次进行计算updateStateByKey

使用前提必须开启检查点目录

5.4 窗口算子

将n个批次的数据划分称为一个窗口。然后对窗口统一的运算

window 两个核心参数:

  1. windowDuration:窗口的宽度(包含多少个批次的数据)
  2. slideDuration:窗口的间隔(从前一个窗口的第批次条数据到第二个窗口的第一批次数据的间隔)

六、DStream的输出操作

6.1 print操作

6.2 saveAsTextFile/ObjectFile

6.3 foreachRDD操作

可以实现Spark Streaming和Spark的其他组件的无缝衔接

七、Spark Streaming的WAL预写日志

Spark Streaming运行的时候需要一个Receiver接收器接受数据,接受的数据设置缓存的地方,Receiver接受的数据一旦丢失,就算Spark有容错机制,无法计算了,因为没有数据源的数据了。

为了保证数据的安全性,防止了Receiver接受的数据丢失,可以开启Spark Streaming的预写日志WAL,WAL可以实现将Receiver每一批次的数据缓存到Spark的检查点目录。 因为一旦开启了WAL,程序的执行效率会非常的低

7.1 如何开启WAL预写日志

7.1.1 设置ssc的检查点目录
7.1.2 给SparkConf中增加一个配置项

spark.streaming.receiver.writeAheadLog.enable = true

你可能感兴趣的:(实训,spark,大数据,分布式)