Spark 子模块 Spark Streaming(几张图看懂Spark Streaming框架)

一、前言

1.相关版本：Spark Master branch(2018.11, compiled-version spark-2.4.1)

2. Spark Streaming VS Structured Streaming 请参考https://blog.csdn.net/don_chiang709/article/details/84660351

二、Spark Streaming

0. 预备知识

• DStream 与 RDD 的关系

• DStream 子类（Spark-Streaming数据源类图）

• SparkStreaming代码目录

1. Spark Streaming 数据处理流程

2. Spark Streaming 运行框架

3. Spark Streaming 关键阶段时序图：

• Streaming Context 启动时序图

• 数据存储类时序图

• 数据处理类时序图

4.  Spark Streaming 实例（wordcount）

参考：

《图解Spark核心技术与案例实战》