Spark 子模块 StructuredStreaming分析(及SparkSQL的演变)

一、前言

1. 相关版本：Spark Master branch(2018.11, compiled-version spark-3.0.0)

2. 画图工具（dia 0.97+git，http://live.gnome.org/Dia）

二、SparkSQL 的发展历史

依照https://mp.weixin.qq.com/s/AQ_kjnRBr0nob6WjbNwggg 画了个图来总结，更直观些。

三、Spark Structured Streaming( 剖析Streaming Query )

 

四、Structured Streaming的类图关系及其关键流程

v2018.12.13

参考：

1.DataBrick doc: A_Deep_Dive_into_Structured_Streaming.pdf

2.腾讯广告部门blog: https://github.com/lw-lin/CoolplaySpark/tree/master/Structured%20Streaming%20%E6%BA%90%E7%A0%81%E8%A7%A3%E6%9E%90%E7%B3%BB%E5%88%97