7.8 Structured Streaming

一、Spark流计算组件的演进

7.8 Structured Streaming_第1张图片

7.8 Structured Streaming_第2张图片 7.8 Structured Streaming_第3张图片

 7.8 Structured Streaming_第4张图片

 7.8 Structured Streaming_第5张图片

7.8 Structured Streaming_第6张图片

二、Structured Streaming的基本原理

  Structured Streaming将数据建模成一个结构化的数据表DataFrame,后到达的数据就是一条一条的记录不断往里追加。

7.8 Structured Streaming_第7张图片

7.8 Structured Streaming_第8张图片

三、为什么设计Structured Streaming

1.重新抽象了流失计算(基于DataFrame的数据抽象)

2.易于实现数据的exactly-once(保证数据至少处理一次,而且只处理一次)

7.8 Structured Streaming_第9张图片

 

 

 

 

参考文献:

【1】https://www.icourse163.org/learn/XMU-1205811805?tid=1206617233&from=study#/learn/content?type=detail&id=1211383874&sm=1

你可能感兴趣的:(7.8 Structured Streaming)