Spark机器学习第4课： 深度解析Structured Streaming

原文链接： https://my.oschina.net/u/1449867/blog/724428

Structed Streaming在2.0推出的时候，其实并不是很成熟，包括一些功能的不完善和会有bug

但是它给我们带来了全新的视野，导致我们可以更容易去使用流处理，和更高效使用流去处理数据

 

现实中的目标是end-to-end continuous app

它已经不是一个流式处理的概念，就是一个应用程序的概念，这是一个continuous app,

什么是一个continus app？

也就是应用程序是在不断地运行和发生着：1.数据不断地递增（Kafka会不断地有数据产生）

2.应用程序7*24小时运行

end-to-end:流处理知识整个IT系统的一个环节，流的处理结果为下一个环节做准备

 

所以Spark 2.0开创性地提出了这一理念，实现这一理念的就是Structed Streaming

 

 

EventTime(基于事件的处理，以前是不可想象的)

可以通过JDBC去查询Spark Streaming的处理结果

 

 

 

归纳总结：1.Structed Streaming in Spark 2.0

2.看图理解Spark Streaming 的目标

3.实现Structed Streaming的重点

 

 

转载于:https://my.oschina.net/u/1449867/blog/724428