第2课:通过案例对SparkStreaming 透彻理解三板斧之二

第2课:通过案例对SparkStreaming 透彻理解三板斧之二

 

空间维度: Y轴代表RDD的依赖关系构成的具体的处理逻辑的步骤,是用DStream Graph 表示的

 时间维度: X轴按照特定间隔不断的生成job的实例并在集群上运行

 

 

 

随着时间的流失基于DStream  Graph不断的生成以RDDGraph也就是DAG的方式产生JOB,并通过JobSchedule的线程池的方式提交Spark Cluster不断的执行。

 

数据在与不在,sparksteaming 不管有没有数据,一直监听

 

1、需要RDD DAG生成模板DStreamGraph

2、需要基于Timelinejob控制器

3InputStreamOutputStream代表数据的输入和输出

4、具体JOB运行在SparkCluster之上,此时系统容错就至关重要

5、事务处理,数据有且只有一次的处理。如点击计费系统,不能漏记,公司损失;多计,用户损失。

   在处理出现崩溃的情况下,保证Exactly once的事务语义

 

你可能感兴趣的:(第2课:通过案例对SparkStreaming 透彻理解三板斧之二)