Spark定制班第28课:在集成开发环境中详解Spark Streaming的运行日志内幕

本期内容:
1. Spark Streaming日志
2. Spark Streaming在IDE中的日志分析 

WordCountLine
15秒钟的时间间隔
日志中ForeachDStream先打印。
SocketInputDStream storage level false,false,false,false,1
但StorageLevel:

rememberDuration也是15s。
在提交作业前,先构建DStreamGraph对象。
driver准备 就绪,receiver也没问题了。75-93line 可以交给Core进行调度了。

75-83 executor的内容
92- 增加job 
94- core的内容
 
SS就是个大Saprk应用程序

154- 监听器 要保证延迟时间一定要小于batchDuration
156- 作业完成后,删除作业:清掉数据和元数据
下面又有作业产生
210- 删除RDD
remove old  batch metadta             driver级别,是在下一个batch时删除?
rememberDuration的设置略微复杂些,大体是 slideDuration,如果设置了checkpointDuration 则是2*checkpointDuration 或者通过DStreamGraph.rememberDuration(如果设置了的话,譬如通过StreamingContext.remember方法,不过通过该方法设置的值要大于计算得到的值会生效)
另外值得一提的就是后面的DStream 会调整前面的DStream的rememberDuration,譬如如果你用了window* 相关的操作,则在此之前的DStream 的rememberDuration 都需要加上windowDuration。

问题:
remove old  batch metadta             driver级别,是在下一个batch时删除?
第一个Job出现没有删除RDD的信息,在第二个BatchDuration之前,

你可能感兴趣的:(Scala,大数据技术,Spark)