Spark定制班第28课：在集成开发环境中详解Spark Streaming的运行日志内幕

本期内容：

1. Spark Streaming日志

2. Spark Streaming在IDE中的日志分析 

WordCountLine

15秒钟的时间间隔

日志中ForeachDStream先打印。

SocketInputDStream storage level false,false,false,false,1

但StorageLevel：

rememberDuration也是15s。

在提交作业前，先构建DStreamGraph对象。

driver准备 就绪，receiver也没问题了。75-93line 可以交给Core进行调度了。

75-83 executor的内容

92- 增加job 

94- core的内容

 

SS就是个大Saprk应用程序

154- 监听器 要保证延迟时间一定要小于batchDuration

156- 作业完成后，删除作业：清掉数据和元数据

下面又有作业产生

210- 删除RDD

remove old  batch metadta             driver级别，是在下一个batch时删除?

rememberDuration的设置略微复杂些，大体是 slideDuration，如果设置了checkpointDuration 则是2*checkpointDuration 或者通过DStreamGraph.rememberDuration(如果设置了的话，譬如通过StreamingContext.remember方法，不过通过该方法设置的值要大于计算得到的值会生效)

另外值得一提的就是后面的DStream 会调整前面的DStream的rememberDuration，譬如如果你用了window* 相关的操作，则在此之前的DStream 的rememberDuration 都需要加上windowDuration。

问题：

remove old  batch metadta             driver级别，是在下一个batch时删除?

第一个Job出现没有删除RDD的信息，在第二个BatchDuration之前，