Spark定制班第30课：集群运行模式下的Spark Streaming日志和Web监控台实战演示彻底解密

本期内容：

1. 集群模式下的Spark Streaming日志

2. 集群模式下的Spark Streaming Web监控台

NetworkWordCount程序 batch duration设置300秒。job并行度为1。4个worker的集群。

看web控制台知道，如果不输入数据，Receiver就没有计算任务。 数据处理的任务中socket text strearm，flatmap、map处，也没有task运行。reduceByKey处还是有task，以表明有action。即使0数据时，batch duration周期内也有处理时间，因为有打印输出。

如果输入数据，数据处理的任务中socket text strearm，flatmap、map、reduceByKey处，都有数据处理。

没有batch duration周期都会有Job生成。

每个batch duration内有3个job。

TODO 课程不清晰。

最开始只有一个receiver，就只有一个job。当后面有多个receiver时，会有多个job。

预期是运行一个Job，实际是运行了多个Job。系统能根据已有的并行度设置，来尽量多的分配并发资源。

从Spark Streaming的角度讲，只是封装了Runnable对象。