第126-134课：Spark Streaming源码经典解读
Spark Streaming源码经典解读
一：基于DStream的DStreamGraph源码内幕
1、DStream下transformation和action解密
2、DStreamGraph内幕源码解密
二：Spark Streaming生成RDD并执行Job源码内幕解密
1、DStream产生RDD的案例实战演示
2、DStream作为RDD模板的原理机制
3、常见的DStream生产RDD源码彻底解密
compute
三：JobScheduler工作内幕源码解密
1、JobScheduler、JobGenerator、ReceiverTracker
2、JobScheduer源码内幕
3、Spark Streaming Job深度思考和实验
JobGenerator生成作业，JobScheduler调度作业给Spark core。有RDD就有固定的数据源，因此需要BlockManager。使用ReceiverTracker来封装BlockManager
JobScheduler收到作业->JobScheduler启动作业->交给Spark Core->Spark Core把结果给JobScheduler 相当于堆栈调用
Spark core可不可以同时运行多个Job？可以，把每个Job在单独线程中启动。
sparkstreaming中的job 有形，假的不实际运行；spark core 无job，实际在运行。
Spark Streaming默认Job调度方式是FIFO的方式
四：JobGenerator工作内幕源码解密
1、JobGenerator启动源码内幕
2、JobGenerator工作源码内幕
3、JobGenerator中关于“半条”数据如何处理？
五：Receiver工作内幕源码解密
1、Receiver完整启动过程源码内幕
2、Receiver工作源码内幕
ReceiverTracker和Receiver是master和slave的关系，
Receiver的启动是启动了一个Spark core的job
好处一：确保Receiver一定可以启动
好处二：更平均，一般不在同一个机器启动
六：ReceiverTracker工作内幕源码解密
1、ReceiverTracker启动和工作机制源码内幕解密
2、Receiver、ReceiverSupervisor和ReceiverTracker通信内幕
ReceiverTracker在JobScheduler启动的时候启动的
ReceivedBlockTracker
BlockGenerator ：
Generates batches of objects received by a
[[org.apache.spark.streaming.receiver.Receiver]] and puts them into appropriately
named blocks at regular intervals. This class starts two threads,
one to periodically start a new batch and prepare the previous batch of as a block,
the other to push the blocks into the block manager.
BlockGenerator，一个线程要不断的从Receiver中接收数据，一个线程按照固定的时间间隔将数据转化成Block，一个线程要将队列中的Block发送给BlockManager
七：Executor容错工作内幕源码解密
1、Spark Streaming Executor高可用容错的几种方式
2、Spark Streaming Executor高可用容错源码解析
进程本身的容错叫HA
Slave级别容错的目标：保证数据安全
备份（BlockManager的备份或使用WAL）、重放（从前一步再读一遍，如Kafka）
RDD和具体数据之间适配层。
RDD本身感受不到数据变化
八：Driver容错工作内幕源码解密
1、数据的容错
2、驱动的容错
WAL相当于一个序列化和反序列化的过程。数据会写入到WAL中，反之如果有错误会从WAL读取
WAL采用了Rolling的方式，checkpoint相对简单一些
job生成和提交会进行checkpoint
Spark Streaming总结
1、Spark Streaming “魔镜秘境”
2、发展中的Spark Streaming