第25课:spark streaming的streamingContext启动及Jobschedule启动源码图解

第25课:spark streaming的streamingContext启动及Jobschedule启动源码图解

1 streamingContext启动
2 Jobschedule启动源码图解


/* * *王家林老师授课http://weibo.com/ilovepains */  每天晚上20:00YY频道现场授课频道68917580

 

StreamingContext.start:

1,validate

2,newThread(JobScheduler)

3,state:ACTIVE

4,metricsSystem

5,uiTab

 

 

 

JobScheduler.start 会引发三个消息循环体的运行,其中有两个是本地的消息循环体,另外一个是RPC消息循环体

eventLoop:

 

onReceive(JobSchedulerEvent)

1,JobStarted:handleJobStart

2,JobCompleted:handleJobCompletion

3,ErrorReported:handleError

 

 

endpointRPC

onReceive(RPCMessage)

1StartAllReceivers

2,CleanupOldBlocks

3,UpdateReceiverRateLimit

4,AddBlock

。。。。

 

 

 

eventLoop:EventLoop[JobGeneratorEvent]

onReceive(JobGeneratorEvent)

case GenerateJobs(time)=> generateJobs(time)

      case ClearMetadata(time) =>clearMetadata(time)

      case DoCheckpoint(time,clearCheckpointDataLater) =>

        doCheckpoint(time,clearCheckpointDataLater)

      case ClearCheckpointData(time) =>clearCheckpointData(time)

 

 

 

 

 

第25课:spark streaming的streamingContext启动及Jobschedule启动源码图解_第1张图片

你可能感兴趣的:(Spark源码版本定制发行班)