Spark通信--client、master、worker间的通信

转载自  http://www.wangsenfeng.com/articles/2016/10/26/1477467509513.html

Client:提交作业。

Master:接收作业,启动Driver和Executor,管理Worker。 

Worker:管理节点资源,启动Driver和Executor。


Spark通信--client、master、worker间的通信_第1张图片

(1)Client to Master

RegisterApplication:注册应用。 


(2)Master to Client 

RegisteredApplication:注册应用后,回复给Client。

ExecutorAdded:通知Client Worker已经启动了Executor,当向Worker发送Launch-Executor时,通知Client Actor。 

ExecutorUpdated:通知Client Executor状态已更新。


(3)Master to Worker 

LaunchExecutor:启动Executor。 

RegisteredWorker:Worker注册的回复。 

RegisterWorkerFailed:注册Worker失败的回复。 

KillExecutor:停止Executor进程。 


(4)Worker to Master

RegisterWorker:注册Worker。

Heartbeat:周期性地Master发送心跳信息。

ExecutorStateChanged:通知Master,Executor状态更新。

你可能感兴趣的:(Spark通信--client、master、worker间的通信)