spark内核揭秘-13-Worker中Executor启动过程源码分析

阅读更多

进入Worker类源码：

 

可以看出Worker本身是Akka中的一个Actor。

 

进入Worker类的LaunchExecutor：

从源代码可以看出Worker节点上要分配CPU和Memory给新的Executor，首先需要创建一个ExecutorRunner：

ExecutorRunner是用于维护executor进程的：

 

 

1、进入ExecutorRunner 的start方法：

1.1、进入fetchAndRunExecutor()方法（核心方法）：

2、进入 master ! ExecutorStateChanged(appId, execId, manager.state, None, None)方法：

发送消息给Master：

我们再回到到launchExecutor方法：

 

进入ExecutorAdded方法：

上面代码利用Akka 发送ExecutorStateChanged方法给Master

 

进入 Master 的ExecutorStateChanged方法：

PS:感觉代码分析的有点乱，不是很理想，希望大家知道，谢谢

进入Worker类的LaunchExecutor：

1、进入ExecutorRunner 的start方法：

2、进入fetchAndRunExecutor()方法：