spark core源码分析1 集群启动及任务提交过程

博客地址: http://blog.csdn.net/yueqian_zhu/


spark版本号:1.4.1

spark源码分析目的是在解读源码的过程中记录一些重要的步骤,加深自己的印象,或许也可以给别人提供一些帮助。


Standalone集群启动及任务提交过程详解



正常启动及job提交过程如下:

1. 启动master

2. 启动worker

3. 客户端提交application到master

4. master发送LaunchExecutor指令给相应worker

5. worker启动Executor进程

6. Executor将自己注册到driver中

7. 将spark job分解成多个task发散到各个Executor上运行


之后会将各个部分详细剖析。。。

你可能感兴趣的:(源码,spark,spark,core)