spark集群的启动流程

   总体来说spark集群的启动流程可以分为五步,下面结合下图来具体分析一下spark集群在启动的流程。

spark集群的启动流程_第1张图片

(1)、创建Master对象,启动了一条Master进程。然后,执行preStart生命周期方法,开启一个定时器定期检测超时的worker节点;如果发现超时的worker节点,则将其移除。

(2)、加载slaves文件,启动worker节点。

(3)、worker节点启动后,开始向master注册。

(4)、master将worker发来的注册信息会在内存和磁盘保存,然后响应一个注册成功的masterUrl

(5)、worker收到masterUrl后,开始与master建立心跳连接;定期向master发送心跳。


你可能感兴趣的:(spark)