spark运行模式

简单简述一下

spark有一个主节点master和从节点worker

而spark在运行在集群的时候,由driver来负责job的调度,Exexutor来运行task

因此,spark的部署模式通俗的讲便是driver的运行位置

主要由两个

1、client(本地)

2、cluster(集群)

而由于spark可以交由自带的standalone集群资源管理框架管理,也可以

交由yarn来管理,因此又分为四类

1、standalone的本地模式与集群模式

2、yarn的本地模式和集群模式

spqrk on yarn

-》申请资源

    driver>>appmaster>>resourcemanager

driver在运行在本地的时候,driver并不是直接去找resourcemanager去寻找资源,

而是通过Appmaster然后再通过 

-》任务调度

    appmaster>>driver>>executor>>Task

在任务调度的时候,appmaster并不会直接去通知executor去执行task,而是通过

driver去执行这个任务

你可能感兴趣的:(bigdata,spark)