大数据技术,Spark任务调度原理 四种集群部署模式介绍

一、spark-submit任务提交机制

spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://ns1.hadoop:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
/usr/local/spark/examples/jars/spark-examples_2.11-2.1.1.jar \

上面是spark在集群提交任务最常见的命令,其中:

--class是程序的主入口,和main方法类似。

--master 指定spark的运行模式,yarn、standalone等模式

--executor-memory 指定计算节点的内存大小,spark是基于内存运算的。

--total-executor-cores 指定运行任务的核数,你可以理解为线程数。

大数据技术,Spark任务调度原理 四种集群部署模式介绍
spark-submit提交应用程序

图中,四个重要的参数都是干嘛的呢?

driver:负责交接应用程序任务,并发送任务。我们提交任务都是在driver端进行的。

master:负责worker的管理与集群资源的调度。

worker:上报自己的资源状态、存活情况,启动并管理。

executor:负责执行任务,真正用来做计算的节点。

spark-submit提交任务的,启动计算的过程:

1,在driver端提交spark-submit任务,任务提交以后会向master申请资源。

2,master会启动worker,worker在启动executor,executor是真正用来计算任务的。

3,executor启动以后,反向连接driver。通过master->worker->executor反向找到driver在哪里。

4,driver生成taskset任务集,之后把任务发送给executor,executor启动计算程序。

5,executor拿到任务分区参数触发真正的计算。通过driver->executor->task拿到运算分区参数。

二、Spark的四种部署方式

我们在部署spark计算任务时,有四种方式,可以部署到一台计算机,也可以是多台(cluster)。在计算大数据任务时,必须借助计算机的计算能力,计算机集群规模越大、计算能力就越强。当我们在本地开发调试时,只需要依赖本地计算机计算即可,因此可以使用spark的单机模式。

Spark的四种部署模式:

1、单机local模式

local模式就是运行在一台计算机上的模式,通常就是用于开发调式阶段,主要有三种用法:
local: 所有计算都运行在一个线程当中,没有任何并行计算。

local[n]:指定使用几个线程来运行计算,比如local[5]就是运行5个worker线程。通常我们的cpu有几个core,就指定几个线程,最大化利用cpu的计算能力。

local[*]:这种模式直接按照cpu最多cores来设置线程数。

2、多机器cluster模式
cluster模式是运行很多机器上,它又分为以下三种模式,区别在于谁去管理资源调度。

2.1、standalone模式

在standalone模式下,Spark会自己负责资源的管理调度。它将cluster中的机器分为master机器和worker机器,master通常只有一个,worker是负责做计算任务的。

2.2、mesos模式

使用Spark客户端直接连接Mesos,不需要额外构建Spark集群,在实际开发中,基本很少使用这种模式。

2.3、yarn模式

在生产开发中,一般都是采用Yarn来管理资源调度。yarn模式又分为yarn cluster和yarn client两种模式:

  • yarn cluster: 生产环境常用的模式,所有的资源调度和计算都在集群环境上运行。

  • yarn client:提交任务和计算分离。Spark Driver和ApplicationMaster进程均在本机运行,而计算任务在cluster上。

三、Yarn和Spark的StandAlone集群调度模式对比

yarn调度模式各组件作用:

ResourceManager:管理子节点,调度资源,接受任务请求。

NodeManger:管理当前节点,并管理子节点。

YarnChild:运行真正的计算逻辑。

Client和ApplicationMaster:提交App,管理该任务的Executor。

StandAlone调度模式各组件作用:

Driver:Driver(Client+AppMaster)提交App,管理该任务的Executor

Master:管理子节点,调度资源,接受任务请求。

Worker:管理当前节点,并管理子节点。

Executor :运行真正的计算逻辑。

你可能感兴趣的:(大数据技术,Spark任务调度原理 四种集群部署模式介绍)