Spark核心原理，组件介绍

• standalone模式

master

负责集群资源的管理，主要负责worker的注册，driver的注册

worker

负责向master注册本机资源，负责启动Executor

Exexutor

Executor是真正的计算资源，管理本机的task。负责和driver的CoarseGraindSchedulerBackend通信，接收任务，完成任务，以及修改任务状态。

driver

客户端程序启动的时候就是一个driver。

job

一个Action操作就会触发一次job

sparkContext

客户端程序启动时候的核心。启动的时候会初始化TaskScheduler,SchedulerBackend,DAGScheduler三大组件

DAG

spark会在执行job的时候首先构建DAG图(有向无环图)，根据DAG来调度task。

Task

一般情况下RDD的一个分区就会生成一个task。具体执行作业的对象。

TaskScheduler

具体调度task的调度器。

DAGScheduler

具体调度DAG的调度器，生成DAG图

SchedulerBackend

调度Executor执行，和CoarseGrainExecutorBackend进行通信。