Spark 任务调度概述

Spark执行的大致过程,如下

  1. Driver程序(即用户编写的Spark程序)初始化SparkContext对象。
  2. SparkContext对象初始化过程中,连接集群资源管理器Cluster Manager,申请资源,注册APP信息。
  3. CM根据Driver申请的资源,在Worker上创建Executor。
  4. 创建好的Executor将其自身信息发送给Driver。
  5. Driver将用户编写的代码转为Task,发送给相应到Executor,进行计算。
  6. Executor计算结果返回给Driver,最后Executor的关闭及APP信息的修改等

你可能感兴趣的:(Spark 任务调度概述)