Spark -- 工作流程图

Spark 工作流程图

spark工作流程图.png

文字版工作流程：

• 1. 构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源；
• 2. 资源管理器分配Executor资源并启动Executor，Executor运行情况将随着心跳发送到资源管理器上；
• 3)SparkContext构建成DAG图，将DAG图分解成Stage，并把Taskset发送给Task Scheduler。Executor向SparkContext申请Task，Task Scheduler将Task发放给Executor运行同时SparkContext将应用程序代码发放给Executor。
• 4. Task在Executor上运行，运行完毕释放所有资源。

Attention Please--文章来自互联网资料整理，如有雷同，纯属李小李抄袭，如有侵权请联系删除 From 李小李