Spark Streaming 监控UI详解

本文作为学习总结，文中引用到其他作者很多知识，对原作者表示感谢。

Table of Contents

Spark 基本概念

Spark 监控的三个阶段

Spark Driver 阶段

Spark Executor阶段

Spark Streaming阶段

---

Spark 基本概念

Job

job是application的组成单位。 A job is triggered by an action, like count() or saveAsTextFile(). Click on a job to see information about the stages of tasks inside it. 一个 job，就是由一个 rdd 的 action 触发的动作，可以简单的理解为，当你需要执行一个 rdd 的 action 的时候，会生成一个 job.
 

Stage

stage 是 job 的组成单位，就是说，一个 job 会被切分成 1 个或 1 个以上的 stage，然后各个 stage 会按照执行顺序依次执行。job 根据Spark的shuffle过程来切分 stage，如某stage有2个shuffle过程，它就被切分成3个stage.
 

Task

A unit of work within a stage, corresponding to one RDD partition。即 stage 下的一个任务执行单元。“一般来说，一个 rdd 有多少个 partition，就会有多少个 task，因为每一个 task 只是处理一个 partition 上的数据。”

 

Spark 监控的三个阶段

Spark Streaming 从提交job到cl