Spark的应用架构和程序层次结构

文章目录

    • Spark应用架构
    • 监控页面端口号的区别
    • Spark程序运行层次结构

Spark应用架构

  • spark运行群集架构图:
    Spark的应用架构和程序层次结构_第1张图片

  • 从图中可以看到Spark Application运行到集群上时,由Driver Program和Executors两个部分组成。

    • Driver Program:
      • 相当于AppMaster,整个应用管理者,负责应用中所有Job的调度执行。
      • 运行JVM Process,运行程序的MAIN函数,必须创建SparkContext上下文对象。
      • 一个SparkApplication仅有一个。
    • Executors:
      • 相当于一个线程池,运行JVM Process,其中有很多线程,每个线程运行一个Task任务,一个Task任务运行需要1 Core CPU,所有可以认为Executor中线程数就等于CPU Core数。
      • 一个Spark Application可以有多个,可以设置个数和资源信息。
  • 程序开始提交到最终的计算执行阶段:

    1. 用户程序创建 SparkContext 时,新创建的 SparkContext 实例会连接到 ClusterManager。 Cluster Manager 会根据用户提交时设置的 CPU 和内存等信息为本次提交分配计算资源,启动 Executor。
    2. Driver会将用户程序划分为不同的执行阶段Stage,每个执行阶段Stage由一组完全相同Task组成,这些Task分别作用于待处理数据的不同分区。在阶段划分完成和Task创建后, Driver会向Executor发送 Task。
    3. Executor在接收到Task后,会下载Task的运行时依赖,在准备好Task的执行环境后,会开始执行Task,并且将Task的运行状态汇报给Driver。
    4. Driver会根据收到的Task的运行状态来处理不同的状态更新。 Task分为两种:一种是Shuffle Map Task,它实现数据的重新洗牌,洗牌的结果保存到Executor 所在节点的文件系统中;另外一种是Result Task,它负责生成结果数据。
    5. Driver 会不断地调用Task,将Task发送到Executor执行,在所有的Task都正确执行或者超过执行次数的限制仍然没有执行成功时停止。

监控页面端口号的区别

  1. 4040:一个运行的Application在运行的过程中临时绑定的端口,用以查看当前任务的状态(端口占用会顺延)。4040是一个临时端口,当前程序运行完成后就会被注销
  2. 8080:默认是StandAlone下, Master角色(进程)的WEB端口,用以查看当前Master(集群)的状态(端口占用会顺延)。
  3. 18080:历史服务器的端口, 由于每个程序运行完成后,4040端口就被注销,如果以后想回看某个程序的运行状态就可以通过历史服务器查看,历史服务器长期稳定运行,可供随时查看被记录的程序的运行过程。

Spark程序运行层次结构

  • 在一个Spark Application中,包含多个Job,每个Job有多个Stage组成,每个Job执行按照DAG图进行的。每个Stage中包含多个Task任务,每个Task以线程Thread方式执行,需要1Core CPU。
  • Spark Application程序运行时三个核心概念:Job、Stage、Task:
    • Job:由多个Task的并行计算部分,一般Spark中的Action操作会生成一个Job。
    • Stage:Job的组成单位,一个Job会切分成多个Stage,Stage之间彼此之间相互依赖顺序执行,而每个Stage是多个Task集合,类似MapReduce stage。
    • Task:被分配到各个Executor的单位工作内容,它是Spark中最小的执行单位,一般来说有多少个Partition就会有多少个Task,每个Task智慧处理单一分支上的数据。
      Spark的应用架构和程序层次结构_第2张图片

你可能感兴趣的:(Spark,spark,架构,大数据)