大数据开发之Spark 基础入门学习

集群相关
Cluster Manager指的是在集群上获取资源的外部服务,为每个spark application在集群中调度和分配资源的组件,目前有三种类型:
• Standalone:Spark 原生的资源管理,由 Master 负责资源的分配
• Apache Mesos:与 Hadoop MapReduce 兼容性良好的一种资源调度框架
• Hadoop Yarn:主要是指的 Yarn 中的 ResourceManager

Worker 指集群中的工作节点,启动并运行executor进程,运行大数据培训作业代码的节点
• standalone模式下:Worker进程所在节点
• yarn模式下: yarn的nodemanager进程所在的节点

Deploy Mode 分为两种模式,client和cluster,区别在于driver运行的位置
• Client模式下driver运行在提交spark作业的机器上,

• 可以实时看到详细的日志信息
• 方便追踪和排查错误,用于测试

• cluster模式下,spark application提交到cluster manager,cluster manager(比如master)负责在集群中某个节点上,启动driver进程,用于生产环境
• 通常情况下driver和worker在同一个网络中是最好的,而client很可能就是driver worker分开布置,这样网络通信很耗时,cluster没有这样的问题

Spark分布式计算组成
Application
• 用户编写的Spark程序,通过一个有main方法的类执行,完成一个计算任务的处理。
• 它是由一个Driver程序和一组运行于Spark集群上的Executor组成

Driver
• 运行main方法的Java虚拟机进程负责

• 监听spark application的executor进程发来的通信和连接
• 将工程jar发送到所有的executor进程中
• driver调度task给executor执行

• Driver与Cluster Manager、Worker协作完成

• Application进程的启动
• DAG划分
• 计算任务封装
• 分配task到executor上
• 计算资源的分配等调度执行作业等

• Driver调度task给executor执行,所以driver最好和spark集群在一片网络内,便以通信

Executor
• 运行在worker节点上,负责执行作业的任务,并将数据保存在内存或磁盘中
• 每个spark application,都有属于自己的executor进程,spark application不会共享一个executor进程
• executor在整个spark application运行的生命周期内,executor可以动态增加/释放
• executor使用多线程运行SparkContext分配过来的task,来一批task就执行一批

用户操作spark的入口
SparkContext是Spark的入口,负责连接Spark集群,创建RDD,累积量和广播量等
• SparkContext是Spark的对外接口,负责向调用者提供Spark的各种功能
• driver program通过SparkContext连接到集群管理器来实现对集群中任务的控制
• 每个JVM只有一个SparkContext,一台服务器可以启动多个JVM

SparkSession
• The entry point to programming Spark with the Dataset and DataFrame API.
• 包含了SQLContext、HiveContext、sparkcontext

Spark计算切分相关
Job
• 一个spark application可能会被分为多个job,每次调用Action时,逻辑上会生成一个Job
• 一个Job包含了一个或多个Stage

Stage
• 每个job都会划分为一个或多个stage(阶段),每个stage都会有对应的一批task(即一个taskset),分配到executor上去执行
• Stage包括两类

• ShuffleMapStage
• ResultStage

TaskSet
• 一组关联的,但相互之间没有Shuffle依赖关系的Task集合
• Stage可以直接映射为TaskSet,一个TaskSet封装了一次需要运算的、具有相同处理逻辑的Task,
• 这些Task可以并行计算,粗粒度的调度是以TaskSet为单位的。
• 一个stage对应一个taskset

Task
• driver发送到executor上执行的计算单元,每个task负责在一个阶段(stage),处理一小片数据,计算出对应的结果
• Task是在物理节点上运行的基本单位,Task包含两类

• ShuffleMapTask => 对应于Stage中ShuffleMapStage中的一个执行基本单元
• ResultTask => 对应于Stage中ResultStage中的一个执行基本单元

Spark其他重要部分
数据结构
• RDD
• DataFrame 引入了schema和off-heap
• DataSet 整合了rdd和dataframe的优点,支持结构化和非结构化数据,采用堆外内存存储,gc友好

核心调度器
• DAGScheduler 根据Job构建基于Stage的DAG,并提交Stage给TaskScheduler。
• SparkEnv Spark 公共服务们相互交互,用来给 Spark 应用程序建立分布式计算平台的运行时环境
• TaskScheduler 将Taskset提交给Worker node集群运行并返回结果。

Spark调度
提交方式
• yarn-cluster模式,用于生产模式,driver运行在nodeManager,没有网卡流量激增问题,但查看log麻烦,调试不方便
• Yarn-client模式,yarn-client用于测试,driver运行在本地客户端,负责调度application,会与yarn集群产生超大量的网络通信,从而导致网卡流量激增,yarn-client可以在本地看到所有log,方便调试
• yarn-client vs yarn-cluster

• yarn-client下,driver运行在spark-submit提交的机器上,ApplicationMaster只是相当于一个ExecutorLauncher,仅仅负责申请启动executor;driver负责具体调度
• yarn-cluster下,ApplicationMaster是driver,ApplicationMaster负责具体调度

Spark通用任务执行过程
• 用户通过 spark-submit 脚本提交应用
• spark-submit 脚本启动Driver,调用用户定义的 main() 方法构建sparkConf和sparkContext对象,在sparkContext入口做了三件事,创建了

• sparkEnv对象
• TaskScheduler
• DAGScheduler

• Driver与cluster manager通信,申请资源以启动Executor;
• cluster manager为Driver启动Executor;
• 在用户应用中代码遇到对RDD的action算子操作的时候,触发一个job,这时就会

• 调用DAGScheduler对象进行Stage划分,将划分好的stage按照分区生成一个一个的task,并且封装到TaskSet对象中
• TaskSet提交到TaskScheduler,TaskScheduler按照提交过来的TaskSet,拿到一个序列化器,将TaskSet序列化,将序列化好的Task封装并且提交到worker

• 任务在Executor中进行计算并保存结果;
• 如果Driver的 main() 方法退出,或者调用了SparkContext.stop(),Driver会终止Executor,并且通过集群管理器释放资源。
大数据开发之Spark 基础入门学习_第1张图片

spark 提交过程分析standalone
• SparkContext连接到Master,向Master注册并申请资源
• Master根据资源申请要求和Worker心跳周期内报告的信息决定在哪个Worker上分配资源,然后在该Worker上获取资源,然后启动StandaloneExecutorBackend
• StandaloneExecutorBackend向SparkContext注册,建立Executor线程池
• SparkContext将Applicaiton代码发送给StandaloneExecutorBackend
• SparkContext解析Applicaiton代码,构建DAG图,
• 提交给DAG Scheduler分解成Stage(当碰到Action操作时,就会催生Job;每个Job中含有1个或多个Stage,Stage一般在获取外部数据和shuffle之前产生)
• 以Stage(或者称为TaskSet)提交给Task Scheduler,
• Task Scheduler负责将Task分配到相应的Worker,最后提交给StandaloneExecutorBackend执行
• StandaloneExecutorBackend会建立Executor线程池,开始执行Task,并向SparkContext报告,直至Task完成。
• 所有Task完成后,SparkContext向Master注销,释放资源。

你可能感兴趣的:(大数据spark)