Spark-Core 计算基础核心(三) 概念及原理介绍

运行原理

1. 当一个spark应用被提交时，首先要为这个spark APPlication构建基本的运行环境，即由任务节点Driver创建一个sparkcontext；
2. sparkContext向cluster manager 资源管理容器注册并任务申请运行Excuter资源。
3. cluster manager 资源管理容器为excuter分配资源并启动excuter进程，excuter向driver进行反向注册并申请分配task，同时将运行情况将随着心跳发送到cluster manager资源管理容器上
4. sparkcontext根据程序中的rdd的依赖关系构建DAG有向无环图，并将DAG作为一个job提交给DAGscheduler进行解析成为stage，并把该stage中的所有task组成为taskset发送给taskscheduler
5. taskscheduler将task发放给excuter运行，同时sparkcontext将应用程序代码发放给excuter
6. excuter将task丢到线程池中执行，把执行结果反馈给taskscheduler，然后再反馈给DAGscheduler，运行完毕后写入数据并释放所有资源

原理补充

1. 每个Application获取专属的executor进程，该进程在Application期间一直驻留，并以多线程方式运行tasks。
2. Spark与资源管理器无关，只要能够获取executor进程，并能保持相互通信就可以了
3. 提交SparkContext的Client应该靠近Worker节点(运行Executor的节点)，最好是在同一个Rack(机架)里，因为Spark Application运行过程中SparkContext和Executor之间有大量的信息交换;
4. Task采用了数据本地性和推测执行的优化机制。关键方法：taskIdToLocations、getPreferedLocations

任务监控与结果获取

1. 任务监控：
   TaskScheduler通过回调函数通知DAGScheduler具体的Executor的生命状态,以及job和task的运行情况，DAGScheduler根据这些任务的状态信息进行进一步的维护作业和重新执行计算。
2. 结果获取：
   1. 两种结果：
      1. 中间结果： 对于运算的中间结果，返回给DAGscheduler的是一个mapstatus里的相关存储信息
      2. 最终结果： 对于运算的最终结果，返回给DAGscheduler的是运算结果的本身
   2. 两种类型：
      1. 如果结果足够小，则直接放在DirectTaskResult对象内中
      2. 如果超过特定尺寸则在Executor端会将DirectTaskResult先序列化，再把序列化的结果作为一个数据块存放在BlockManager中，然后将BlockManager返回的BlockID放在IndirectTaskResult对象中返回给 TaskScheduler，TaskScheduler进而调用TaskResultGetter将IndirectTaskResult中的BlockID取出并 通过BlockManager最终取得对应的DirectTaskResult。

数据读取与保存

• spark支持的文件格式： Text文件，Json文件，Csv文件，Sequence文件，Objcet文件
• spark支持的文件系统： 本地文件系统，HDFS文件系统，Hbase,JDBC

累加器与广播变量

• 问题背景：
  在默认情况下，当Spark在集群的多个不同节点的多个任务上并行运行一个函数时，它会把函数中涉及到的每个变量，在每个任务上都生成一个副本。但是，有时候需要在多个任务之间共享变量，或者在任务(Task)和任务控制节点(Driver Program)之间共享变量。
• 概念：
  1. 累加器：累加器支持在所有不同节点之间进行累加计算，工作节点上的任务不能访问累加器的值。从这些任务的角度来看，累加器是一个只写变量。累加器必须放在action算子中使用，transform算子会使累加器不准确
  2. 广播变量：广播变量用来把变量在所有节点的内存之间进行共享，在每个机器上缓存一个只读的变量，而不是为机器上的每个任务都生成一个副本。
• 意义：
  1. 累加器解决了共享变量进行计算的问题，
  2. 广播变量将任务级别变成了节点级别的，节约了机器资源
• 补充：
  1. 广播变量：
  • 可以理解广播就是一个公共的共享变量
  • 将一个数据集广播后，不同的Task都可以在节点上获取到
  • 每个节点只存一份
  • 如果不使用广播，每一个Task都会拷贝一份数据集，造成内存资源浪费
  2. Broadcast和Accumulators的区别
     1. Broadcast(广播变量)允许程序员将一个只读的变量缓存在每台机器上，而不用在任务之间传递变量。广播变量可以进行共享，但是不可以进行修改
     2. Accumulators(累加器)是可以在不同任务中对同一个变量进行累加操作

容错机制

1. 通过血缘关系重新构建
2. 通过持久化方案进行重新加载