【Spark 深入学习 02】- 我是一个凶残的spark

 学一门新鲜的技术,其实过程都是相似的,先学基本的原理和概念,再学怎么使用,最后深究这技术是怎么实现的,所以本章节就带你认识认识spark长什么样的,帅不帅,时髦不时髦(这货的基本概念和原理),接着了解spark有什么必杀技(spark的各种大招),我们如何使用它的必杀技,最后看看spark如何更加高效的组合它的必杀技,以及spark是如何练就这一身必杀技的。

【Spark 深入学习 02】- 我是一个凶残的spark_第1张图片

 

一、spark帅不帅

 

· 五官长相-spark架构图

鼻子、眼睛、耳朵、眉毛、口,缺一不可,这斯就经长什么鸟样,先上照片,如下所示

【Spark 深入学习 02】- 我是一个凶残的spark_第2张图片

前文说到spark是分布式内存计算模型,既然是分布式,那就得明确老大(master) ,要不然各个小弟(worker)还不打起来,所以:

master节点是老大,控制、管理和监督一帮小弟弟们正常衣食住行和生老病死(老大的地位是明显的:1.管理,2.监督,3.使唤),

worker是小弟弟,接收老大的命令并且领取砍杀的任务,汇报砍杀的进度和结果给老大,

Executor是马仔,就是那个真刀实枪去看人的小弟弟的小弟弟。

client是客户,要干什么事情,都是它提出来,有什么活要干,他告知老大master

driver:老大的司机,老大那么多事情,不可能每个事情都亲自监督,所以不同的事情(不同的应用),它都有driver来跟踪,driver来负责具体事务,一件事情拍一个司机(一个应用一个driver),司机是做事的入口(application的main方法)。

sparkContext:做这件事情的流水帐本,什么时候搞事、谁搞事、搞的怎么样、是不是不搞了,都是sparkContext来记录。所以没有了sparkContext,那这个事情就没法搞了,一笔糊涂账。

DAG Scheduler:老大做事的计划,所有的事情都是老大(master)来规划的,事情这么多,小弟也是有限的,所以老大必须规划做事的方式和方法-DAG Scheduler,这样才能将这些小弟更好的用起来

RDD:具体计划执行的细节,记录了每个具体的做事方法,怎么做,在哪里做,拿什么做。

所以事来了基本是这个流程:

client(我要搞事)-> master(生意来了)->driver(老大会先思考好下面哪个小弟弟有能力去办,想好了之后就派司机去执行[driver申请资源、管理和跟踪])->Work(收到老大要搞事的指令,司机driver带来的老大指令)-> executor(一堆人马去搞事)。worker可能是群殴(多个worker执行),也可能是单挑(单个worker执行)

 

二、spark做事的套路

 

    spark考虑了多种情况的做事套路,这几种情况的区分在于司机(driver)在哪里工作:

    · 老大临时安排工作地点,

    · 在客户现场工作(client端),

    · 在老大的秘书办公室工作(yarn或mesos),所以工作地不一样,做事的套路也不同。

   下面一一介绍各种工作场景下的做事套路。

 

  (1)老大临时安排driver工作地点

作业执行流程描述:

 1.客户提交作业给老大Master,说一起搞事。

 2.老大master深思熟虑,决定搞事,并且确定了搞事办公地点(从众多小弟中选一个worker),让driver去选定的办公地点筹备并执行(选定的办公地点有个霸气的名号:Spark AppMaster)。driver先扎根下来(启动DriverRunner线程),然后正式启动做事计划(SchedulerBackend)。

3.老大master怕司机driver搞不定,与此同时,它也在通知其他兄弟们(其他worker)抄家伙(Work纠结马仔Exeuctor即ExecutorBackend)

4. 兄弟们work都会带领马仔去司机driver那里报到,driver会结合每个worker的情况告诉具体的做事计划和做事方式DAGScheduler(计划分成多个步骤stage),小弟弟work用TaskScheduler记好,让马仔Exeuctor去执行,去砍杀。马仔们砍杀的时候,driver会密切注视,如果发现哪个马仔砍杀效率低,会让其他的马仔顶上,看谁砍杀效率更高(推测执行)。

5.计划中的所有stage被执行完了之后,各个worker汇报给driver,driver确定都做完了,就向master汇报战果。另外客户也会跳过master直接和driver联系关注砍杀的进度。

 (2)driver在客户现场办公

 

作业执行流程描述:

  1.司机driver到了客户现场,做好搞事准备工作,如计划好做事的策略和方式(DAGScheduler),回忆一下各个小弟都有什么装备和技能 (BlockManagerMaster);

2.司机dirver一切准备妥当,就去老大master那里汇报,可以号召小弟们干活了。

3.老大master号召小弟们(所有work节点)抄家伙(Work纠结马仔Exeuctor即ExecutorBackend)

 

4. 后面的工作和前面的工作模式一样:兄弟们work都会带领马仔去司机driver那里报到,driver会结合每个worker的情况告诉具体的做事计划和做事方式DAGScheduler(计划分成多个步骤stage),小弟弟work用TaskScheduler记好,让马仔Exeuctor去执行,去砍杀。马仔们砍杀的时候,driver会密切注视,如果发现哪个马仔砍杀效率低,会让其他的马仔顶上,看谁砍杀效率更高(推测执行)。

5.计划中的所有stage被执行完了之后,各个worker汇报给driver,driver确定都做完了,就向master汇报战果。此时driver在客户现场,所有搞事的进度,客户也一目了然。

(3)在老大的秘书办公室工作-基于yarn

     既然老大master选定了秘书yarn,那么主要的事情都是yarn来安排、管理和监控,所以yarn是整个业务的颜值和主事担当。让yarn主事之前,先看看yarn是何人,有什么本事,凭什么她就能成为老大的秘书。

  (1)yarn出世的背景

   

    yarn的出现,完全是因为前辈mapreduce太忙太累导致的,mapreduce既要管理家务事(管理集群资源)还要为外面的业务操碎心(job的调度、监控和执行),叫谁都扛不住,所以为前辈mapreduce v1分忧,是yarn出现的主要原因。那前辈有哪些困扰的事情呢,总结起来有如下困恼

   a.不能发展新的小弟 - 可扩展行不好,前辈MRV1因为又里里外外都去管,精力有限,如果来更多的小弟(slave),是管不来的,心有余而力不足。

   b.随时都会面临解散- 可靠性差,因为是老大管小弟的机制,而老大只有一个,一旦老大哪天挂了,大家都完蛋,随时可能卷铺盖回家。

   c.全体办事效率低-资源利用率低,这个不能怪前辈mapreduce,要怪就怪能管事的人太少了,事太多了,每天都忙的天昏地暗,忙尘够,所以做出点错误的决策,不了解小弟们的思想等等是时有发生的,下面的小弟抱怨也没办法,运作机制就这样。而且还有一个该死的机制,就是每件事情都安排2个人去做,做了这个事情就不能做其他事情(map和reduce slot),并且要分先后,简直就是变态。

    总结起来,就是前辈mapreduce太忙,yarn就是这么横空出世的,老大需要秘书,那我就成为那个秘书。

   (2)yarn的架构及其技能

【Spark 深入学习 02】- 我是一个凶残的spark_第3张图片

    yarn总结了前辈mapreduce v1工作累的原因:a.事无巨细的做事方式-又是管理家务有时打理外面业务;b.任务分包的方式有问题(map slot和reduce slot),因此做了一些改进和优化

 (1) 明确分工,专业的人做专业的事 

 (2) 优化任务分包方式-container

 还有很多故事要书写,下个章节来完善......

 

 

 

三、参考资料

 

1.http://www.tuicool.com/articles/qaEVFb

2.http://www.csdn.net/article/2013-12-04/2817706--YARN

3.http://www.cnblogs.com/cxzdy/p/5494929.html-yarn 的架构和原理

4.http://www.aboutyun.com/thread-6785-1-1.html-为什么会产生yarn

你可能感兴趣的:(大数据)