【每周论文】Graphene: Packing and Dependency-aware Scheduling for Data-Parallel Clusters(OSDI 2016)

【每周论文】Graphene: Packing and Dependency-aware Scheduling for Data-Parallel Clusters(OSDI 2016)


论文的一作Robert Grandl在OSDI 2016斩获两篇论文,非常的高产,这里先介绍他其中的一篇论文,关于集群调度有关的。


作者提出了一个全新的集群调度器——Graphene,它主要用于调度那些有很复杂的依赖关系和有异构资源需求的作业。

现在的作业执行可以抽象为一个DAG(有向无环图),其中图的点代表要执行的作业,有向的边代表数据的流向(依赖)。调度异构DAG作业或者调度各自独立的异构作业是一个NP难问题,先前的工作大部分使用启发式方法来调度作业,比如着重优化关键路径或者使用贪心算法来最大化资源利用率,但是当它们遇到异构的DAGs时性能就会表现的很差,而本文通关注长作业来挖掘DAG中潜在的并行性来提高整个集群的运行时间和资源利用率。


【每周论文】Graphene: Packing and Dependency-aware Scheduling for Data-Parallel Clusters(OSDI 2016)_第1张图片


对一系列的依赖任务,整个调度过程分为两个部分:Offline的离线分析,Online的在线调度。

首先在整个作业集中找出麻烦任务集(Troublesome tasks,那些会运行非常长时间的任务,或者那些很难去pack的任务,如上图的红色),并对其他任务进行打包,将整个DAG分为四部分:麻烦任务(troublesome,T)、父任务(parents,P)、子任务(children,C)和同辈任务(siblings,S) ;之后对四个任务集T、P、C、S在时间-资源的空间上进行放置(如上图右边),首先放置T,之后在T的周围放置其他作业,Graphene选择四种顺序,TSCP、TSPC、TPSC或TCSP,因为作者通过分析发现,只有先方式T任务,才能避免dead-ends(dead-ends的定义是在作业放置的最后存在一些作业不能被放置,除非这些作业能打破依赖)。在离线的情况下对作业进行模拟放置结束后,进行在线调度。下图以两个作业的调度为例,首先分别对Job1和Job2,进行离线的分析,之后根据离线分析的结果对作业进行调度,最下方为Graphene的方法,可以发现它通过作业的并行提高了资源利用率,缩短了作业的执行时间。

【每周论文】Graphene: Packing and Dependency-aware Scheduling for Data-Parallel Clusters(OSDI 2016)_第2张图片

你可能感兴趣的:(学术,云计算相关会议论文,文章,书籍)