Yarn的三个调度器和调度算法

一、Yarn的三种调度器

(1)先进先出调度器(FIFO)

(2)容量调度器(默认)(Capacity Scheduler)

(3)公平调度器(Fair Scheduler)

二、具体细节和调度算法

1、先进先出调度器(FIFO)

单队列,根据作业的提交顺序,先来先服务。(一般不用)

2、容量调度器(默认)(Capacity Scheduler)特点:

1、多队列:每个队列可配置一定的资源量,每个队列采用FIFO调度策略。

2、容量保证:管理员可为每个队列设置资源最低保证和资源使用上限。

3、灵活性:如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一旦该队列有新的应用程序提交,则其他队列借调的资源会归还给该队列。

4、多用户: 支持多用户共享集群和多应用程序同时运行。为了防止同一个用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。

容量调度第的资源分配算法:

你可能感兴趣的:(java,大数据,开发语言)