hadoop之Yarn

资源调度器:(面试重点)

  主要有三种:FIFO,capacityScheduler  Fair Scheduler

 FIFO(先进先出调度器):按照到达的时间排序,先到先服务,单个队列

Capacity Scheduler(容量调度器):支持多个队列,实现并发,每个队列采用FIFO调度策略,首先计算每个队列中正在运行的任务数与其应分得的计算资源之间的比值,选择一个比值最小的队列。

  Fair Scheduler(公平调度器):理想情况下,应获得的计算资源和实际获得的计算资源之间的差距,这种差距叫做缺额

任务的推测执行:

   发现有拖后腿的任务,为拖后腿的任务启动一个备份任务,同时运行,谁先执行完,则采用谁的结果,

【推测任务的前提条件】

每个task只能有一个备份任务,当前任务已完成的task必须不小于5%

 不能启用推测执行机制的情况:存在负载倾斜;特殊任务

你可能感兴趣的:(hadoop之Yarn)