Hadoop YARN的调度器

YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的资源管理和作业调度框架，负责集群资源的分配、作业的调度和任务的执行，使得在大规模集群上可以高效地运行各种计算框架，如MapReduce、Apache Spark等。YARN的调度器负责将集群资源分配给不同的应用程序，以确保资源的高效利用和任务的合理调度。

YARN的调度器有两种主要类型：CapacityScheduler和FairScheduler。

1. 容量调度器（Capacity Scheduler）：

   CapacityScheduler是一种基于容量的调度器，它允许将集群资源按照预定义的容量比例划分给不同的用户或应用程序队列。每个队列都可以配置一个最大资源容量，以确保资源在队列之间得到公平分配。当某个队列的资源未被使用时，剩余的资源可以被其他队列使用。这种调度器适合在共享的多租户环境中实现资源隔离和预测性能。

   这种调度方式适用于多租户环境，其中多个用户或应用程序需要按照预先分配的资源份额运行。每个队列可以配置资源分配的最小值、最大值和权重。容量调度器还支持优先级设置，以确保重要的应用程序获得适当的资源份额。

   主要特点包括：

   • 预留资源：每个队列都有自己的资源容量，当队列内没有作业运行时，其资源可以被其它队列共享，但不会超过其容量。
   • 分权管理：不同队列的管理员可以根据需要独立配置队列的资源分配策略。
   • 适用于多租户环境：适用于多个用户、多个团队共享同一个集群的情况。每个队列可以有不同的优先级和资源保障，确保不同应用程序或用户获得足够的资源。

2. 公平调度器（Fair Schedulerÿ