一、drill on yarn介绍

Drill-on-YARN简介：

从Drill 1.13开始，Drill可以与YARN集成，进行集群资源管理。使用YARN，Drill成为长服务应用。当您启动Drill时，YARN会自动将Drill软件部署（本地化）到每个节点上，从而无需在每个节点上预安装Drill。通过yarn进行drill资源分配调度，使得资源管理得以简化。
在YARN下安装和部署Drill之前，您应该熟悉YARN概念，例如ResourceManager（RM），NodeManager（NM）等。您还应该有一个要在YARN下启动的drill集群。drill集群配置最好在本地环境进行测试。当配置稳定时，您可以在YARN下启动Drill。

YARN资源设置：

Drill使用所有可用资源以最佳速度运行查询。drill on yarn，你可以配置每个drillbit使用的yarn资源，但不会影响yarn的相关配置，当这些资源分配给drillbit以后，yarn将不会再将该资源分配给其他任务。
所有YARN发行版都提供内存和CPU的设置（YARN称为“vcores”）。某些发行版还提供磁盘设置。
对于内存，drill会根据drill on yarn分配的内存去启动drill。
对于磁盘I/O，drill会使用所有可用的磁盘io。
对于cpu，drill会使用所有可用的cpu资源，可以考虑启用linux cgroup来实现cpu资源隔离，来匹配yarn vcore的分配。

Drill-on-YARN相关组件介绍：

• Drill distribution archive：Drilld的.tar.gz文件。Drill on YARN会将drill的安装包上传到分布式文件系统（DFS）。然后YARN会将其（将其本地化）下载到每个工作节点。
• Drill site directory：存储dril on yarn的配置文件和自定义jar包的目录。Drill on YARN将此目录复制到每个工作节点。
• configuration：drill on yarn管理drill集群的配置文件。此文件与Drill本身的配置文件分开。
• DrillonYARN client：用于启动、停止、监控drill on yarn的drill集群命令行操作。
• Drill Application Master（AM）：与YARN一起使用以请求资源，启动Drillbits等的软件。AM提供了一个Web UI来管理您的Drill集群。
• Drillbit： YARN在每个节点上运行的Drill守护程序软件。

Drill-on-YARN搭建步骤概述：

要在YARN下启动Drill，您将完成以下关键步骤。每个步骤都在Drill-on-YARN文档的以下部分中详细说明。

• 创建drill on yarn的配置目录，主要用于存储site文件。
• 使用drill-on-yarn.conf配置文件配置Drill-on-YARN。
• 使用Drill-on-YARN客户端工具启动Drill集群。
• 使用Drill-on-YARN客户端或Web UI来监视和关闭Drill集群。

---

原文地址：http://drill.apache.org/docs/drill-on-yarn-introduction/