Drill-on-YARN之部署

1. 概要

Drill是Apache旗下的一个开源SQL查询引擎，可用于探索大数据。它的设计初衷是为了支持对大数据的高性能分析，同时支持行业标准查询语言ANSI SQL。

在Drill 1.13之前，Drill只支持独立集群部署，部署成功后每个节点上会运行一个名为Dirllbit的守护进程。从1.13版本开始，Drill支持与YARN集成来管理资源。使用YARN后，Drill将成为一个运行在YARN上的长进程。当您启动Drill时，YARN会自动将Drill软件部署到每个节点上，避免了在每个节点上安装Drill的繁琐。除此之外，资源管理也会得到简化，因为YARN对于Drill使用的资源是敏感的。

目前所有YARN发行版都提供了内存和CPU（YARN称为“vcores”）的设置，某些发行版还提供磁盘的设置。对于内存，在把Drill部署在YARN上的时候，你会配置Drill要使用的内存，然告知YARN。此外，Drill将使用所有可用的磁盘和CPU，当然可以启用Linux cgroup来限制Drill对CPU使用的，以到匹配YARN的vcores分配。

>>>阅读全文