Drill-on-YARN之部署

1. 概要

Drill是Apache旗下的一个开源SQL查询引擎,可用于探索大数据。它的设计初衷是为了支持对大数据的高性能分析,同时支持行业标准查询语言ANSI SQL。

在Drill 1.13之前,Drill只支持独立集群部署,部署成功后每个节点上会运行一个名为Dirllbit的守护进程。从1.13版本开始,Drill支持与YARN集成来管理资源。使用YARN后,Drill将成为一个运行在YARN上的长进程。当您启动Drill时,YARN会自动将Drill软件部署到每个节点上,避免了在每个节点上安装Drill的繁琐。除此之外,资源管理也会得到简化,因为YARN对于Drill使用的资源是敏感的。

目前所有YARN发行版都提供了内存和CPU(YARN称为“vcores”)的设置,某些发行版还提供磁盘的设置。对于内存,在把Drill部署在YARN上的时候,你会配置Drill要使用的内存,然告知YARN。此外,Drill将使用所有可用的磁盘和CPU,当然可以启用Linux cgroup来限制Drill对CPU使用的,以到匹配YARN的vcores分配。


>>>阅读全文

你可能感兴趣的:(Drill-on-YARN之部署)