官方文档:
https://docs.dremio.com/
Linux:
RHEL (Tarball):Red Hat Enterprise Linux(红帽企业版)
CentOS 6.7+ and 7.3+ (RPM))
(在使用RHEL or CentOS机器上使用Dremio Linux RPM installer可以部署)
Java:jdk8
浏览器:Google Chrome 54+、Microsoft Edge 14+(用于访问UI管理界面,Dremio UI 在 http://hostname:9047)
1、Dremio下载
Dremio下载地址:
https://download.dremio.com/community-server/4.5.0-202006180205030236-1a5d28da/dremio-community-4.5.0-202006180205030236-1a5d28da.tar.gz
2、将dremio.tar.gz包上传到linux机
使用工具上传到/home/hadoop(我这里使用xftp6):
在进入到上传路径,使用ls命令查看文件是否上传成功
[root@localhost dremio]# cd /home/hadoop/
[root@localhost hadoop]# ls
3、解压安装包
创建安装目录
[root@localhost hadoop]#mkdir /opt/install
[root@localhost hadoop]#ls /opt/
解压dremio包到/opt/install目录
[root@localhost hadoop]#cd /home/hadoop
[root@localhost hadoop]# tar -zxvf dremio-community-4.5.0-202006180205030236-1a5d28da.tar.gz -C /opt/install
修改dremio目录名
[root@localhost hadoop]# cd /opt/install
[root@localhost install]# ls
[root@localhost install]# mv ./dremio-community-4.5.0-202006180205030236-1a5d28da ./dremio
[root@localhost install]# ls
4、修改配置文件(可选)
不修改配置文件,就是使用默认配置
dremio.conf配置修改(路径:/opt/install/dremio/conf/dremio.conf)
dremio.conf可修改的配置:
1)、Dremio服务器的数量和类型
2)、Metadata storage位置
3)、Distributed位置
4)、Zookeeper位置
以下是默认的配置:
paths: {
# dremio存储数据的本地路径
local: ${DREMIO_HOME}"/data"
# 分布式路径Dremio数据包括作业结果、下载、上传等
#dist: "pdfs://"${paths.local}"/pdfs"
}
services: {
coordinator.enabled: true,
coordinator.master.enabled: true,
executor.enabled: true
}
${DREMIO_HOME}即是dremio所在的路径,这里是/opt/install/dremio
dremio-env配置
1)、内存大小
直接内存(DIRECT_MEMORY)用于查询执行
堆内存(HEAP_MEMORY)用于运行Dremio服务器
内存的默认设置如下。
默认情况下,如果未设置,DREMIO_MAX_HEAP_MEMORY_SIZE_MB并DREMIO_MAX_DIRECT_MEMORY_SIZE_MB设置如下。
协调器节点
如果DREMIO_MAX_MEMORY_SIZE_MB≥18GB,则堆为16 GB,直接使用其余的。
如果DREMIO_MAX_MEMORY_SIZE_MB<18 GB,则直接为2 GB,堆将使用剩余的空间。
执行器节点
如果DREMIO_MAX_MEMORY_SIZE_MB≥32GB,则堆为8 GB,直接使用其余的。
如果DREMIO_MAX_MEMORY_SIZE_MB≥6GB,则堆为4 GB,直接使用其余的。
否则,堆为2 GB,直接使用剩余空间。
2)、Log and PID路径,日志和PID的路径默认在/opt/install/dremio
5、关闭防火墙
关闭防火墙并查看状态,确定防火墙已关闭。
[root@localhost dremio]# systemctl stop firewalld
[root@localhost dremio]# systemctl status firewalld
如果使用云服务器,要将端口9047和31010添加到服务器的入站规则,外部才可以访问。
6、运行dremio并查看状态
[root@localhost dremio]# /opt/install/dremio/bin/dremio start
[root@localhost dremio]# /opt/install/dremio/bin/dremio status
注册
浏览器输入:http://hostname:9047/ 即可进入主界面,注意:在360浏览器的兼容模式下编辑框输入不了,填写注册信息。