详细部署dremio安装手册

官方文档:
https://docs.dremio.com/

独立集群模式架构图

详细部署dremio安装手册_第1张图片

环境要求

Linux:
RHEL (Tarball):Red Hat Enterprise Linux(红帽企业版)
CentOS 6.7+ and 7.3+ (RPM))
(在使用RHEL or CentOS机器上使用Dremio Linux RPM installer可以部署)

Java:jdk8

浏览器:Google Chrome 54+、Microsoft Edge 14+(用于访问UI管理界面,Dremio UI 在 http://hostname:9047)

Dremio安装

1、Dremio下载
Dremio下载地址:
https://download.dremio.com/community-server/4.5.0-202006180205030236-1a5d28da/dremio-community-4.5.0-202006180205030236-1a5d28da.tar.gz

2、将dremio.tar.gz包上传到linux机
使用工具上传到/home/hadoop(我这里使用xftp6):
详细部署dremio安装手册_第2张图片

在进入到上传路径,使用ls命令查看文件是否上传成功

[root@localhost dremio]# cd /home/hadoop/
[root@localhost hadoop]# ls

在这里插入图片描述

3、解压安装包
创建安装目录

[root@localhost hadoop]#mkdir /opt/install
[root@localhost hadoop]#ls /opt/

在这里插入图片描述

解压dremio包到/opt/install目录

[root@localhost hadoop]#cd /home/hadoop
[root@localhost hadoop]# tar -zxvf dremio-community-4.5.0-202006180205030236-1a5d28da.tar.gz -C /opt/install

详细部署dremio安装手册_第3张图片

修改dremio目录名

[root@localhost hadoop]# cd /opt/install
[root@localhost install]# ls
[root@localhost install]# mv ./dremio-community-4.5.0-202006180205030236-1a5d28da ./dremio
[root@localhost install]# ls

在这里插入图片描述

4、修改配置文件(可选)
不修改配置文件,就是使用默认配置
dremio.conf配置修改(路径:/opt/install/dremio/conf/dremio.conf)
dremio.conf可修改的配置:
1)、Dremio服务器的数量和类型
2)、Metadata storage位置
3)、Distributed位置
4)、Zookeeper位置

以下是默认的配置:

paths: {
  # dremio存储数据的本地路径
  local: ${DREMIO_HOME}"/data"

  # 分布式路径Dremio数据包括作业结果、下载、上传等
  #dist: "pdfs://"${paths.local}"/pdfs"
}

services: {
  coordinator.enabled: true,
  coordinator.master.enabled: true,
  executor.enabled: true
}

${DREMIO_HOME}即是dremio所在的路径,这里是/opt/install/dremio

dremio-env配置
1)、内存大小
直接内存(DIRECT_MEMORY)用于查询执行
堆内存(HEAP_MEMORY)用于运行Dremio服务器
内存的默认设置如下。
默认情况下,如果未设置,DREMIO_MAX_HEAP_MEMORY_SIZE_MB并DREMIO_MAX_DIRECT_MEMORY_SIZE_MB设置如下。
协调器节点
如果DREMIO_MAX_MEMORY_SIZE_MB≥18GB,则堆为16 GB,直接使用其余的。
如果DREMIO_MAX_MEMORY_SIZE_MB<18 GB,则直接为2 GB,堆将使用剩余的空间。
执行器节点
如果DREMIO_MAX_MEMORY_SIZE_MB≥32GB,则堆为8 GB,直接使用其余的。
如果DREMIO_MAX_MEMORY_SIZE_MB≥6GB,则堆为4 GB,直接使用其余的。
否则,堆为2 GB,直接使用剩余空间。

2)、Log and PID路径,日志和PID的路径默认在/opt/install/dremio
5、关闭防火墙
关闭防火墙并查看状态,确定防火墙已关闭。

[root@localhost dremio]# systemctl stop firewalld
[root@localhost dremio]# systemctl status firewalld

详细部署dremio安装手册_第4张图片

如果使用云服务器,要将端口9047和31010添加到服务器的入站规则,外部才可以访问。
6、运行dremio并查看状态

[root@localhost dremio]# /opt/install/dremio/bin/dremio start
[root@localhost dremio]# /opt/install/dremio/bin/dremio status

详细部署dremio安装手册_第5张图片

应用程序使用

注册
浏览器输入:http://hostname:9047/ 即可进入主界面,注意:在360浏览器的兼容模式下编辑框输入不了,填写注册信息。
详细部署dremio安装手册_第6张图片

使用界面
注册后进入使用界面
详细部署dremio安装手册_第7张图片

你可能感兴趣的:(dremio,linux)