presto安装(基于cdh6.1集成hive+sentry)


官网:
https://prestodb.github.io/docs/current/index.html

环境和软件信息:
presto 0.221
linux centos7
cdh6.1.1

presto下载地址:
https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.221/presto-server-0.221.tar.gz ##安装包
https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.221/presto-cli-0.221-executable.jar ##cli包

1、jdk配置
vim ${PRESTO_HOME}/bin/launcher 添加jdk配置
JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
PATH=$JAVA_HOME/bin:$PATH


2、创建目录和文件(每个节点都需要)
${PRESTO_HOME} 表示 presto-server-0.221.tar.gz 解压后的存放位置

创建${PRESTO_HOME}/etc 目录
创建${PRESTO_HOME}/etc/ 文件
touch ${PRESTO_HOME}/etc/node.properties
touch ${PRESTO_HOME}/etc/jvm.properties
touch ${PRESTO_HOME}/etc/config.properties
touch ${PRESTO_HOME}/etc/log.properties

3、写入配置信息
3.0 (每个节点都需要)
vim node.properties
###
node.environment=presto ##presto集群名称,自定义
node.id=presto35 ##节点唯一ID
node.data-dir=/data/presto  ##数据存放位置

3.1(每个节点都需要)
vim jvm.config
#####
-server
-Xmx32G
-XX:+UseG1GC
-XX:G1HeapRegionSize=150M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
-DHADOOP_USER_NAME=presto  ##集成hive拥有查询的用户 (需每个节点 adduser presto 用户, 记得给这个presto用户授权)

3.2(每个节点都需要)
vim config.properties
##coordinator 主节点
coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=20080
query.max-memory=50GB
## query.max-memory-per-node + query.max-total-memory-per-node 不能大于jvm.config 的 -Xmx32G
query.max-memory-per-node=10GB
query.max-total-memory-per-node=20GB  
discovery-server.enabled=true
discovery.uri=http://example.net:20080  ## example.net 为主服务 coordinator的host

##work 节点
#coordinator=false
http-server.http.port=20080
query.max-memory=50GB
query.max-memory-per-node=10GB
query.max-total-memory-per-node=20GB
discovery.uri=http://example.net:20080 ## example.net 为主服务 coordinator的host

3.3(每个节点都需要)
vim log.properties
com.facebook.presto=INFO

4、(每个节点都需要)
##hive集成 集群使用sentry做的权限管理 cdh6.1.1版本
mkdir ${PRESTO_HOME}/etc/catalog
vim ${PRESTO_HOME}/etc/catalog/hive.properties
connector.name=hive-hadoop2
hive.metastore.uri=thrift://hive metastore ip:9083 ## hive metastore ip
hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml

5、
##启服务(每个节点都需要)
${PRESTO_HOME}/bin/launcher restart    ## start 、stop 、restart、run

6、unix窗口下访问(cli模式)
mv presto-cli-0.221-executable.jar ${PRESTO_HOME}/bin/presto ##将下载的jar 重命名
chmod +x ${PRESTO_HOME}/bin/presto ##执行权限

测试指令:

/opt/cloudera/parcels/presto/bin/presto --server presto主服务ip:主服务端口 --catalog=hive --schema=default ##catalog=hive 表示访问hive schema=default的默认库

 

presto安装(基于cdh6.1集成hive+sentry)_第1张图片

 

以上仅供参考!

具体的可以上官网查询资料哦。比较全!

 

你可能感兴趣的:(学习博客)