Presto 配置 Hive & Hive的权限

Table of Contents

总览

支持的文件类型

配置

多个配置单元群集

HDFS配置

HDFS用户名 [重要]

验证

---

总览

Hive连接器允许查询存储在Hive数据仓库中的数据。Hive是三个组件的组合：

• 各种格式的数据文件通常存储在Hadoop分布式文件系统（HDFS）或Amazon S3中。
• 有关如何将数据文件映射到架构和表的元数据。此元数据存储在数据库（例如MySQL）中，并可通过Hive Metastore服务进行访问。
• 一种查询语言，称为HiveQL。该查询语言在诸如MapReduce或Tez的分布式计算框架上执行。

Presto仅使用前两个组件：数据和元数据。它不使用HiveQL或Hive执行环境的任何部分。

支持的文件类型

Hive连接器支持以下文件类型：

• ORC
• Parquet
• Avro
• RCFile
• SequenceFile
• JSON
• Text

配置

Hive连接器支持Apache Hadoop 2.x及其衍生版本，包括Cloudera CDH 5和Hortonworks Data Platform（HDP）。

修改: etc/catalog/hive.properties

使用:  hive-hadoop2 作为连接器 [不可能改]

配置如下

[root@master catalog]# pwd
/opt/presto/etc/catalog
[root@master catalog]#
[root@master catalog]#
[root@master catalog]# ll
总用量 8
-rw-rw-r--. 1 presto hadoop 172 6月  18 13:07 hive.properties
-rw-rw-r--. 1 presto hadoop 124 4月  18 17:33 mysql.properties
[root@master catalog]#
[root@master catalog]# more hive.properties
connector.name=hive-hadoop2
hive.metastore.uri=thrift://hive-metaserver:9083
hive.config.resources=/opt/hadoop/etc/hadoop/core-site.xml,/opt/hadoop/etc/hadoop/hdfs-site.xml
[root@master catalog]#
[root@master catalog]#

 

多个配置单元群集

您可以根据需要拥有任意数量的目录，

如果您有其他Hive集群，只需向其添加另一个etc/catalog 具有不同名称的属性文件（确保以结尾.properties）。

例如，如果您命名属性文件sales.properties，则Presto将创建一个sales使用已配置的连接器命名的目录。

 

HDFS配置

对于基本设置，Presto会自动配置HDFS客户端，不需要任何配置文件。在某些情况下，例如当使用联合HDFS或NameNode高可用性时，有必要指定其他HDFS客户端选项以访问您的HDFS群集。为此，添加hive.config.resources属性以引用您的HDFS配置文件：

hive.config.resources=/opt/hadoop/etc/hadoop/core-site.xml,/opt/hadoop/etc/hadoop/hdfs-site.xml

仅在需要时指定其他配置文件。我们还建议减少配置文件，使其具有最少的必需属性集，因为其他属性可能会引起问题。

配置文件必须存在于所有Presto节点上。如果要引用现有的Hadoop配置文件，请确保将它们复制到任何未运行Hadoop的Presto节点。

HDFS用户名 [重要]

当不将Kerberos与HDFS一起使用时，Presto将使用Presto进程的OS用户访问HDFS(即系统用户)。

例如，如果Presto以root身份运行，它将以身份访问HDFS的权限为root用户的权限。

可以通过HADOOP_USER_NAME在Presto JVM Config中设置系统属性来覆盖此用户名，并替换hdfs_user为适当的用户名：

-DHADOOP_USER_NAME=hdfs_user

[root@master etc]# pwd
/opt/presto/etc
[root@master etc]# ll
总用量 16
drwxr-xr-x. 2 presto hadoop  53 6月  18 13:07 catalog
-rw-r--r--. 1 presto hadoop 177 6月  18 13:34 config.properties
-rw-r--r--. 1 presto hadoop 194 6月  18 13:34 jvm.config
-rw-rw-r--. 1 presto presto  25 4月  18 17:33 log.properties
-rw-r--r--. 1 presto hadoop  85 6月  18 13:34 node.properties
[root@master etc]# more jvm.config
-server
-Xmx2G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
-DHADOOP_USER_NAME=hdfs

 

验证

cd ${PRESTO_HOME}/bin

./presto --server 192.168.100.100:8989 --catalog hive --schema default

 

官方:

https://prestodb.io/docs/current/connector/hive.html