Facebook查询引擎Presto 介绍与应用

官方说明：

Presto是一种分布式SQL查询引擎，旨在查询分布在一个或多个异构数据源上的大型数据集。

与XSQL和moonbox都有类似的功能

1. 安装部署

1.1 下载安装包

下载地址：
https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.225/presto-server-0.225.tar.gz

解压后的文件目录

1.2 修改配置文件

在etc下修改config.properties(Presto 服务配置)

coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8099
query.max-memory=10GB
query.max-memory-per-node=1GB
discovery-server.enabled=true
discovery.uri=http://centos4:8099

• coordinator：指定是否运维Presto实例作为一个coordinator(接收来自客户端的查询情切管理每个查询的执行过程)
• node-scheduler.include-coordinator：是否允许在coordinator服务中进行调度工作, 对于大型的集群，在一个节点上的Presto server即作为coordinator又作为worke将会降低查询性能。因为如果一个服务器作为worker使用，那么大部分的资源都会被worker占用，那么就不会有足够的资源进行关键任务调度、管理和监控查询执行
• http-server.http.port：指定HTTP server的端口。Presto 使用 HTTP进行内部和外部的所有通讯
• task.max-memory=1GB：一个单独的任务使用的最大内存 (一个查询计划的某个执行部分会在一个特定的节点上执行)。 这个配置参数限制的GROUP BY语句中的Group的数目、JOIN关联中的右关联表的大小、ORDER BY语句中的行数和一个窗口函数中处理的行数。 该参数应该根据并发查询的数量和查询的复杂度进行调整。如果该参数设置的太低，很多查询将不能执行；但是如果设置的太高将会导致JVM把内存耗光
• discovery-server.enabled：Presto 通过Discovery 服务来找到集群中所有的节点。为了能够找到集群中所有的节点，每一个Presto实例都会在启动的时候将自己注册到discovery服务。Presto为了简化部署，并且也不想再增加一个新的服务进程，Presto coordinator 可以运行一个内嵌在coordinator 里面的Discovery 服务。这个内嵌的Discovery 服务和Presto共享HTTP server并且使用同样的端口
• discovery.uri：Discovery server的URI。由于启用了Presto coordinator内嵌的Discovery 服务，因此这个uri就是Presto coordinator的uri。注意：这个URI一定不能以“/“结尾

ps: 如果是单节点部署，那么node-scheduler.include-coordinator=true，指定这个节点即作为coordinator，也作为worker。

在etc下修改node.properties（包含针对于每个节点的特定的配置信息）

node.environment=production
node.id=centos4-node-main-0001
node.data-dir=/var/presto/data

• node.environment： 集群名称, 所有在同一个集群中的Presto节点必须拥有相同的集群名称
• node.id： 每个Presto节点的唯一标示。每个节点的node.id都必须是唯一的。在Presto进行重启或者升级过程中每个节点的node.id必须保持不变。如果在一个节点上安装多个Presto实例（例如：在同一台机器上安装多个Presto节点），那么每个Presto节点必须拥有唯一的node.id
• node.data-dir： 数据存储目录的位置（操作系统上的路径）, Presto将会把日期和数据存储在这个目录下

在etc下修改jvm.config

-server
-Xmx60G
-Xms4G
-Xmn2g
-Xss512k
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:ParallelGCThreads=20
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
-Djava.library.path=/opt/cloudera/parcels/CDH/lib/hadoop/lib/native

1.3 配置数据源

presto可以接入多种数据源，以hive和mysql为例

接入hive数据源：
在etc/catalog目录下创建hive.properties文件

connector.name=hive-hadoop2
hive.metastore.uri=thrift://centos4:9083

接入mysql数据源：
在etc/catalog目录下创建mysql.properties文件

connector.name=mysql
connection-url=jdbc:mysql://ip:3306
connection-user=username
connection-password=password

2. 启动和停止命令

2.1 后台启动

bin/launcher start

2.2 前台启动

bin/launcher run

2.3 停止服务

bin/laucher stop

3. 启动测试

bin/launcher start

3.1 页面

启动成功后可以在web端看到ui界面，访问coordinator节点的discovery.uri地址，可以看到如下界面：

3.2 命令行查询数据

3.2.1 下载可执行的jar包

下载地址：https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.225/presto-cli-0.225-executable.jar

重命名为presto，并赋予可执行权限chmod +x

3.2.2 运行jar包

./presto --server centos4:18099

image.png

3.2.3 查询命令

说明，presto用catalog表示数据源，用schemas表示数据库

• 显示数据源

  
  
  

• 显示数据库

  
  
  

  image.png

• 显示数据表

  
  
  

  image.png

• 查询数据

  
  
  

  image.png

在ui页面也可以看到查询记录

3.3 jdbc代码连接

• 需要引入jar包

    com.facebook.presto
    presto-jdbc
    0.225

• jdbc URL

这三种形式都可以

jdbc:presto://host:port
jdbc:presto://host:port/catalog
jdbc:presto://host:port/catalog/schema

可以像连接jdbc一样连接

// URL parameters
String url = "jdbc:presto://example.net:8080/hive/sales";
Properties properties = new Properties();
properties.setProperty("user", "test");
properties.setProperty("password", "secret");
properties.setProperty("SSL", "true");
Connection connection = DriverManager.getConnection(url, properties);

// properties
String url = "jdbc:presto://example.net:8080/hive/sales?user=test&password=secret&SSL=true";
Connection connection = DriverManager.getConnection(url);

4. 后话

官方文档：https://prestodb.github.io/docs/current/index.html
参考文档：https://blog.csdn.net/zyj8170/article/details/60954885