Presto简介及安装

1、Presto简介

1.1 Presto概念

Presto是一个开源的分布式SQL查询引擎,数据量支持GB到PB字节,主要用来处理秒级查询的场景

注意:虽然Presto可以解析SQL,但它不是一个标准的数据库;不是MySQL、Oracle的代替品,也不能用来处理在线事务(OLTP)

1.2 Presto架构

Presto由一个Coordinator和多个Worker组成

Presto简介及安装_第1张图片

1.3 Presto优缺点

1.3.1 优点
  1. Presto基于内存运算,减少了磁盘IO,计算更快

  2. 能够连接多个数据源,跨数据源连表查

    如从Hive查询大量网站访问记录,然后从MySQL中匹配出设备信息

1.3.2 缺点

Presto能够处理PB级别的海量数据分析

但Presto并不是把PB级数据都放在内存中计算的

而是根据场景(如Count,AVG等聚合运算)是边读数据边计算,再清内存,再读数据再计算,这种耗得内存并不高

但是连表查,就可能产生大量的临时数据,因此速度会变慢

1.4 Presto、Impala性能比较

https://blog.csdn.net/u012551524/article/details/79124532

测试结论:Impala性能稍领先于Presto,但是Presto在数据源支持上非常丰富,包括Hive、图数据库、传统关系型数据库、Redis等

2、Presto安装

2.1 Presto Server安装

  1. 官网地址

    https://prestodb.github.io/

  2. 下载地址

    https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.196/presto-server-0.196.tar.gz

  3. presto-server-0.196.tar.gz导入bigdata02的/opt/software目录下,并解压到/opt/module目录

    [hadoop@bigdata02 software]$ tar -zxvf presto-server-0.196.tar.gz -C /opt/module/
    
  4. 修改名称为presto

    [hadoop@bigdata02 module]$ mv presto-server-0.196/ presto
    
  5. 进入到/opt/module/presto目录,并创建存储数据文件夹

    [hadoop@bigdata02 presto]$ mkdir data
    
  6. 进入到/opt/module/presto目录,并创建存储配置文件夹

    [hadoop@bigdata02 presto]$ mkdir etc
    
  7. 配置在/opt/module/presto/etc目录下添加jvm.config配置文件

    [hadoop@bigdata02 etc]$ vim jvm.config
    添加如下内容
    
    -server
    -Xmx16G
    -XX:+UseG1GC
    -XX:G1HeapRegionSize=32M
    -XX:+UseGCOverheadLimit
    -XX:+ExplicitGCInvokesConcurrent
    -XX:+HeapDumpOnOutOfMemoryError
    -XX:+ExitOnOutOfMemoryError
    
  8. Presto可以支持多个数据源,在Presto里面叫catalog,这里我们配置支持Hive的数据源,配置一个Hive的catalog

    [hadoop@bigdata02 etc]$ mkdir catalog
    [hadoop@bigdata02 catalog]$ vim hive.properties 
    添加如下内容
    
    connector.name=hive-hadoop2
    hive.metastore.uri=thrift://bigdata02:9083
    
  9. 将bigdata02上的presto分发到bigdata03、bigdata04

    [hadoop@bigdata02 module]$ xsync presto
    
  10. 分发之后,分别进入bigdata02、bigdata03、bigdata04三台主机的/opt/module/presto/etc的路径,配置node属性,node id每个节点都不一样

    [hadoop@bigdata02 etc]$ vim node.properties
    node.environment=production
    node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
    node.data-dir=/opt/module/presto/data
     
    [hadoop@bigdata03 etc]$ vim node.properties
    node.environment=production
    node.id=ffffffff-ffff-ffff-ffff-fffffffffffe
    node.data-dir=/opt/module/presto/data
    
    [hadoop@bigdata04 etc]$ vim node.properties
    node.environment=production
    node.id=ffffffff-ffff-ffff-ffff-fffffffffffd
    node.data-dir=/opt/module/presto/data
    
  11. Presto是由一个coordinator节点和多个worker节点组成,在bigdata02上配置成coordinator,在bigdata03、bigdata04上配置为worker

    • bigdata02上配置coordinator节点

      [hadoop@bigdata02 etc]$ vim config.properties
      添加内容如下
      
      coordinator=true
      node-scheduler.include-coordinator=false
      http-server.http.port=8881
      query.max-memory=50GB
      discovery-server.enabled=true
      discovery.uri=http://bigdata02:8881
      
    • bigdata03、bigdata04上配置worker节点

      [hadoop@bigdata03 etc]$ vim config.properties
      添加内容如下
      coordinator=false
      http-server.http.port=8881
      query.max-memory=50GB
      discovery.uri=http://bigdata02:8881
      
      [hadoop@bigdata04 etc]$ vim config.properties
      添加内容如下
      coordinator=false
      http-server.http.port=8881
      query.max-memory=50GB
      discovery.uri=http://bigdata02:8881
      
  12. 在bigdata02的/opt/module/hive目录下,启动Hive Metastore,用hadoop角色

    [hadoop@bigdata02 hive]$ nohup bin/hive --service metastore >/dev/null 2>&1 &
    
  13. 分别在bigdata02、bigdata03、bigdata04上启动Presto Server

    • 前台启动Presto,控制台显示日志

      [hadoop@bigdata02 presto]$ bin/launcher run
      [hadoop@bigdata03 presto]$ bin/launcher run
      [hadoop@bigdata04 presto]$ bin/launcher run
      
    • 后台启动Presto

      [hadoop@bigdata02 presto]$ bin/launcher start
      [hadoop@bigdata03 presto]$ bin/launcher start
      [hadoop@bigdata04 presto]$ bin/launcher start
      
  14. 日志查看路径/opt/module/presto/data/var/log

2.2 Presto命令行Client安装

  1. 下载Presto的客户端

    https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.196/presto-cli-0.196-executable.jar

  2. 将presto-cli-0.196-executable.jar上传到bigdata02的/opt/module/presto文件夹下

  3. 修改文件名称

    [hadoop@bigdata02 presto]$ mv presto-cli-0.196-executable.jar prestocli
    
  4. 增加执行权限

    [hadoop@bigdata02 presto]$ chmod +x prestocli
    
  5. 启动prestocli

    [hadoop@bigdata02 presto]$ ./prestocli --server bigdata02:8881 --catalog hive --schema default
    
  6. Presto命令行操作

    Presto的命令行操作,相当于Hive命令行操作

    每个表必须要加上schema

    例如:select * from schema.table limit 100;

2.3 Presto可视化Client安装

  1. 将yanagishima-18.0.zip上传到bigdata02的/opt/module目录

  2. 解压缩yanagishima

    [hadoop@bigdata02 module]$ unzip yanagishima-18.0.zip
    
  3. 进入到/opt/module/yanagishima-18.0/conf文件夹,编写yanagishima.properties配置

    [hadoop@bigdata02 conf]$ vim yanagishima.properties
    添加如下内容
    
    jetty.port=7080
    presto.datasources=hadoop-presto
    presto.coordinator.server.hadoop-presto=http://bigdata02:8881
    catalog.hadoop-presto=hive
    schema.hadoop-presto=default
    sql.query.engines=presto
    
  4. 在/opt/module/yanagishima-18.0路径下启动yanagishima

    [hadoop@bigdata02 yanagishima-18.0]$ nohup bin/yanagishima-start.sh >y.log 2>&1 &
    
  5. 启动web页面

    http://bigdata02:7080

    看到界面,进行查询了

    查看表结构

    Presto简介及安装_第2张图片

    比如执行select * from hive.gmall.ads_user_topic limit 5,这个句子里Hive这个词可以删掉,是上面配置的Catalog

    每个表后面都有个复制键,点一下会复制完整的表名,然后再上面框里面输入sql语句,ctrl+enter键或者执行Run按钮,查看显示结果

2.4 关于不支持LZO的问题

我们的数据很多都是采用的lzo格式,presto不支持这种数据格式,但是如果我们的数据如果采用的是列式存储,存储里面用的是lzo,通过配置是可以支持的,我们可以把hadoop下的lzo包拷贝到presto下,分发到其他的presto节点,然后重启presto,就能支持了

[hadoop@bigdata02 common]$ cp /opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar /opt/module/presto/plugin/hive-hadoop2/

切换到/opt/module/presto/plugin/hive-hadoop2/目录 :cd /opt/module/presto/plugin/hive-hadoop2/

分发到其他的节点:xsync hive-hadoop2

你可能感兴趣的:(Presto,Presto)