presto集群安装步骤

转载自:http://www.cnblogs.com/tgzhu/p/6038123.html


Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator(调度节点)和多个worker。 由客户端提交查询,从Presto命令行CLI提交到coordinator。 coordinator进行解析,分析并执行查询计划,然后分发处理队列到worker

目录:

  • 环境基本要求
  • 集群规划
  • 连接器
  • 安装步骤
  • config.properties
  • node.properties
  • jvm.config
  • log.properties
  • Catalog Properties
  • 运行presto
  • 测试验证

环境基本要求


  • Linux or Mac OS X
  • Java 8, 64-bit
  • Python 2.4+

集群规划


  • hdp1 ( 192.169.1.89) : 调度节点
  • hdp2 (192.169.1.2) :   worker节点
  • hdp3 (192.169.1.99) : worker节点

连接器


  • Presto支持从以下版本的Hadoop中读取Hive数据:支持以下文件类型:Text, SequenceFile, RCFile, ORC
    1. Apache Hadoop 1.x  (hive-hadoop1)
    2. Apache Hadoop 2.x  (hive-hadoop2)
    3. Cloudera CDH 4       (hive-cdh4)
    4. Cloudera CDH 5       (hive-cdh5)
  • 此外,需要有远程的Hive元数据。 不支持本地或嵌入模式。 Presto不使用MapReduce,只需要HDFS

安装步骤


  • 下载 presto-server-0.100, ( 下载地址:https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.100/presto-server-0.100.tar.gz
  • 将 presto-server-0.100.tar.gz 上传至linux主机,解压后的文件目录结构如下(称为安装目录):Presto需要一个用于存储日志、本地元数据等的数据目录。 建议在安装目录的外面创建一个数据目录。这样方便Presto进行升级,如:/presto/data
    • presto集群安装步骤_第1张图片

  • 在安装目录中创建一个etc目录, 在这个etc目录中放入以下配置文件:
    1. config.properties :Presto 服务配置
    2. node.properties :环境变量配置,每个节点特定配置
    3. jvm.config :Java虚拟机的命令行选项
    4. log.properties: 允许你根据不同的日志结构设置不同的日志级别
    5. catalog目录 :每个连接者配置(data sources)

config.properties


  • 包含了Presto server的所有配置信息。 每个Presto server既是一个coordinator也是一个worker。 但是在大型集群中,处于性能考虑,建议单独用一台机器作为 coordinator,一个coordinator的etc/config.properties应该至少包含以下信息:
    coordinator=true
    node-scheduler.include-coordinator=true
    http-server.http.port=8080
    task.max-memory=1GB
    discovery-server.enabled=true
    discovery.uri=http://192.169.1.20:8080
    1. coordinator:指定是否运维Presto实例作为一个coordinator(接收来自客户端的查询情切管理每个查询的执行过程)

    2. node-scheduler.include-coordinator:是否允许在coordinator服务中进行调度工作, 对于大型的集群,在一个节点上的Presto server即作为coordinator又作为worke将会降低查询性能。因为如果一个服务器作为worker使用,那么大部分的资源都会被worker占用,那么就不会有足够的资源进行关键任务调度、管理和监控查询执行
    3. http-server.http.port:指定HTTP server的端口。Presto 使用 HTTP进行内部和外部的所有通讯
    4. task.max-memory=1GB:一个单独的任务使用的最大内存 (一个查询计划的某个执行部分会在一个特定的节点上执行)。 这个配置参数限制的GROUP BY语句中的Group的数目、JOIN关联中的右关联表的大小、ORDER BY语句中的行数和一个窗口函数中处理的行数。 该参数应该根据并发查询的数量和查询的复杂度进行调整。如果该参数设置的太低,很多查询将不能执行;但是如果设置的太高将会导致JVM把内存耗光
    5. discovery-server.enabled:Presto 通过Discovery 服务来找到集群中所有的节点。为了能够找到集群中所有的节点,每一个Presto实例都会在启动的时候将自己注册到discovery服务。Presto为了简化部署,并且也不想再增加一个新的服务进程,Presto coordinator 可以运行一个内嵌在coordinator 里面的Discovery 服务。这个内嵌的Discovery 服务和Presto共享HTTP server并且使用同样的端口
    6. discovery.uri:Discovery server的URI。由于启用了Presto coordinator内嵌的Discovery 服务,因此这个uri就是Presto coordinator的uri。注意:这个URI一定不能以“/“结尾
  • 注意:上例中如果是worker的config.properties,配置应该如下:
    coordinator=false
    http-server.http.port=8080
    query.max-memory=1GB
    discovery.uri=http://192.169.1.20:8080
  • 如果用一台机器进行测试,那么这一台机器将会即作为coordinator,也作为worker。配置文件将会如下所示:

    coordinator=true
    node-scheduler.include-coordinator=true
    http-server.http.port=8080
    task.max-memory=1GB
    discovery-server.enabled=true
    discovery.uri=http://example.net:8080

     

node.properties


  • 包含针对于每个节点的特定的配置信息。 一个节点就是在一台机器上安装的Presto实例,etc/node.properties配置文件至少包含如下配置信息
    node.environment=test
    node.id=ffffffff-ffff-ffff-ffff-ffffffffff01(填自己的IP,主要是一个唯一性标志)
    node.data-dir=/presto/data
  1. node.environment: 集群名称, 所有在同一个集群中的Presto节点必须拥有相同的集群名称

  2. node.id: 每个Presto节点的唯一标示。每个节点的node.id都必须是唯一的。在Presto进行重启或者升级过程中每个节点的node.id必须保持不变。如果在一个节点上安装多个Presto实例(例如:在同一台机器上安装多个Presto节点),那么每个Presto节点必须拥有唯一的node.id
  3. node.data-dir: 数据存储目录的位置(操作系统上的路径), Presto将会把日期和数据存储在这个目录下

jvm.config


  • 包含一系列在启动JVM的时候需要使用的命令行选项。这份配置文件的格式是:一系列的选项,每行配置一个单独的选项。由于这些选项不在shell命令中使用。 因此即使将每个选项通过空格或者其他的分隔符分开,java程序也不会将这些选项分开,而是作为一个命令行选项处理,信息如下:
    复制代码
    -server
    -Xmx16G
    -XX:+UseConcMarkSweepGC
    -XX:+ExplicitGCInvokesConcurrent
    -XX:+CMSClassUnloadingEnabled
    -XX:+AggressiveOpts
    -XX:+HeapDumpOnOutOfMemoryError
    -XX:OnOutOfMemoryError=kill -9 %p
    -XX:ReservedCodeCacheSize=150M
    复制代码
  •  

log.properties


  • 这个配置文件中允许你根据不同的日志结构设置不同的日志级别。每个logger都有一个名字(通常是使用logger的类的全标示类名). Loggers通过名字中的“.“来表示层级和集成关系,信息如下:
    com.facebook.presto=DEBUG
  • 配置日志等级,类似于log4j。四个等级:DEBUG,INFO,WARN,ERROR

Catalog Properties


  • 通过在etc/catalog目录下创建catalog属性文件来完成catalogs的注册。 例如:可以先创建一个etc/catalog/jmx.properties文件,文件中的内容如下,完成在jmxcatalog上挂载一个jmxconnector
    connector.name=jmx
  • 在etc/catalog目录下创建hive.properties,信息如下:

    connector.name=hive-hadoop2
    hive.metastore.uri=thrift://192.169.1.89:9083
    hive.config.resources=/etc/hadoop/2.4.2.0-258/0/core-site.xml, /etc/hadoop/2.4.2.0-258/0/hdfs-site.xml
    hive.allow-drop-table=true
  • 如果hive是CDH5.X的那么hive.properties 的配置内容如下:
  • connector.name=hive-cdh5
  • hive.metastore.uri=thrift://cdh1:9083  #修改为 hive-metastore 服务所在的主机名称,这里我是安装在 cdh1节点
  • hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml
    

运行presto


  • 在安装目录的bin/launcher文件,就是启动脚本。Presto可以使用如下命令作为一个后台进程启动:
    bin/launcher start
  • 也可以在前台运行, 可查看具体的日志
    bin/launcher run
  • 停止服务进程命令
    bin/laucher stop
  • 查看进程: ps -aux|grep PrestoServer  或 jps

测试验证


  • 下载 presto-cli-0.100-executable.jar:Presto CLI为用户提供了一个用于查询的可交互终端窗口。CLI是一个 可执行 JAR文件, 这也就意味着你可以像UNIX终端窗口一样来使用CLI ,下载地址https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.100/presto-cli-0.100-executable.jar
  • 文件下载后,重名名为 presto , 使用 chmod +x 命令设置可执行权限
    chmod +x /presto/presto.jar
  • 在hive中创建示例表,插入数据,sql如下:
    create table test(id int, name string);
    insert into table test select count(id), "tom" from test;
  •  结果如下图:

  • presto集群安装步骤_第2张图片
  • 退出hive cli,进入presto cli
  • 命令: ./presto.jar --server 192.168.1.89:9000 --catalog hive --schema default   (如果要调度,可加 --debug)

你可能感兴趣的:(presto集群安装步骤)