大数据分析引擎之presto简介

大数据分析引擎之presto简介

简介:
presto是一个大数据分析引擎,不属于hadoop体系,他是基于内存的。他的集群模式是主从式的。
他可以与任何的大数据存储引擎做集成,集成的时候使用它的Connectors集成
大数据分析引擎之presto简介_第1张图片
从这里我们可以他可以和kafka、mysql、内存、hive来做集成
安装:
1.解压:tar -zxvf presto-server-0.217.tar.gz -C ~/training/
2.创建etc目录,并包含以下配置文件
cd ~/training/presto-server-0.217/
mkdir etc
① Node Properties: 节点的配置信息
② JVM Config: 命令行工具的JVM配置参数
③ Config Properties: Presto Server的配置参数
④ Catalog Properties: 数据源(Connectors)的配置参数
⑤ Log Properties:日志参数配置
node.properties

#集群名称。所有在同一个集群中的Presto节点必须拥有相同的集群名称。
node.environment=production
#每个Presto节点的唯一标示。每个节点的node.id都必须是唯一的。在Presto进行重启或者升级过程中每个节点的node.id必须保持不变。如果在一个节点上安装多个Presto实例(例如:在同一台机器上安装多个Presto节点),那么每个Presto节点必须拥有唯一的node.id。
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff 
# 数据存储目录的位置(操作系统上的路径)。Presto将会把日期和数据存储在这个目录下。
node.data-dir=/root/training/presto-server-0.217/data		

jvm.config(内存相关配置)

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

config.properties(因为测试用到的一台虚拟机所以我们只简单配置一个文件就行了,如果我们是全分布式的需要配置主节点和从节点的)

coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8080
query.max-memory=5GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery-server.enabled=true
discovery.uri=http://192.168.112.111:8080

log.properties (日志相关配置)

com.facebook.presto=INFO

集成hive,集成hive的时候我们必须在presto的etc文件夹下创建一个catalog目录,所有集成数据源都在这里配置
mkdir /root/training/presto-server-0.217/etc/catalog
hive.properties(集成hive的配置文件)

#注明hadoop的版本
connector.name=hive-hadoop2
#hive-site中配置的地址
hive.metastore.uri=thrift://192.168.157.111:9083
#hadoop的配置文件路径
hive.config.resources=/root/training/hadoop-3.1.2/etc/hadoop/core-site.xml,/root/training/hadoop-3.1.2/etc/hadoop/hdfs-site.xml			
		

注意:要访问Hive的话,需要将Hive的MetaStore启动:hive --service metastore
这个窗口不能关掉
用来另一个窗口启动Presto
启动Presto Server
./launcher start

	运行presto-cli
	下载:presto-cli-0.217-executable.jar
	重命名jar包,并增加执行权限
	cp presto-cli-0.217-executable.jar presto 
	chmod a+x presto
	连接Presto Server
	./presto --server localhost:8080 --catalog hive --schema default

然后我们使用presto命令行模式连接到hive的default默认的数据库中
在这里插入图片描述
可以使用show tables查看一下default库中的table,并查看一下它里边的表
大数据分析引擎之presto简介_第2张图片
这样我们就把presto配置完成了

你可能感兴趣的:(大数据hadoop,presto,hadoop)