解压JDK
[root@iz8vbbxvvkohgikc3mzmknz ~]# tar -xzvf jdk-8u251-linux-x64.tar.gz -C /opt/modules/
安装Hadoop
[root@iz8vbbxvvkohgikc3mzmknz ~]# tar -xzvf hadoop-2.7.0.tar.gz -C /opt/modules/
配置环境变量
添加jdk到环境变量(在末尾添加) vim /etc/profile
#jdk
export JAVA_HOME="/opt/modules/jdk1.8.0_251"
export PATH=$JAVA_HOME/bin:$PATH
#hadoop
export HADOOP_HOME="/opt/modules/hadoop-2.7.0"
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
调用资源 source /etc/profile
查看配置是否成功 java -version
查看配置是否成功 hadoop version
参照 https://blog.csdn.net/qq_39652628/article/details/87551266
Hive安装及配置
[root@iz8vbbxvvkohgikc3mzmknz ~]# tar -xzvf apache-hive-2.3.6-bin.tar.gz -C /opt/modules/
#HIVE HOME
export HIVE_HOME=/opt/modules/hive-2.3.6
export PATH=${PATH}:${HIVE_HOME}/bin:${HIVE_HOME}/conf
使配置生效
[root@iz8vbbxvvkohgikc3mzmknz ~]# source /etc/profile
2.创建数据仓库并赋予写权限。先到hadoop-2.7.0安装目录下执行下面命令。 因为hive-default.xml.template配置文件中默认设置的的数据仓库就是/user/hive/warehouse
bin/hdfs dfs -mkdir /tmp 安装完之后就默认存在,所有不需要创建目录
bin/hdfs dfs -mkdir -p /user/hive/warehouse
bin/hdfs dfs -chmod g+w /tmp
bin/hdfs dfs -chmod g+w /user/hive/warehouse
3.配置文件
到hive安装目录下的conf文件夹中复制hive-env.sh.template,粘贴为hive-env.sh
编辑hive-env.sh。配置hadoop安装路径和hive的配置目录
配置hive-site.xml
删去
初始化schema
bin/schematool -dbType derby -initSchema
5.启动hive bin/hive 尝试操作hive,比如查看当前database列表
Presto单节点安装配置
配置node
在安装目录下的etc下配置node
[root@iz8vbbxvvkohgikc3mzmknz etc]# vim node.properties
Presto的配置文件:etc/config.properties包含了Presto server的所有配置信息。 每个Presto server既是一个coordinator也是一个worker。
目录属性
hive的话需要加上版本号例如hive-hadoop2
hive.metastore.uri需要与hive的metastore地址和端口对应。
一般配置在/etc/hive/conf/hive-site.xml中。
开始运行
安装目录包含启动器脚本bin/launcher。可以通过运行以下命令将Presto作为守护程序启动:bin / launcher start 查看进程: ps -aux|grep PrestoServer 启动完之后,日志将会写在var/log目录下
命令行界面
Presto CLI提供了一个基于终端的交互式shell,用于运行查询。CLI是一个 自动执行的 JAR文件下载 presto-cli-0.219-executable.jar,将其重命名为presto增加执行权限,并绑定调度器端口