【大数据入门核心技术-Hive】（三）Hive3.1.2非高可用集群搭建

目录

 一、部署规划

二、部署版本

三、MySQL安装

四、单机Hive安装

1、下载解压

2、配置环境变量

3、修改配置hive-env.sh.template

4、配置Metastore

5、修改配置文件hive-site.xml

6、mysql创建root用户密码

7、运行Hive--初始化数据库

五、测试

1、上传数据到hdfs

2、hive操作 建表

3、导入数据

5、hive命令行下查询操作

---

 一、部署规划

Hadoop3.*高可用集群部署参考：

【大数据入门核心技术-Hadoop】Hadoop3.2.1高可用集群搭建

Hive3.*高可用集群部署参考：

【大数据入门核心技术-Hive】Hive3.1.2高可用集群搭建

二、部署版本

软件	版本
操作系统	CentOS Linux release 7.6.1810 (Core)
JAVA	java version "1.8.0_131"
Hadoop	Hadoop 3.2.1
Hive	Hive 3.1.2

三、MySQL安装

安装参考：

【大数据入门核心技术-Hive】MySQL5.7安装

四、单机Hive安装

1、下载解压

下载地址:

https://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

tar -zxf apache-hive-3.1.2-bin.tar.gz -C /usr/local/
cd /usr/local
mv apache-hive-3.1.2-bin hive-3.1.2

2、配置环境变量

 /etc/profie下加入

export HIVE_HOME=/usr/local/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin

3、修改配置hive-env.sh.template

cd $HIVE_HOME/conf

cp hive-env.sh.template hive-env.sh 

vim hive-env.sh
# HADOOP_HOME=${bin}/../../hadoop
打开注释修改 HADOOP_HOME=/usr/local/hadoop-3.2.1

# export HIVE_CONF_DIR=
打开注释修改 HIVE_CONF_DIR=/usr/local/hive-3.1.2/conf  

4、配置Metastore

下载mysql驱动包，copy 到hive lib目录下

wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.44/mysql-connector-java-5.1.44.jar 

cp mysql-connector-java-5.1.44.jar  /usr/local/hive-3.1.2/lib

5、修改配置文件hive-site.xml

cp hive-default.xml.template hive-site.xml
vim hive-site.xml 

  
  javax.jdo.option.ConnectionURL
  jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&useSSL=false
  JDBC connect string for a JDBC metastore



  javax.jdo.option.ConnectionDriverName

  com.mysql.jdbc.Driver
  Driver class name for a JDBC metastore



  
  javax.jdo.option.ConnectionUserName
  root
  username to use against metastore database



  
  javax.jdo.option.ConnectionPassword
  123456
  password to use against metastore database



  hive.server2.webui.host
  127.0.0.1



  hive.server2.webui.port
  10002

6、mysql创建root用户密码

如已设置，则忽略

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;  
FLUSH PRIVILEGES; 

7、运行Hive--初始化数据库

cd $HIVE_HOME/bin/
schematool -dbType mysql -initSchema

五、测试

1、上传数据到hdfs

hadoop fs -put data.txt /

内容如下：

1,name1

2,name2

2、hive操作 建表

create table if not exists student(id int,name string) row format delimited fields terminated by ',';

3、导入数据

LOAD DATA  INPATH '/data.txt' OVERWRITE INTO TABLE student;

5、hive命令行下查询操作

select * from student;