Hive 3.1.1环境搭建与Spark集成

 

一:解压

tar -zxvf /opt/soft/apache-hive-3.1.1-bin.tar.gz -C /opt/client/

二:在HDFS上创建tmp和hive仓库目录(存在就不需要创建)

hdfs dfs -mkdir /tmp

hdfs dfs -mkdir -p /user/hive/warehouse

在Hive安装目录下的 conf目录下执行

cp hive-default.xml.template hive-site.xml

cp hive-log4j2.properties.template hive-log4j2.properties

cp hive-env.sh.template hive-env.sh

三:配置hive-env.sh

export HADOOP_HOME=/opt/modules/hadoop-3.1.2
export HIVE_CONF_DIR=/opt/modules/hive-3.1.1/conf
export HIVE_AUX_JARS_PATH=/opt/modules/hive-3.1.1/lib

四:配置hive-site.xml

    javax.jdo.option.ConnectionUserName
    root
  

   
    javax.jdo.option.ConnectionDriverName
    com.mysql.jdbc.Driver
  


    javax.jdo.option.ConnectionPassword
    123456
  
  
    javax.jdo.option.ConnectionURL
    jdbc:mysql://lx:3306/hive?useSSL=false
  

   
    hive.metastore.schema.verification
    false
  

  
    datanucleus.schema.autoCreateAll
    true
  

    hive.cli.print.current.db
    true
  

  
    hive.cli.print.header
    true
  

五:配置hive-log4j2.properties

property.hive.log.dir = /opt/modules/hive-3.1.1/logs  #指定自己创建的日志目录

六:初始化元数据 (在Hive安装目录执行)

#在MySql中创建Hive的元数据库
create database hive;

#拷贝mysql连接驱动到lib目录下
cp /opt/soft/mysql-connector-java-5.1.46-bin.jar /opt/client/hive-3.1.1/lib/

#在Hive安装目录的bin目录下执行
schematool -dbType mysql -initSchema

出现截图所示代表初始化完成

七:进入MySql 验证查看初始化后的元数据库

八:启动Hive 查看是否安装成功

至此 Hive 3.1.1版本环境搭建完成

如果需要与spark集成  只需要将 hive-site.xml拷贝到spark安装目录下的conf目录 将mysql的驱动拷贝到jars目录下即可

cp hive-site.xml /opt/client/spark/conf
cp mysql-connector-java-5.1.46-bin.jar /opt/client/spark/jars

这个比较简单 图就不贴了