Liunx：Hive的安装部署

序：软件版本

Liunx：centOS 7.5

Mysql：5.7.28

Hive：3.1.2

Hadoop：3.1.3

目录

序：软件版本

一、Hive安装部署

1、把hive及JDBC driver驱动上传到linux的/opt/software目录下

2、解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面

3、修改apache-hive-3.1.2-bin.tar.gz的名称为hive（可选择）

4、修改/etc/profile.d/my_env.sh，添加环境变量

5、解决日志Jar包冲突

6、Hive元数据配置到MySql

7、配置Metastore到MySql

二、启动Hive

2、启动metastore和hiveserver2

3、实现启动服务后可操作的启动方式

4、脚本启动

5、给予执行权限并启动

三、Hive访问

1、方式一：使用beeline客户端,使用JDBC访问

2、方式二：Hive访问

Liunx上mysql安装可参考：https://blog.csdn.net/m0_46589706/article/details/106479303

---

一、Hive安装部署

1、把hive及JDBC driver驱动上传到linux的/opt/software目录下

[user @hadoop102 software]$ ll

-rw-rw-r--. 1 user user    985600 6月   1 10:31 mysql-connector-java-5.1.37.jar
-rw-rw-r--. 1 user user    985600 6月   1 10:31 mysql-connector-java-5.1.37.jar

2、解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面

[user @hadoop102 software]$ tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/

3、修改apache-hive-3.1.2-bin.tar.gz的名称为hive（可选择）

[user @hadoop102 software]$ mv /opt/module/apache-hive-3.1.2-bin/ /opt/module/hive

4、修改/etc/profile.d/my_env.sh，添加环境变量

my_env.sh是自己创建的，用于配置自定义环境变量的。在my_env.sh中添加如下内容，更改完成后进行source /etc/profile操作。将环境变量重写加载。

[user @hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh

#添加内容
#HIVE_HOMEHIVE_HOME=/opt/module/hive

PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin

export PATH JAVA_HOME HADOOP_HOME HIVE_HOME

5、解决日志Jar包冲突

//将hive使用的jar包更改名称，使hive与hadoop使用同版本的log
[user @hadoop102 software]$ mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.bak

 

6、Hive元数据配置到MySql

将MySQL的JDBC驱动拷贝到Hive的lib目录下

[user @hadoop102 software]$ cp /opt/software/mysql-connector-java-5.1.48.jar $HIVE_HOME/lib

7、配置Metastore到MySql

在$HIVE_HOME/conf目录下新建hive-site.xml文件，添加如下配置，其中前4条配置需结合自己的实际情况修改。

[user @hadoop102 software]$ vim $HIVE_HOME/conf/hive-site.xml

    
        
            
        javax.jdo.option.ConnectionURL                
        jdbc:mysql://hadoop102:3306/metastore?useSSL=false
       

        
            
        javax.jdo.option.ConnectionDriverName                
        com.mysql.jdbc.Driver
     
   
        
            
        javax.jdo.option.ConnectionUserName        
        root    
       
 
        
            
        javax.jdo.option.ConnectionPassword        
        123456    
      
  
        
            
        hive.metastore.warehouse.dir        
        /user/hive/warehouse    
      
     
        
            
        hive.metastore.schema.verification        
        false    
       
 
        
            
        hive.metastore.uris        
        thrift://hadoop102:9083    
    
   
        
        
        hive.server2.thrift.port    
        10000    
       

        
            
        hive.server2.thrift.bind.host        
        hadoop102    
      
  
        
            
        hive.metastore.event.db.notification.api.auth        
        false    
    

二、启动Hive

1、初始化元数据库

• 登陆MySQL

[user @hadoop102 software]$ mysql -uroot -p000000

• 新建Hive元数据库

mysql> create database metastore;
mysql> quit;

• 初始化Hive元数据库

[user @hadoop102 software]$ schematool -initSchema -dbType mysql -verbose

2、启动metastore和hiveserver2

• Hive 2.x以上版本，要先启动这两个服务，否则会报错：

FAILED: HiveException java.lang.RuntimeException: Unable to instantiate
org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

• 启动metastore ，注意: 启动后窗口不能再操作，需打开一个新的shell窗口做别的操作

[user @hadoop202 hive]$ hive --service metastore 
2020-04-24 16:58:08: Starting Hive Metastore Server  

• 启动 hiveserver2，注意: 启动后窗口不能再操作，需打开一个新的shell窗口做别的操作

[atguigu@hadoop202 hive]$ hive --service hiveserver2
which: no hbase in (/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/module/
jdk1.8.0_212/bin:/opt/module/hadoop-3.1.3/bin:/opt/module/Hadoop-3.1.3/sbin:
/opt/module/hive/bin:/home/atguigu/.local/bin:/home/user/bin)

2020-04-24 17:00:19: Starting HiveServer2  

3、实现启动服务后可操作的启动方式

前台启动的方式导致需要打开多个shell窗口，可以使用如下方式后台方式启动

[user @hadoop202 hive]$ nohup hive --service metastore 2>&1 &
[user @hadoop202 hive]$ nohup hive --service hiveserver2 2>&1 &

• nohup: 放在命令开头，表示不挂起,也就是关闭终端进程也继续保持运行状态
• 2>&1 : 表示将错误重定向到标准输出上
• &: 放在命令结尾,表示后台运行

一般会组合使用: nohup  [xxx命令操作]> file  2>&1 &  ， 表示将xxx命令运行的结果输出到file中，并保持命令启动的进程在后台运行。

4、脚本启动

为了方便使用，可以直接编写脚本来管理服务的启动和关闭，脚本可放在$HIVE_HOME/bin目录下

#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs
if [ ! -d $HIVE_LOG_DIR ]
then
	mkdir -p $HIVE_LOG_DIR
fi
#检查进程是否运行正常，参数1为进程名，参数2为进程端口
function check_process()
{
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}

function hive_start()
{
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    cmd=$cmd" sleep 4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"
    [ -z "$metapid" ] && eval $cmd || echo "Metastore服务已启动"
    server2pid=$(check_process HiveServer2 10000)
    cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
    [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}

function hive_stop()
{
    metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
    server2pid=$(check_process HiveServer2 10000)
    [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}

case $1 in
"start")
    hive_start
    ;;
"stop")
    hive_stop
    ;;
"restart")
    hive_stop
    sleep 2
    hive_start
    ;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
    check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status'
    ;;
esac

5、给予执行权限并启动

[user @hadoop102 hive]$ chmod +x $HIVE_HOME/bin/hiveservices.sh4

//hiveservices.sh 为脚本名
[user @hadoop102 hive]$ hiveservices.sh start

启动后待几分钟，可查看启动状态如下

[user @hadoop102 software]$ hiveservice.sh status
Metastore服务运行正常
HiveServer2服务运行正常

三、Hive访问

1、方式一：使用beeline客户端,使用JDBC访问

[user @hadoop102 hive]$ bin/beeline -u jdbc:hive2://hadoop102:10000 -n user

Connecting to jdbc:hive2://hadoop102:10000
Connected to: Apache Hive (version 3.1.2)
Driver: Hive JDBC (version 3.1.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 3.1.2 by Apache Hive
0: jdbc:hive2://hadoop102:10000>

2、方式二：Hive访问

[user @hadoop102 hive]$ bin/hive

which: no hbase in (/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/module/jdk1.8.0_212/bin:
/opt/module/hadoop-3.1.3/bin:/opt/module/hadoop-3.1.3/sbin:/opt/module/hive/bin:/home/user.local/bin:/home/user/bin)
Hive Session ID = 36f90830-2d91-469d-8823-9ee62b6d0c26

Logging initialized using configuration in jar:file:/opt/module/hive/lib/hive-common-3.1.2.jar!/hive-log4j2.properties Async: true
Hive Session ID = 14f96e4e-7009-4926-bb62-035be9178b02
hive>

Hive安装部署完成！！！