Hive安装笔记

本文笔记整理自《Hadoop海量数据处理：技术详解与项目实战》范东来，更正了原书中的一些细节处的问题。

一、安装元数据库MySQL

Hive的元数据和数据是分开存放的，数据存放在HDFS上，而元数据默认是存放在Hive自带的Derby数据库，但由于Derby只支持同时一个用户访问Hive，所以不推荐使用。我们将使用MySQL作为Hive的元数据库。

1.安装MySQL数据库：

master节点root用户执行
1.安装MySQL客户端
  $ yum install mysql
2.安装MySQL服务器端
  $ yum install mysql-server
  $ yum install mysql-devel
  注：mysql-devel：开发用到的库以及包含文件
3.查看MySQL数据库状态
  $ service mysqld status
4.启动/停止MySQL
  $ service mysqld start
  $ service mysqld stop  

注：安装mysql-server时先看此文：Linux下安装Mysql时没有mysql-server可用包的解决

2.创建Hive元数据库：

root用户登陆master节点

mysql首次登陆需要重置其中的root用户密码
1.进入MySQL
  $ mysql
2.修改mysql数据库中的root用户密码
  mysql> use mysql;
  mysql> update user set Password=PASSWORD('newpassword') where User='root';
3.刷新权限至内存
  mysql> flush privileges;
  mysql> quit;
4.重启mysql
  $ service mysql restart

如果已经重置过，可跳过上面步骤，直接登陆
1.root用户登陆mysql
  $ mysql -u root -p
2.创建数据库hive，用来保存Hive元数据
  mysql> create database hive;
3.向hadoop（Linux系统中）用户赋予操作数据库hive下所有表的权限
  mysql> grant all on hive.* to hadoop@'master' identified by 'hivepwd';--master节点
  mysql> grant all on hive.* to hadoop@'slave1' identified by 'hivepwd';--slave1节点
  mysql> flush privileges;

二、安装Hive并修改配置文件

Hive版本文件：apache-hive-2.3.4-bin.tar.gz
1.通过Windows上传apache-hive-2.3.4-bin.tar.gz文件至master
  > scp apache-hive-2.3.4-bin.tar.gz [email protected]:/opt/

hadoop用户登陆master节点
1.安装hive
  $ cd /opt/
  $ tar -zxvf apache-hive-2.3.4-bin.tar.gz
2.在'/opt/hive-2.3.4-bin/conf/'下创建配置文件hive-site.xml
  $ cd /opt/hive-2.3.4-bin/conf/
  $ vi hive-site.xml
  
  
  
	
		hive.metastore.local
		true
	
	
		javax.jdo.option.ConnectionURL
		jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true
	
	
		javax.jdo.option.ConnectionDriverName
		com.mysql.cj.jdbc.Driver
	
	
		javax.jdo.option.ConnectionUserName
		hadoop
	
	
		javax.jdo.option.ConnectionPassword
		hivepwd
	
  
  注1：MySQL5以前用com.mysql.jdbc.Driver驱动
       MySQL5之后用com.mysql.cj.jdbc.Driver驱动

3.在'/opt/hive-2.3.4-bin/conf/'修改 hive-env.sh文件，追加如下内容：
  $ vi hive-env.xml
  export JAVA_HOME=/opt/jdk1.8.0_191
  export HADOOP_HOME=/opt/hadoop-2.9.2
4.将MySQL的JDBC驱动Jar包放到lib/下，否则不能连接MySQL（需下载Jar包）
  $ cp /opt/mysql-connector-java-8.0.13.jar /opt/hive-2.3.4-bin/lib/

以root用户登陆master节点
1.修改环境变量，追加如下内容：
  $ vi /etc/profile
  export HIVE_HOME=/opt/hive-2.3.4-bin
  export PATH=$PATH:$HIVE_HOME/bin
2.立即生效环境变量
  $ source /etc/profile

三、验证安装

hadoop用户登陆master节点
启动Hadoop和MySQL
1.Hive首次登陆先初始化hive元数据库
  $ schematool -dbType mysql -initSchema
2.进入hive
  $ hive
  注：如果安装的JDK版本太高，启动Hive时会报ClassCast异常
3.显示hive中数据库
  hive> show databases;
  OK
  default
  <注：只有default的默认数据库>
4.创建表
  hive> create table test(id int);
  hive> select count(*) from test;
  OK
  0
  <注：显示 0 即为安装成功>