Hive学习(一)Hive的三种搭建方式

1、解压apache-hive-1.2.1-bin.tar.gz

tar -zxvf apache-hive-1.2.1-bin.tar.gz 

2、配置环境变量

export HIVE_HOME=/opt/apache-hive-1.2.1
export PATH=$HIVE_HOME/bin:$PATH

一、本地模式(derby)

元数据库derby与工具都是在本地，这种是最简单的存储方式，只需要配置hive-site.xml文件即可。
1、将hive-default.xml.template更名为hive-site.xml

mv hive-default.xml.template hive-site.xml

2、hive-site.xml的配置：

  
  
  
  
  javax.jdo.option.ConnectionURL  
  jdbc:derby:;databaseName=metastore_db;create=true  
  
  
  javax.jdo.option.ConnectionDriverName  
  org.apache.derby.jdbc.EmbeddedDriver  
  
  
  hive.metastore.local  
  true  
  
  
  hive.metastore.warehouse.dir  
  /user/hive/warehouse  
   
  

切换至/hive/bin目录下启动Hive

./hive

注意：
使用derby存储方式时，运行hive会在当前目录生成一个derby文件和一个metastore_db目录。这种存储方式的弊端是在同一个目录下同时只能有一个hive客户端能使用数据库。

二、基于Mysql的本地模式

这种存储方式需要在本地运行一个Mysql服务器。
1、将Mysql的jar包拷贝到$HIVE_HOME/lib目录下
2、安装Mysql
安装Mysql，并启动

yum install mysql-server -y

service mysqld start

由于首次安装，登录不需要密码

mysql -uroot

修改mysql权限：删除多余对权限造成影响的数据

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;

刷新权限

flush privileges;

添加用户

CREATE USER 'hive'@'%' IDENTIFIED BY '123';

用户授权

grant all privileges on hive_meta.* to hive@"%" identified by '123';
flush privileges;

3、配置hive-site.xml文件

  
  
  
  
  hive.metastore.warehouse.dir  
  /user/hive_remote/warehouse  
  
  
  hive.metastore.local  
  true  
  
  
  javax.jdo.option.ConnectionURL  
  jdbc:mysql://192.168.163.132/hive_meta?createDatabaseIfNotExist=true  
  
  
  javax.jdo.option.ConnectionDriverName  
  com.mysql.jdbc.Driver  
  
  
  javax.jdo.option.ConnectionUserName  
  hive  
  
  
  javax.jdo.option.ConnectionPassword  
  123  
  

切换至/hive/bin目录下启动Hive

./hive

注意：

1. 虽然hive用户对hive_meta数据库是有操作权限的，但是这个数据库如果不存在，hive用户也是没有权限创建这个数据库，所以需要提前创建好hive_meta数据库。
2. 需要修改用户名密码，新建的Mysql是没有密码的，需要用户自己更改。

三、基于Mysql的远程模式

需要将hive-site.xml配置文件拆为两部分，分别在服务端和客户端做如下配置。

服务端配置文件

  
  
  
  
  hive.metastore.warehouse.dir  
  /user/hive_remote/warehouse  
  
  
  hive.metastore.local  
  true  
  
  
  javax.jdo.option.ConnectionURL  
  jdbc:mysql://localhost/hive_meta?createDatabaseIfNotExist=true  
  
  
  javax.jdo.option.ConnectionDriverName  
  com.mysql.jdbc.Driver  
  
  
  javax.jdo.option.ConnectionUserName  
  hive  
  
  
  javax.jdo.option.ConnectionPassword  
  password  
  
  j

在客户端启动meta store service

hive --service metastore

客户端配置文件：

  
  
  
  
  hive.metastore.warehouse.dir  
  /user/hive/warehouse  
     
  
  hive.metastore.local  
  false  
    
  
  hive.metastore.uris  
  thrift://192.168.163.128:9083  
  
  

客户端启动的时候可能会遇见如下错误信息：

[ERROR] Terminal initialization failed; falling back to unsupported
java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected
at jline.TerminalFactory.create(TerminalFactory.java:101)

错误原因：Hadoop jline和Hive的jline版本不一致导致出错，需要将Hive中的jar包导入到Hadoop相应的位置。
Hadoop中jline jar包的位置

/hadoop/share/hadoop/yarn/lib

Hive中jline jar包的位置

/hive/lib