Hive环境搭建

 

Hive

1.安装

1)安装要求:Java1.6Hadoop0.20.x

2)安装步骤

l  解压

$ tar -xzvf hive-x.y.z.tar.gz

l  环境变量HIVE_HOMEPATHJAVA_HOME,HADOOP_HOME

$ cd hive-x.y.z
$ export HIVE_HOME={{pwd}}
$ export PATH=$HIVE_HOME/bin:$PATH
$ export JAVA_HOME=/usr/java/jdk1.7.0_01 
 

$ export HADOOP_HOME=<hadoop-install-dir>

l 创建目录/tmp /user/hive/warehouse;目录权限修改成g+w

  $ $HADOOP_HOME/bin/hadoop fs -mkdir       /tmp
  $ $HADOOP_HOME/bin/hadoop fs -mkdir       /user/hive/warehouse
  $ $HADOOP_HOME/bin/hadoop fs -chmod g+w   /tmp
  $ $HADOOP_HOME/bin/hadoop fs -chmod g+w   /user/hive/warehouse

 

注:0.8.1hive版本忽略hive-default.xml,因此需要将hive/conf下的hive-default.xml.template复制并改名为hive-site.xml

 

3)存储元数据:mysql数据库。

Hive 将元数据存储在 RDBMS 中,有三种模式可以连接到数据库: 

lingle User Mode:此模式连接到一个 In-memory 的数据库 Derby,一般用于 Unit Test

l  Multi User Mode:通过网络连接到一个数据库中,是最经常使用到的模式。 

l  Remote Server Mode:用于非 Java 客户端访问元数据库,在服务器端启动一个 MetaStoreServer,客户端利用 Thrift 协议通过 MetaStoreServer 访问元数据库。

Hive默认是采用Derby来存储其Meta信息的,现在我们需要修改为mysql 

l  安装mysql(具体见http://running.iteye.com/blog/910277

²  使用root用户登录之后,创建用户hive,其中hivedb.acme.com指的是mysqlserver所在的主机名,dbpasswd指密码。

²  创建数据库,默认编码是latin1。如果不设置,可能会出现异常 "com.mysql.jdbc.exceptions.MySQLSyntaxErrorException:Specified key was too long; max key length is 767 bytes"

²  授权给hive用户。

mysql -u root
mysql> CREATE USER 'hive'@'hivedb.acme.com' IDENTIFIED BY 'dbpassword';
mysql> CREATE DATABASE hivemetastoredb DEFAULT CHARACTER SET latin1 DEFAULT COLLATE latin1_swedish_ci;
mysql> GRANT ALL PRIVILEGES ON hivemetastoredb.* TO 'hive'@'hivedb.acme.com' WITH GRANT OPTION;
mysql> flush privileges;
mysql> quit;

 

²  下载mysql-connector-java-5.1-18-bin.jar,放入$HIVE_HOME/lib下;

²  修改Hive的配置文件conf/hive-site.xml如下:

<property>    
        <name>hive.metastore.local</name>    
        <value>true</value>    
        <description>controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVM</description>  
</property>  
<property>    
        <name>javax.jdo.option.ConnectionURL</name>    
        <value>jdbc:mysql://hive-mysql:3306/hive?createDatabaseIfNotExist=true</value>    
        <description>JDBC connect string for a JDBC metastore</description>  
</property>  
<property>    
        <name>javax.jdo.option.ConnectionDriverName</name>    
        <value>com.mysql.jdbc.Driver</value>    
        <description>Driver class name for a JDBC metastore</description>  
</property>  
<property>    
        <name>javax.jdo.option.ConnectionUserName</name>    
        <value>hive</value>    
        <description>username to use against metastore database</description>  
</property>  
<property>    
        <name>javax.jdo.option.ConnectionPassword</name>    
        <value>hivepasswd</value>    
        <description>password to use against metastore database</description>  
</property>  

 

Thrift安装

1.    安装boost

$ sudo apt-get install libboost-dev automake libtool flex bison pkg-config g++

 

2.    下载Thrift包,安装

$ wget http://apache.freelamp.com/incubator/thrift/0.2.0-incubating/thrift-0.2.0-incubating.tar.gz
$ tar -zxvf thrift-0.2.0-incubating.tar.gz
$ cd thrift-0.2.0
$ ./bootstrap.sh
$ ./configure
$ sudo make
$ sudo make install

 

(4)使用thrift来连接Hive

需要修改Hive的配置文件conf/hive-site.xml中的hive.metastore.uris参数,一般端口号是10000.

hive.metastore.uris

thrift://hostname:portnum 

【where hostname is the name of the machine hosting the Thrift server, and portnum is the port number used above in the installation script.】

 

 启动hiveThrift Server,即可使用Hive了。

hive --service hiveserver

 

 

 

 

 

你可能感兴趣的:(hive)