Hive安装配置详解

 

第一部分：软件准备与环境规划

Hadoop环境介绍

•Hadoop安装路径

•/home/test/Desktop/hadoop-1.0.0/

•Hadoop 元数据存放目录

•/home/test/data/core/namenode

•Hadoop 数据存放路径

•/home/test/data/core/datanode

Hive环境规划

•Hive安装路径

•/home/test/Desktop/

•Hive数据存放路径

•hdfs

•/user/hive/warehouse

•Hive元数据

•第三方数据库

•derby mysql

软件准备

•OS

•ubuntu

•JDK

•java 1.6.0_27

•Hadoop

•hadoop-1.0.0.tar

•Hive

•hive-0.8.1.tar

第二部分：Hive项目介绍

项目结构

 

Hive配置文件介绍

•hive-site.xml      hive的配置文件

•hive-env.sh        hive的运行环境文件

•hive-default.xml.template  默认模板

•hive-env.sh.template     hive-env.sh默认配置

•hive-exec-log4j.properties.template   exec默认配置

• hive-log4j.properties.template log默认配置

hive-site.xml

<  property>

  javax.jdo.option.ConnectionURL  jdbc:mysql://localhost:3306/hive?createData  baseIfNotExist=true

  JDBC connect string for a JDBC  metastore

javax.jdo.option.ConnectionDriverName

    com.mysql.jdbc.Driver

  Driver class name for a JDBC metastore

javax.jdo.option.ConnectionUserName

    root

   username to use against metastore database

javax.jdo.option.ConnectionPassword

   test

   password to use against metastore database

  

hive-env.sh

•配置Hive的配置文件路径

•export HIVE_CONF_DIR= your path

•配置Hadoop的安装路径

•HADOOP_HOME=your hadoop home

第三部分：使用Derby数据库的安装方式

什么是Derby安装方式

•Apache Derby是一个完全用java编写的数据库，所以可以跨平台，但需要在JVM中运行

•Derby是一个Open source的产品，基于Apache License 2.0分发

•即将元数据存储在Derby数据库中，也是Hive默认的安装方式

 安装Hive

•解压Hive

•tar zxvf  hive-0.8.1.tar  /home/test/Desktop

•建立软连接

•ln –s hive-0.8.1 hive

•添加环境变量

•export HIVE_HOME=/home/test/Desktop/hive

•export PATH=….HIVE_HOME/bin:$PATH:.

配置Hive

•进入hive/conf目录

•依据hive-env.sh.template，创建hive-env.sh文件

•cp  hive-env.sh.template hive-env.sh

•修改hive-env.sh

•指定hive配置文件的路径

•export HIVE_CONF_DIR=/home/test/Desktop/hive/conf

•指定Hadoop路径

• HADOOP_HOME=/home/test/Desktop/hadoop  

hive-site.xml

  javax.jdo.option.ConnectionURL

jdbc:derby:;databaseName=metastore_db;create=true

  JDBC connect string for a JDBC metastore

 

  javax.jdo.option.ConnectionDriverName

  org.apache.derby.jdbc.EmbeddedDriver

  Driver class name for a JDBC metastore

  javax.jdo.option.ConnectionUserName

  APP

  username to use against metastore database

 

  javax.jdo.option.ConnectionPassword

  mine

  password to use against metastore database

 

启动Hive

•命令行键入

•Hive

•显示

WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.

Logging initialized using configuration in jar:file:/home/test/Desktop/hive-0.8.1/lib/hive-common-0.8.1.jar!/hive-log4j.properties

Hive history file=/tmp/test/hive_job_log_test_201208260529_167273830.txt

hive>

测试语句

•建立测试表test

•create table test  (key string);

•show tables;

 

 

第四部分：使用MySQL数据库的安装方式

安装MySQL

•Ubuntu 采用apt-get安装

•sudo apt-get install mysql-server

•建立数据库hive

•create database hive 

•创建hive用户,并授权

•grant all on hive.* to hive@'%'  identified by 'hive';  

•flush privileges;  

 

安装Hive

•解压Hive

•tar zxvf  hive-0.8.1.tar  /home/test/Desktop

•建立软连接

•ln –s hive-0.8.1 hive

•添加环境变量

•export HIVE_HOME=/home/test/Desktop/hive

•export PATH=….HIVE_HOME/bin:$PATH:.

修改hive-site.xml

 

    javax.jdo.option.ConnectionURL   

    jdbc:mysql://localhost:3306/hive   

 

 

 

    javax.jdo.option.ConnectionDriverName   

    com.mysql.jdbc.Driver   

 

    javax.jdo.option.ConnectionPassword   

    hive   

 

 

 

    hive.hwi.listen.port   

    9999   

    This is the port the Hive Web Interface will listen on   

 

 

    datanucleus.autoCreateSchema   

    false   

 

 

 

    datanucleus.fixedDatastore   

    true   

 

 

          hive.metastore.local   

          true   

          controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVM   

 

启动Hive

•命令行键入

•Hive

•显示

WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.

Logging initialized using configuration in jar:file:/home/test/Desktop/hive-0.8.1/lib/hive-common-0.8.1.jar!/hive-log4j.properties

Hive history file=/tmp/test/hive_job_log_test_201208260529_167273830.txt

hive>

测试语句

•建立测试表test

•create table test (key string);

•show tables;

配套视频课程