Hive 内嵌模式安装指导

Hive内嵌模式说明：

在内嵌模式下（通过hive命令启动），CLI、Driver、metastore以及derby服务都运行在一个RunJar进程内。

1 安装环境介绍

1.1 相关组件版本

组件版本说明
组件名称	版本号	备注
Ubuntu	16.06	64-bit
Hadoop	hadoop-2.5.2	包括HDFS、YARN
Hive	hive-1.2.1	N/A

1.2 安装顺序

Hadoop-》Hive

2 安装过程

2.1 安装Hadoop

安装步骤略。运行时进行如下所示：

模块名称	操作系统	IP地址	主机名	账户	服务
Hadoop	Ubuntu	192.168.209.131	node1	root/root	主节点： 4865 DataNode 4759 NameNode 5306 NodeManager 5050 SecondaryNameNode 5195 ResourceManager
		192.168.209.132	node2	root/root	4483 NodeManager 4372 DataNode
		192.168.209.133	node3	root/root	4011 DataNode 4124 NodeManager

 

2.2 安装Hive

Hive的安装比较简单，本节示例中和hadoop一样安装在root用户下。

步骤 1    上传软件包。

将Hive安装包apache-hive-1.2.1-bin.tar.gz上传到node1节点的“/home”目录下。

步骤 2    解压安装包并修改名称。

tar -zxvf apache-hive-1.2.1-bin.tar.gz

mv apache-hive-1.2.1-bin  hive-1.2.1

步骤 3    配置环境变量。

vi /etc/profile

export HIVE_HOME=/home/hive-1.2.1

exportPATH=$PATH:$HIVE_HOME/bin:/home/hive-1.2.1/conf

source /etc/profile

步骤 4    修改Hive配置文件。

1.      修改配置文件hive-env.sh.

cd /home/hive-1.2.1/conf

cp hive-env.sh.template hive-env.sh

# SetHADOOP_HOME to point to a specific hadoop install directory

#HADOOP_HOME=${bin}/../../hadoop

HADOOP_HOME=/home/hadoop-2.5.2

 

# HiveConfiguration Directory can be controlled by:

 export HIVE_CONF_DIR=/home/hive-1.2.1/conf

 

# Foldercontaining extra ibraries required for hive compilation/execution can becontrolled by:

exportHIVE_AUX_JARS_PATH=/home/hive-1.2.1/lib

2.      修改配置文件hive-site.xml.

cd /home/hive-1.2.1/conf

cp hive-env.sh.template hive-env.sh

配置示例如下所示：

   hive.exec.local.scratchdir

   /home/hive-1.2.1/iotmp

    Local scratch space forHive jobs

 

   hive.downloaded.resources.dir

   /home/hive-1.2.1/iotmp/${hive.session.id}_resources

    Temporary localdirectory for added resources in the remote file system.

 

   hive.querylog.location

   /home/hive-1.2.1/iotmp

    Location of Hive runtime structured log file

 

    hive.server2.logging.operation.log.location

   /home/hive-1.2.1/iotmp/operation_logs

    Top level directorywhere operation logs are stored if logging functionality isenabled

 

 javax.jdo.option.ConnectionURL

  jdbc:derby:;databaseName=metastore_db;create=true

  JDBC connect string for aJDBC metastore

 

 

 javax.jdo.option.ConnectionDriverName

 org.apache.derby.jdbc.EmbeddedDriver

  Driver class name for aJDBC metastore

 

3.      修改配置文件hive-config.sh

cd /home/hive-1.2.1/bin

vi hive-config.sh

配置示例如下所示：

export HADOOP_HEAPSIZE=${HADOOP_HEAPSIZE:-256}

export JAVA_HOME=/root/jdk1.8.0_131

export HADOOP_HOME=/home/hadoop-2.5.2

export HIVE_HOME=/home/hive-1.2.1

 

步骤 5    在HDFS上创建Hive仓库的目录（这些路径是在hive-site.xml里配置的默认路径）。

hadoop fs -mkdir /tmp

hadoop fs -mkdir /user/hive/warehouse

hadoop fs -chmod g+w /tmp

hadoop fs -chmod g+w /user/hive/warehouse

步骤 6    替换 jline.jar 包
cp /home/hive-1.2.1/lib/jline-2.12.jar /home/hadoop-2.5.2/share/hadoop/yarn/lib/

步骤 7    启动Hive（需要先启动HDFS和YARN）。

启动Hive CLI: hive

启动过程中如有报错，在网上查找解决即可。