1.jdk1.8,若未安装,可参考:
https://mp.csdn.net/postedit/84400558
2.hadoop 2.7.7(或其他可兼容版本)若未安装,可参考:
https://mp.csdn.net/postedit/84401445
3.mysql 5.6(或其他版本)若未安装,可参考:
https://mp.csdn.net/postedit/84524888
4.hive1.2.2下载地址:
http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz
1.准备hive的安装路径,本人喜欢将自己安装的软件放在/apps/路径下,根据自己的需求创建目录
cd /
sudo mkdir -r /apps/hive
2.切换到下载好的hive路径下,我这里的hive压缩包存放在/data目录下,解压hive
cd /data
sudo tar -zxvf apache-hive-1.2.2-bin.tar.gz
3.将解压好的hive拷贝到安装路径/apps下,并重命名为hive
sudo cp -r apache-hive-1.2.2-bin /apps/hive/
4.修改用户环境变量,将hadoop的路径添加到path中。先打开用户环境变量文件。
sudo vim ~/.bashrc
5.将以下内容追加到环境变量~/.bashrc文件中。
#hive
export HIVE_HOME=/apps/hive
export PATH=$HIVE_HOME/bin:$PATH
6.执行source命令,让java环境变量生效。
source ~/.bashrc
7.下面配置Hive,切换到/apps/hive/conf目录下,并创建Hive的配置文件hive-site.xml。
cd /apps/hive/conf
vim hive-site.xml
8.修改
javax.jdo.option.ConnectionURL
jdbc:mysql://127.0.0.1:3306/hivedb?createDatabaseIfNotExist=true&characterEncoding=latin1
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
javax.jdo.option.ConnectionUserName
root
javax.jdo.option.ConnectionPassword
123456
配置项说明:
javax.jdo.option.ConnectionURL:数据库链接字符串。
javax.jdo.option.ConnectionDriverName:连接数据库的驱动包。
javax.jdo.option.ConnectionUserName:数据库用户名。
javax.jdo.option.ConnectionPassword:连接数据库的密码。
数据库的用户名及密码,需要设置为自身系统的数据库用户名及密码。
注:此处配置非必须!!!
若需要使用python语言操作数据库,可添加相关thrift、hiveserver2的相关配置,(本人的一个项目中有用到)
hive.metastore.warehouse.dir
/user/hive/warehouse
hive.server2.thrift.port
10000
hive.server2.thrift.bind.host
127.0.0.1
hive.server2.enable.doAs
false
9.修改hive-env.sh文件:
vim hive-env.sh
追加Hadoop的路径,以及Hive配置文件的路径到文件中。
# Set HADOOP_HOME to point to a specific hadoop install directory
# HADOOP_HOME=${bin}/../../hadoop
HADOOP_HOME=/apps/hadoop# Hive Configuration Directory can be controlled by:
# export HIVE_CONF_DIR=
export HIVE_CONF_DIR=/apps/hive/conf# Folder containing extra libraries required for hive compilation/execution can be controlled by:
# export HIVE_AUX_JARS_PATH=
export HIVE_AUX_JARS_PATH=/apps/hive/lib
10.配置Mysql,用于存储Hive的元数据(若未安装Mysql,请参考https://mp.csdn.net/postedit/84524888)。
首先,需要保证Mysql已经启动。执行以下命令,查看Mysql的运行状态,若Mysql未启动则启动Mysql。
systemctl status mysqld.service
systemctl start mysqld.service
11.开启Mysql数据库,此时会提示输入密码。
mysql -u root -p
12.创建名为hivedb的数据库,编码格式为latin1,用于存储元数据。
create database hivedb CHATACTER SET latin1;
查看数据库是否创建成功。
show databases;
下面,输入exit退出Mysql。
exit
13.执行测试。由于Hive对数据的处理,依赖MapReduce计算模型,所以需要保证Hadoop相关进程已经启动。(若未安装hadoop,可参考https://mp.csdn.net/postedit/84401445)
输入jps,查看进程状态。若Hadoop相关进程未启动,则需启动Hadoop。
jps
cd /apps/hadoop/sbin
./start-all.sh
14.启动Hadoop后,在终端命令行界面,直接输入hive便可启动Hive命令行模式。
至此,hive数据仓库安装配置成功!