推了两次都没推出去,树莓派是不想以作业作为新年第一篇吗w
0、运行环境
操作系统:Linux raspberrypi 4.1.7+
数据库:mysql
在mysql创建的Hive数据库名:hive
Hive用户名:hive
Hadoop、Hive安装位置:/mnt/study
1、安装JDK7
sudo apt-get install oracle-java7-jdk
配置系统变量
sudo nano /etc/profile
在文件后添加如下内容
#set java environment
JAVA_HOME=/usr/lib/jvm/jdk-7-oracle-armhf
CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool$
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
2、安装Hadoop-1.0.4
cd /mnt
sudo wget -c http://archive.apache.org/dist/hadoop/core/hadoop-1.0.4/hadoop-1.0.4.tar.gz
sudo tar vxzf hadoop-1.0.4.tar.gz -C /mnt/study
cd study
sudo mv hadoop-1.0.4/ hadoop
增加hadoop用户和组
sudo addgroup hadoop
sudo adduser --ingroup hadoop hduser
pi@raspberrypi ~ $ su – hduserhduser
hduser@raspberrypi ~ $ sudo chown -R hduser:hadoop hadoop
配置系统变量
sudo nano /etc/profile
在文件后添加如下内容
export HADOOP_INSTALL=/mnt/study/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
3、安装Hive-0.11.0
配置mysql,添加hive账户和数据库,并授权
创建hive用户,数据库等
insert into mysql.user(Host,User,Password) values("localhost","hive",password("hive密码"));
create database hive;
grant all on hive.* to hive@'%' identified by 'hive密码';
grant all on hive.* to hive@'localhost' identified by 'hive密码';
flush privileges;
下载Hive-0.11.0
sudo wget -c http://archive.apache.org/dist/hive/hive-0.11.0/hive-0.11.0.tar.gz
sudo tar -zxvf hive-0.11.0.tar.gz
sudo mv hive-0.11.0 hive
配置系统变量
sudo nano /etc/profile
在文件后添加如下内容
export HIVE_HOME=/mnt/study/hive
export PATH=$PATH:$HIVE_HOME/bin
下载mysql-connector-java-5.1.22-bin.jar,并放到Hive的lib文件夹
修改Hive配置文件
cd /mnt/study/hive/conf
sudo cp hive-default.xml.template hive-site.xml
sudo nano hive-site.xml
修改以下部分
四、实验结果
1、JDK7安装结果
hduser@raspberrypi ~ $ java -version
java version "1.7.0_40"
Java(TM) SE Runtime Environment (build 1.7.0_40-b43)
Java HotSpot(TM) Client VM (build 24.0-b56, mixed mode)
2、Hadoop安装结果
hduser@raspberrypi /home $ hadoop version
Hadoop 1.0.4
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1393290
Compiled by hortonfo on Wed Oct 3 05:13:58 UTC 2012
From source with checksum fe2baea87c4c81a2c505767f3f9b71f4
3、Hive安装结果
pi@raspberrypi /mnt/study/hive/conf $ hive
Logging initialized using configuration in jar:file:/mnt/study/hive/lib/hive-common-0.11.0.jar!/hive-log4j.properties
Hive history file=/tmp/pi/hive_job_log_pi_3686@raspberrypi_201601011119_2025059336.txt
hive>
五、总结反思
Hive的安装配置方面的资料较残缺,比如配置mysql,安装jar包,对Hive配置文件的设置等说的都不太清楚,要自己去理解。另外对Hive和SQL间的关系有了一些比较清晰的认识。
参考文献:
Hive安装与配置
debian安装配置HBase,Hive,Chukwa,Pig,Zookeeper
hadoop入门第七步---hive部署安装(apache-hive-1.1.0)
伪分布式hadoop2.2.0+hive0.12.0安装
debian 安装hadoop1.2.1集群
树莓派安装Hadoop
树莓派搭建 hadoop 集群
基于MySQL元数据的Hive的安装和简单测试
查看原文:http://dsouth.all123.net:9527/wordpress/archives/190.html