Hive 学习资料

Hive 学习资料  

http://blog.csdn.net/lifuxiangcaohui/article/details/40511637

Hive安装

http://www.cnblogs.com/linjiqin/archive/2013/03/04/2942402.html

实战1——Hive与JDBC示例

http://www.cnblogs.com/linjiqin/archive/2013/03/07/2947848.html

实战2——Hadoop的日志分析

原文：  http://www.cnblogs.com/linjiqin/archive/2013/03/07/2948078.html

http://www.cnblogs.com/linjiqin/category/455963.html

1. 下载Hive

下载地址：http://www.fayea.com/apache-mirror/hive/，我下载的是HiveHive-0.9.0(http://www.fayea.com/apache-mirror/hive/hive-0.9.0/hive-0.9.0.tar.gz)。

2. 把Hive移动到/home/hadoop目录下并解压

hadoop@ubuntu:~/下载$ mv hive-0.9.0.tar.gz /home/hadoop/
hadoop@ubuntu:~$ cd /home/hadoop/
hadoop@ubuntu:~$ tar -zxvf hive-0.9.0.tar.gz 

3. 用root用户给hive-0.9.0授权

hadoop@ubuntu:~$ su -
密码：
root@ubuntu:~# cd /home/hadoop/
root@ubuntu:/home/hadoop# sudo chown -R hadoop:hadoop hive-0.9.0

4.添加hive-0.9.0环境变量
/etc/profile
/home/hadoop/.bashrc
/home/hadoop/hive-0.9.0/conf/hive-env.sh
在以上三个文件中添加如下内容：

#set java environment
HIVE_HOME=/home/hadoop/hive-0.9.0
HADOOP_HOME=/home/hadoop/hadoop-1.1.1
JAVA_HOME=/home/hadoop/jdk1.7.0
PATH=$JAVA_HOME/bin:$HIVE_HOME/bin:$HADOOP_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$HIVE_HOME/lib:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME
export JAVA_HOME
export HIVE_HOME
export PATH
export CLASSPATH 

5. 配置 Hive 配置文件
a.配置 hive-conf.sh
在“/home/hadoop/hive-0.9.0/bin”目录下,“hive-conf.sh”,然后在里面添加下面内容。

#set java environment
HIVE_HOME=/home/hadoop/hive-0.9.0
HADOOP_HOME=/home/hadoop/hadoop-1.1.1
JAVA_HOME=/home/hadoop/jdk1.7.0
PATH=$JAVA_HOME/bin:$HIVE_HOME/bin:$HADOOP_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$HIVE_HOME/lib:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME
export JAVA_HOME
export HIVE_HOME
export PATH
export CLASSPATH 

b.配置 hive-default.xml 和 hive-site.xml
在“/home/hadoop/hive-0.9.0/conf”目录下,没有这两个文件,只有一个“hive-default.xml.template”,所以我们要复制两个“hive-default.xml.template”,并分别命名为“hive-default.xml”和“hive-site.xml” 因为我们当前是 root 用户,。所以还要把两个的文件的授权给 hadoop 用户。

root@ubuntu:/home/hadoop/hive-0.9.0/conf# cp hive-default.xml.template hive-default.xml
root@ubuntu:/home/hadoop/hive-0.9.0/conf# chown -R hadoop:hadoop hive-default.xml
root@ubuntu:/home/hadoop/hive-0.9.0/conf# cp hive-default.xml.template hive-site.xml
root@ubuntu:/home/hadoop/hive-0.9.0/conf# chown -R hadoop:hadoop hive-site.xml
root@ubuntu:/home/hadoop/hive-0.9.0/conf# ls -l

备注: “hive-default.xml”用于保留默认配置,“hive-site.xml”用于个性化配置,可覆盖默认配置。

6. 启动 Hive
此时切换用户至 hadoop 用户,在命令行输入“hive”命令进行测试。

hadoop@ubuntu:~$ hive
WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
Logging initialized using configuration in jar:file:/home/hadoop/hive-0.9.0/lib/hive-common-0.9.0.jar!/hive-log4j.properties
Hive history file=/tmp/hadoop/hive_job_log_hadoop_201303041031_876597921.txt
hive>

解决的办法就是在 hive-log4j.properties 中将 log4j.appender.EventCounter 的值修改为
org.apache.hadoop.log.metrics.EventCounter,这样就不会报。该文件在“/home/hadoop/hive-0.9.0/conf”下面。

hadoop@ubuntu:~$ hive
Logging initialized using configuration in file:/home/hadoop/hive-0.9.0/conf/hive-log4j.properties
Hive history file=/tmp/hadoop/hive_job_log_hadoop_201303041047_1435676231.txt
hive>