Pig Hive HBase Zookeeper安装和配置

阅读更多

 

Pig Hive HBase Zookeeper安装和配置

evernote共享链接: https://www.evernote.com/pub/xuyuantree/20_

hadoop@zqh:~$ cd /usr/local

hadoop@zqh:/usr/local$ sudo  mkdir pig

hadoop@zqh:/usr/local$ cd /home/zqhxuyuan/download

hadoop@zqh:/home/zqhxuyuan/download$ sudo tar zxf pig-0.10.0.tar.gz

hadoop@zqh:/home/zqhxuyuan/download$ sudo mv pig-0.10.0 /usr/local/pig/

hadoop@zqh:~$ sudo vi /etc/profile

export PIG_HOME=/usr/local/pig/pig-0.10.0

export PATH=$PATH:$PIG_HOME/bin

hadoop@zqh:~$ source /etc/profile

hadoop@zqh:~$ pig -x local  以本地模式启动pig,后面介绍和Hadoop一起使用

---

HBase,Zookeeper的安装和Pig的一样.解压,创建文件夹,配置文件...

export PIG_HOME=/usr/local/pig/pig-0.10.0

export HBASE_HOME=/usr/local/hbase/hbase-0.92.0

export ZOOKEEPER_HOME=/usr/local/zookeeper/zookeeper-3.3.3

export PATH=$PATH:$PIG_HOME/bin:$HBASE_HOME/bin:$ ZOOKEEPER_HOME/bin

export PIG_HADOOP_VERSION=20 #指定pig连接的hadoop为0.20.x

export PIG_CLASSPATH=$HADOOP_HOME/conf

---

Pig+Hadoop模式运行max_temp.pig(Hadoop:The Definitive Guide)P371

1.编写pig脚本,注意LOAD的路径

max_temp.pig

  LOAD 'micro-tab/sample.txt'   --如果以Hadoop模式运行,这里的路径是HDFS中的相对路径

2.启动伪分布式Hadoop集群

hadoop@zqh:~$ cd /usr/local/hadoop/hadoop-0.20.2

hadoop@zqh:/usr/local/hadoop/hadoop-0.20.2$  bin/start-all.sh  启动hadoop

3.拷贝输入文件到HDFS分布式文件系统,注意要和pig脚本LOAD的文件路径要对应

hadoop@zqh:~$ hadoop dfs -put  input/ncdc/micro-tab micro-tab 

   因为设置了HADOOP_HOME所以可以在任意目录下执行hadoop命令

   input/ncdc/micro-tab是本地文件系统的文件夹, micro-tab是hadoop HDFS分布式文件系统. 为相对路径.

hadoop@zqh:~$ hadoop dfs -ls

/usr/hadoop/input

/usr/hadoop/output

/usr/hadoop/micro-tab  这就是我们刚刚上传的文件 绝对路径为: hdfs://localhost:9000/usr/hadoop/micro-tab

所以max_temp.pig LOAD的路径其实就是:  hdfs://localhost:9000/usr/hadoop/micro-tab/sample.txt

4.hadoop模式运行pig脚本

hadoop@zqh:~$ 

pig max_temp.pig   hadoop模式运行pig脚本

5.hadoop上查看运行情况

localhost:50030

在Completed Jobs中可以看到:

User          Name                         Map      Reduce...

hadoop     PigLatin:max_temp.pig

localhost:50070

点击Browser the filesystem可以查看在HDFS上的文件系统