大数据系列5：Pig – 大数据分析平台
wget http://mirror.bit.edu.cn/apache/pig/pig-0.11.1/pig-0.11.1.tar.gz
tar -xzvf pig-0.11.1.tar.gz
sudo vi /etc/profile
增加：
export PIG_HOME=/home/ysc/pig-0.11.1
exportPATH=$PATH:$PIG_HOME/bin
source /etc/profile
cp conf/log4j.properties.template conf/log4j.properties
pig --help
LocalMode：
1、pig -x local
2、java -cp /home/ysc/pig-0.11.1/pig-0.11.1.jar org.apache.pig.Main -x local
MapreduceMode（Default）：
1、pig
2、pig -x mapreduce
3、java -cp /home/ysc/pig-0.11.1/pig-0.11.1.jar:/home/ysc/hadoop-1.2.1/conf org.apache.pig.Main
4、java -cp /home/ysc/pig-0.11.1/pig-0.11.1.jar:/home/ysc/hadoop-1.2.1/conf org.apache.pig.Main -x mapreduce
准备数据：
hadoop fs -put /etc/passwd passwd
Interactive Mode:
进入Pig shell（Local或Mapreduce Mode）：
pig（pig -x local）
grunt> A = load 'passwd' using PigStorage(':');
grunt> B = foreach A generate $0 as id;
grunt> dump B;
Batch Mode:
编写脚本：
vi id.pig
输入：
/* id.pig */
-- load the passwd file
A = load 'passwd' using PigStorage(':');
-- extract the user IDs
B = foreach A generate $0 as id;
-- write the results to a file name id.out
store B into 'id.out';
运行脚本（Local或Mapreduce Mode）：
pig（pig -x local） id.pig
查看结果：
hadoopfs -cat id.out/part-m-00000
Pig使用HCatalog管理数据：
启动Metastore
hcat_server.sh start & (或：hive --service metastore &)
sudo vi /etc/profile
增加：
export PIG_CLASSPATH=$HCAT_HOME/share/hcatalog/hcatalog-*.jar:\
$HIVE_HOME/lib/hive-metastore-*.jar:$HIVE_HOME/lib/libthrift-*.jar:\
$HIVE_HOME/lib/hive-exec-*.jar:$HIVE_HOME/lib/libfb303-*.jar:\
$HIVE_HOME/lib/jdo2-api-*-ec.jar:$HIVE_HOME/lib/slf4j-api-*.jar
export PIG_OPTS=-Dhive.metastore.uris=thrift://host001:9083
source /etc/profile
创建表：
hcat -e "CREATETABLE students (name STRING, age INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY'\n' STORED AS TEXTFILE; "
准备数据：
vi students.txt
输入：
刘德华51
张学友52
刘亦菲41
杨尚川27
成龙 55
洪金宝52
林志玲40
hadoop fs -put students.txt /user/ysc/students.txt
启动pig：
pig -Dpig.additional.jars=$PIG_CLASSPATH
存储数据:
students = LOAD '/user/ysc/students.txt' AS (name:chararray, age:int);
dump students;
STORE students INTO 'students' USING org.apache.hcatalog.pig.HCatStorer();
加载数据：
A= LOAD 'students' USING org.apache.hcatalog.pig.HCatLoader();
dump A;
APDPlat旗下十大开源项目