Alex 的 Hadoop 菜鸟教程: 第16课 Pig 安装使用教程

原文地址 ： http://blog.csdn.net/nsrainbow/article/details/43426061  最新课程请关注原作者博客，获得更好的显示体验

声明

• 本文基于Centos 6.x + CDH 5.x

Pig 有什么用

hdfs虽说是一个文件空间，但是我们每次要查看hdfs上的文件的时候都要输入一大串命令，比如一个简单的ls都需要输入 ： hdfs dfs -ls / ，而且还不能cd到某个目录，这样就造成了每次ls都要带上全路径的麻烦，能不能有一个工具可以模拟linux下的shell呢？Pig就实现了这样的需求，可以直接ls，可以cd到某个目录，比如这样

grunt> ls
hdfs://mycluster/user/root/.staging	
hdfs://mycluster/user/root/employee	
hdfs://mycluster/user/root/people	
grunt> cd ..
grunt> ls
hdfs://mycluster/user/cloudera	
hdfs://mycluster/user/history	
hdfs://mycluster/user/hive	
hdfs://mycluster/user/root	
hdfs://mycluster/user/test3	
hdfs://mycluster/user/test_hive	


就像操作linux shell 一样的操作 hdfs 空间

并且Pig还创造了 Pig Latin语言，可以通过Pig写一个类似存储过程的MapReduce的Job，pig会自动帮你把这个job翻译成MapReduce去执行，大家就不用自己写原始的java代码了。

安装Pig

选择host1 用yum安装pig

yum install pig

设置环境变量

如果你用的是 YARN 那么设置HADOOP_MAPRED_HOME=/usr/lib/hadoop-mapreduce   (如果是MRv1 就是 /usr/lib/hadoop-0.20-mapreduce )

编辑 /etc/profile 在最后一行加上

export HADOOP_MAPRED_HOME=/usr/lib/hadoop-mapreduce

然后运行 source 让设置生效

[root@host1 impala]# source /etc/profile
[root@host1 impala]# echo $HADOOP_MAPRED_HOME
/usr/lib/hadoop-mapreduce

启动交互模式的Pig

$ pig

看到一堆日志最后出现

, use fs.defaultFS
2015-02-02 08:29:03,302 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFS
grunt> 

试着运行ls命令可以看到当前用户目录下的文件

grunt> ls
hdfs://mycluster/user/root/.staging	
hdfs://mycluster/user/root/employee	
hdfs://mycluster/user/root/people	

还可以cd 到上一级，再ls

grunt> cd ..
grunt> ls
hdfs://mycluster/user/cloudera	
hdfs://mycluster/user/history	
hdfs://mycluster/user/hive	
hdfs://mycluster/user/root	
hdfs://mycluster/user/test3	
hdfs://mycluster/user/test_hive	

怎么样？是不是比直接输入 hdfs dfs -ls / 这一大串命令爽多了？

Latin语言

Pig创造了一个Latin语言，使用Latin语言可以编写脚本。这边不具体说明Latin语言的语法，仅用一个例子让大家对Latin语言长什么样，能干什么事情有一个直观的理解

• 用Latin语言可以写出MapReduce的Job， Pig会帮你把你写的Latin转化为MapReduce任务而不用去写具体的代码
• Latin原因是大小写敏感的
• Latin的命令最好用大写字母书写

这边举一个例子：

通过Pig将一段日志中所有的WARN信息都打印出来

Step1

创建一个文本 /root/logs 内容是 

(Dec 10 01:22:11 NetworkManager:  hello world [start]
(Dec 10 03:56:43 NetworkManager:  Oops! There is an error!
(Dec 10 04:10:18 NetworkManager:  Please check the database ...
(Dec 10 05:22:11 NetworkManager:  hello world [end]

Step2

将这个文本上传到hdfs的/user/pig/  目录下

使用 pig 命令进入交互模式的pig，然后执行

grunt > cd hdfs://mycluster/
grunt > cd user
grunt > mkdir pig
grunt > cd pig
grunt > copyFromLocal /root/logs logs

最后那句相当于hdfs的

hdfs dfs -put /root/logs /user/pig

Step3

使用 pig 命令进入交互模式的pig，然后执行以下命令

grunt> messages = LOAD '/user/pig/logs';
grunt> warns = FILTER messages BY $0 MATCHES '.*WARN+.*';
grunt> DUMP warns;

执行结果

((Dec 10 03:56:43 NetworkManager:  Oops! There is an error!)
((Dec 10 04:10:18 NetworkManager:  Please check the database ...)

解释

第一句话

messages = LOAD '/user/pig/logs';

• 定义了一个关系叫 message ，你可以把Pig中的关系看成是一种变量
• message之后跟等号之间的空格不可以省略，包括等号后的空格也不可以省略，否则出错
• LOAD 意思是加载内容，后面的地址是hdfs的地址
• 整句话的意思是加载 /user/pig/logs 中的内容到 message 中

第二句话

warns = FILTER messages BY $0 MATCHES '.*WARN+.*';

• FILTER ... BY ... 意思是根据... 来过滤某个关系，这句话中就是一个根据 BY 后面的条件来过滤message
• $0 代表每一行的第一个元素，当有集合出现的时候 $0 代表第一个元素，$1代表第二个元素，以此类推，当只有一串字符串的时候 $0 就代表正行字符串
• MATCHES 表示用正则来匹配，这句话中用 .*WARN+.* 来匹配含有WARN信息的日志
• 将匹配的结果赋给warns

第三句话

DUMP warns;

• pig脚本总是以DUMP命令结尾，DUMP代表执行前面所定义的MapReduce任务，并输出结果
• DUMP命令回车后才真正开始执行MapReduce过程

由此可以看出一个需要很多java代码的MapReduce任务被简化成了三句话，如此的简洁。

Latin语言还有很多更强大的功能，比如对矩阵的计算和定义接口等，具体见 Pig Latin 语言手册  墙裂建议大家不要看中文的资料，就算用词典慢慢看也好，至少英文官方文档不会误导你，看多少就算多少

跟Hbase交互

Pig还可以跟Hbase交互。一般通过 pig 能干的事情大概就是 导入hbase，导出hbase，或者将hbase的某个表复制成另一个表等。

以下通过一个例子讲解下如何使用Pig将本地数据加载到Hbase的某个表中

Step1

建立一个文本文件customers 内容是 

4000001,Kristina,Chung,55,Pilot
4000002,Paige,Chen,74,Teacher
4000003,Sherri,Melton,34,Firefighter
4000004,Gretchen,Hill,66,Computer hardware engineer
4000005,Karen,Puckett,74,Lawyer
4000006,Patrick,Song,42,Veterinarian
4000007,Elsie,Hamilton,43,Pilot
4000008,Hazel,Bender,63,Carpenter

上传到hdfs的 /user/pig 目录下

grunt > cd /user/pig
grunt > copyFromLocal /root/customers ./customers

Step2

建立要导入的Hbase表

hbase(main):001:0> create 'customers', 'customers_data'

Step3

创建一个pig脚本文件 Load_HBase_Customers.pig

raw_data = LOAD 'hdfs:/user/pig/customers' USING PigStorage(',') AS (
           custno:chararray,
           firstname:chararray,
           lastname:chararray,
           age:int,
           profession:chararray
);

STORE raw_data INTO 'hbase://customers' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage(
'customers_data:firstname 
 customers_data:lastname 
 customers_data:age 
 customers_data:profession'
);

在这个例子中第一个列custno会被作为hbase 的 rowkey

Step4

运行这段脚本

$ PIG_CLASSPATH=/usr/lib/hbase/hbase-client-0.98.6-cdh5.2.1.jar:/usr/lib/zookeeper/zookeeper-3.4.5-cdh5.3.0.jar /usr/bin/pig /root/Load_HBase_Customers.pig

这里的jar包根据你们的实际情况改变

Step5

检查一下hbase表内的数据

hbase(main):001:0> scan 'customers'

跟Hive交互

pig可以通过Hive的HCatalog组件跟Hive进行交互。

HCatalog是什么

一个新的Apache项目(HCatalog)扩展了Hive的元存储，同时保留了Hive DDL中用于表定义的组件。其结果是，Hive的表抽象(当使用了HCatalog时)可以用于Pig和MapReduce应用程序，这带来了以下一些主要优势：

它使得数据消费者不必知道其数据存储的位置和方式。HCatalog依赖于Hive 的 metastore服务，所以其他服务比如Pig可以通过HCatalog访问由Hive metastore定义的那些表。

计算平均工资的例子

Step1

用Hive 建立一个表叫 occupations

hive > CREATE TABLE occupations(code STRING, description STRING,salary INT)  
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\054';

Step2

建立一个文本 occupations.txt 内容是

11-0000,Management occupations,96150
11-1011,Chief executives,151370
11-1021,General and operations managers,103780
11-1031,Legislators,33880
11-2011,Advertising and promotions managers,91100

Step3

将文本 occupations.txt 用Hive 的 LOAD DATA方法加载到表内

hive> LOAD DATA LOCAL INPATH '/root/occupations.txt' INTO TABLE occupations;

Step4

进入交互模式pig，并执行以下语句

occ_data = LOAD 'occupations' USING org.apache.hcatalog.pig.HCatLoader();

salaries = GROUP occ_data ALL;
out = FOREACH salaries GENERATE AVG(occ_data.salary);
DUMP out;

并查看计算出的平均工资结果

其实这一大段就等于是Hive的这句话

SELECT AVG(salary) FROM occupations;

这样看起来pig反而比Hive还麻烦了？其实不是的，我只是用这个例子来说明pig跟hive之间的交互，并没有任何的比较性。

关于Pig就介绍这么多，其他更深入的功能大家可以自己查看pig的文档

参考资料

• http://archive-primary.cloudera.com/cdh5/cdh/5/pig/basic.html
  
• https://cwiki.apache.org/confluence/display/Hive/HCatalog+UsingHCat
  
• http://archive-primary.cloudera.com/cdh5/cdh/5/pig/start.html#execution-modes
  
• http://www.cloudera.com/content/cloudera/en/documentation/core/v5-2-x/topics/cdh_ig_pig_hbase.html
  
• http://princetonits.com/technology/loading-customer-data-into-hbase-using-a-pig-script/
  
• http://docs.hortonworks.com/HDPDocuments/HDP1/HDP-1.3.7/bk_user-guide/content/user-guide-hbase-import-2.html
  
• http://gethue.com/hadoop-tutorial-how-to-access-hive-in-pig-with/