hadoop初级班（五）
参考炼数成金课程及hadoop权威指南
本次课程主要讲述pig
pig可以看做是hadoop的客户端软件，可以连接到hadoop集群进行数据分析工作。pig方便不熟悉java的用户，使用一种较为简便的类似于SQL的面向数据流的语言pig Latin进行数据处理，是一种轻量级的脚本语言。
pig可以看成是个映射器，pig latin是被映射成mapreduce来执行的。
下载：
在官网上下载pig，有包括debian在内的各种版本可供下载
编辑环境变量：
这是centos系统
进入grunt（pig的shell名称） shell（本地模式，连接的不是hadoop的集群，是本地的文件系统）
pig的工作模式：
1.上面说的本地模式
2.mapreduce模式（集群模式）
设置path，增加指向hadoop/bin
设置PIG_CLASSPATH环境变量
然后进入grunt shell，在集群模式下直接打pig即可
pig的使用：
官网pig.apace.org
运行方法：
三种
1.脚本（pig XXX.pig） 2.grunt 3.嵌入式
grunt 自动补全机制（补全命令，不能补全文件名什么的） Eclipse插件pigpen Autocomplete文件
grunt shell常用命令
ls、cd、cat命令
copyToLocal
hdfs拷贝到本地
也可以运行普通的shell命令
sh ..............
pig latin语言：
数据类型：
Bag:表 Tuple：行，记录 Field：属性 pig不要求同一个bag里面的各个tuple有相同数量或相同类型的field
pig latin常用语句：
load：指出载入数据的方法
foreach:逐行扫描进行某种处理
filter：过滤行
dump：把结果显示到屏幕
store:把结果保存到文件
下面以hadoop权威指南的例子做一个讲解：（找每一年中的最大温度）
第一行load是从hadoop的文件系统里读入文件放到records里面然后指出区分每一列，第一列year,字符串类型，后两个类似
第二条命令filter是过滤，后面跟着过滤条件，赋给fltered_records
第三条是group命令是以year为聚合条件，产生结果
（1940，{{1949,111,1}，{1949,333,2}})
第四条命令是逐行扫描，然后求出每一年最大温度