pig简单案例统计每个ip的访问次数

Pig的搭建

rpm -ivh *pig*.rpm #pig rpm包
source /etc/profile

本地模式 pig -x local 默认 mapreduce模式

Pig简单案例 pig latin语言 help查看

pig
grunt> copyFromLocal '/var/httpd/access_log /input/log.txt
grund> A = LOAD '/input/log.txt' USING PigStorage(' ') AS (ip,other);
grunt> group_ip = group A by ip;
grunt> result = foreach group_ip generate group,COUNT(A);
grunt> STORE result INTO 'output/group_ip_count';
grunt> cat /output/group_ip_count
or dump result 直接运行查看统计结果

A: 代表一个关系，一个表，一个变量，这个表中存放了所有ip记录
LOAD ‘/log.txt’ : 要加载的文件
USING PigStorage(’ ‘) : 使用空格作为分隔符
ip:others : 表中第一列名ip，数据类型其他类型

统计结果：