在Pig中使用Lzo

一、寻找依赖包

要在pig下使用lzo,我们需要第三方lib,目前我在使用的是twitter的elephant-bird,项目地址:

 

https://github.com/kevinweil/elephant-bird

 你可以自己编译出jar文件,我比较懒直接使用maven库(search.maven.org)中的lib,地址如下:

 

# elephant-bird-pig-3.0.8.jar
http://search.maven.org/remotecontent?filepath=com/twitter/elephantbird/elephant-bird-pig/3.0.8/elephant-bird-pig-3.0.8.jar
# elephant-bird-core-3.0.8.jar
http://search.maven.org/remotecontent?filepath=com/twitter/elephantbird/elephant-bird-core/3.0.8/elephant-bird-core-3.0.8.jar

 

二、使用Pig Lzo (elephant-bird)

写道
> pig
REGISTER 'elephant-bird-core-3.0.8.jar';
REGISTER 'elephant-bird-pig-3.0.8.jar';
rows = LOAD '/user/hdfs/test.lzo' USING com.twitter.elephantbird.pig.load.LzoTextLoader;
....

 

--end

 

 

你可能感兴趣的:(在Pig中使用Lzo)