pig 指定行分割符和列分隔符号

由于我们的hdfs上抽取的数据是存储行分隔符和列分割符不是用的\n和\t。所以就想能看看是否能指定行分隔符，查了半天没查到。。可能是查找能力有限，呵呵，后来下载下来pig-0.11.0的源码看了一下PigStorage的类，输入inputFormat类指定了就是PigTextInputFormat，这个类直接集成了org.apache.hadoop.mapreduce.lib.input.TextInputFormat，mapreduce的提供的textinputformat类，行分割符号如下，

String delimiter = context.getConfiguration().get("textinputformat.record.delimiter");那么我们可以在pig.properties文件中加入

这样默认的可以指定参数textinputformat.record.delimiter和你想要的参数就好了。

至于输出outputFormat类PigTextOutputFormat，这个类自己重写了public RecordWriter<WritableComparable, Tuple> getRecordWriter，用到这个主要管输出的pig自己写的类PigLineRecordWriter，这个类写死了这行代码

newline = "\n".getBytes(utf8);

所以这个没有参数可配置了。

所以想要自己完全指定每一次的行分隔符的输入和输出，非得自己重写一下源码才好啊。

（参考http://blog.csdn.net/ruishenh/article/details/12192391）

简单实例

在pig的安装路径conf/pig.properties加上了这个参数

textinputformat.record.delimiter=/

执行pig，进入grunt>操作

grunt> fs -ls
Found 6 items
drwxr-xr-x - pig supergroup 0 2013-09-16 17:15 /user/pig/.Trash
-rw-r--r-- 2 pig supergroup 12 2013-09-16 17:15 /user/pig/A
-rw-r--r-- 2 pig supergroup 12 2013-09-16 17:15 /user/pig/B
drwxr-xr-x - pig supergroup 0 2013-09-23 17:33 /user/pig/C
-rw-r--r-- 2 pig supergroup 47 2013-09-26 11:37 /user/pig/student

看一下student内容

grunt> cat student;
1,xiaohouzi,25/2,xiaohouzi2,24/3,xiaohouzi3,23
grunt>

加载数据到 a对象中

grunt> a = load 'student' using PigStorage(',');

看一下数据

grunt> dump a;

...//省略mapreduce任务的数据信息

(1,xiaohouzi,25)
(2,xiaohouzi2,24)
(3,xiaohouzi3,23)

把数据输出到hdfs上 指定冒号作为列分隔符

grunt> store a into 'studentOut' using PigStorage(':');

任务执行成功后可以查看一下内容

grunt> cat studentOut;
1:xiaohouzi:25
2:xiaohouzi2:24
3:xiaohouzi3:23