hadoop streaming 输出数据分割与二次排序

输出数据分割 默认情况下Streaming框架将map输出的每一行第一个”\t”之前的部分作为key，之后的部分作为value，key\tvalue又作为reduce的输入。可以用-D stream.map.output.field.separator改变map输出中key和value的分隔符，用-D stream.num.map.output.key.fields设置分隔符的位置，该位置之前的部分作为key，之后的部分作为value。如下所示，其中-D stream.map. output.field.separator=:指定使用冒号”:”将map输出的一行分隔为key/value，-D stream.num.map.output.key.fields=2指定在第二个冒号处进行分隔，也就是第二个冒号之前的作为key，之后的作为value。如果没有冒号或冒号少于两个，则key为整行，value为空。  　　 $HADOOP_HOME/bin/hadoop streaming \        -D stream.map.output.field.separator=: \        -D stream.num.map.output.key.fields=2 \ -input /user/test/input -output /user/test/output \ -mapper mymapper.sh -reducer myreducer.sh \ -file /home/work/mymapper.sh \ -file /home/work/myreducer.sh \ -jobconf mapred.job.name=”output-sep-demo” 与map类似，对于reduce的输出，同样也可以用-D stream.reduce.output.field.separator和-D stream.num.reduce.output.key.fields定制key/value分隔方式。 二次排序 转自： 我们知道，一个典型的Map-Reduce过程包 括：Input->Map->Patition->Reduce->Output。Pation负责把Map任务输出的中间结果 按key分发给不同的Reduce任务进行处理。Hadoop 提供了一个非常实用的partitioner类KeyFieldBasedPartitioner，通过配置相应的参数就可以使用。通过 KeyFieldBasedPartitioner可以方便地实现二次排序。  使用方法：        -partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner  一般配合：        -D map.output.key.field.separator及-D num.key.fields.for.partition使用。  map.output.key.field.separator指定key内部的分隔符        num.key.fields.for.partition指定对key分出来的前几部分做partition而不是整个key 示例：  1. 编写map程序mapper.sh；reduce程序reducer.sh; 测试数据test.txt view plain mapper.sh:   #!/bin/sh  cat     reducer.sh:   #!/bin/sh  sort     test.txt内容：   1,2,1,1,1   1,2,2,1,1   1,3,1,1,1   1,3,2,1,1   1,3,3,1,1   1,2,3,1,1   1,3,1,1,1   1,3,2,1,1   1,3,3,1,1   2. 测试数据test.txt放入hdfs，运行map-reduce程序 view plain $ hadoop streaming /     -D stream.map.output.field.separator=, /     -D stream.num.map.output.key.fields=4 /     -D map.output.key.field.separator=, /     -D num.key.fields.for.partition=2 /     -partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner /     -input /app/test/test.txt  /   -output /app/test/test_result /  -mapper ./mapper.sh  /     -reducer ./reducer.sh /     -file mapper.sh /     -file reducer.sh /     -jobconf mapre.job.name="sep_test"     $ hadoop fs –cat /app/test/test_result/part-00003       1,2,1,1     1       1,2,2,1     1       1,2,3,1     1     $ hadoop fs –cat /app/test/test_result/part-00004       1,3,1,1     1       1,3,1,1     1       1,3,2,1     1       1,3,2,1     1       1,3,3,1     1       1,3,3,1     1   通过这种方式，就做到前4个字段是key，但是通过前两个字段进行partition的目的 注意： -D map.output.key.field.separator=, /   这个分隔符使用TAB键貌似不管用 参数对比 hadoop中的map-reduce是处理<key,value>这样的键值对，故指定<key,value>的分割符等参数可以分成三类： map输出时分割符 分桶时的分隔符 reduce输出时的分割符 下面分别叙述： 1. map输出时分割符 参数： stream.map.output.field.separator 作用： 指定map输出时的分割符 stream.num.map.output.key.fields 指定输出按照分隔符切割后，key所占有的列数 举例： input数据： 2,2,c,c,c,c 参数配置： -mapper "cat" # map 为分布式的cat命令 -reducer ""  #reduce为空 / -jobconf stream.map.output.field.separator=','  / -jobconf stream.num.map.output.key.fields=2 / 即按照','逗号分隔后，去前2列作为key output数据： 2,2     c,c,c,c  #其中key为2,2  value为c,c,c,c 2. 分桶时的分隔符 map.output.key.field.separator 指定map输出<key,value>对之后，其中key内部的分割符 num.key.fields.for.partition 指定分桶时，按照分隔符切割后，用于分桶key所占的列数 举例： map的output数据： 2,2     c,c,c,c 参数配置： -jobconf map.output.key.field.separator=',' / -jobconf num.key.fields.for.partition='1'   / -partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner / output数据： 这样用于partition分桶的key就为：2 注意，这里分桶不应该用默认的HashPartitioner 3. reduce输出时的分割符 这个与map类似，分别用于reduce输出时分隔符以及key占有的列数 stream.reduce.output.field.separator stream.num.reduce.output.key.fields