mapreduce 常用的map/reduce的key分隔符,自定义partition设置,

  • -D stream.map.output.field.separator :设置map输出中key和value的分隔符
  • -D stream.num.map.output.key.fields : 设置map程序分隔符的位置,该位置之前的部分作为key,之后的部分作为value

  • -D map.output.key.field.separator : 设置map输出中key内部的分割符——备注:基于该分隔符,shuffle对key数值进行排序

  • -D num.key.fields.for.partition : 指定分区时,key按照分隔符切割后,其中用于分区key所占的列数(配合-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner 使用)
  • -D stream.reduce.output.field.separator:设置reduce输出中key和value的分隔符
  • -D stream.num.reduce.output.key.fields:设置reduce程序分隔符的位置

你可能感兴趣的:(Hadoop)