hadoop streaming 输出数据分割与二次排序

https://blog.csdn.net/xhu_eternalcc/article/details/47147425

http://blog.sina.com.cn/s/blog_4b59de070101b7iy.html

http://www.cnblogs.com/xudong-bupt/p/7871136.html

通过

-D stream.map.output.field.separator=, /    

-D stream.num.map.output.key.fields=4 /   

设置key和value的划分方式(key用来排序)

通过

-D map.output.key.field.separator=, /    

-D num.key.fields.for.partition=2 /   

设置分桶的方式(划分到一个reducer)

你可能感兴趣的:(hadoop streaming 输出数据分割与二次排序)