Hadoop 词频统计（续）
上一篇文章（http://blog.csdn.net/zythy/article/details/17852579）提到，词频统计的结果不是我们理想的结构，不够直观。这一篇文章我们继续优化统计结果。
上一篇程序运行的最终结果如下，单词字符数相同的词频统计结果放在一个单独的文件中，比如长度为5的单词统计结果：
如上图所示，统计结果仅仅是按照Key排序，Value值没有顺序。而我们最终希望的是：
1） 统计结果在一个最终文件中，而不是分散到很多文件中。
2） 统计结果按Value值，及单词出现的频率排序。
应该有很多方法可以实现以上的要求，我们以比较简单的方式来完成这个需求。我们将充分利用Hadoop的shuffle功能。
本质问题是，Map传递给Reduce的键值对是由Hadoop排过序的，而Reduce的输出结果本身不会进行排序。虽然我们看到的每一个Reduce的输出结果是按Key排序的，但是这种有序结果不是Reduce处理而来的，而是因为传递给Reduce的输入是有序的。（可参考Hadoop的Shuffle功能介绍）。
回到主题，如果我们能将上图的统计结果的Key和Value互换，变成以下形式：
346 about
10 above
4 adage
16 adapt
6 adept
2 admit
42 adult
然后经由Map处理（及时Map什么都不做），则Map后的输出将会按照Key排序，变成如下形式：
2 admit
4 adage
6 adept
10 above
16 adapt
42 adult
346 about
这个不正是我们所需要的吗？ 正是！
但是此时另一个问题将会出现，有可能多个单词出现的频率一样，比如 is 和 are均出现100此，则Map的输入文件中将会有：
is 100
are 100
而Map处理后的输出中将只会有are而没有is：
100 are
道理很简单，key值是唯一的。
此时我们可以将key和value组合成一个新的复合key，比如：
0000100is is
0000100are are
新的key值包含词频数据和单词本身，这样我们就能保证Map的输入中的每一个键值对都可以得到保留。而且，Map的输出文件按照新的Key排序后，本身词频也变成有序的了。
下一步就要交给Reduce来处理了，Reduce重新将键值对翻转，但是在处理Reduce的Value，即词频数值时，需要从输入的key中做截取。（我们可以采用前补零的方式将词频数值统一处理成10位长度，外加单词本身作为Key）。
最终结果如下图：
源代码下载
完整源代码下载地址：
http://download.csdn.net/detail/zythy/6811871
如果你通过Hadoop提交作业，输入的命令行如下：
其中file:///home/user/Desktop/Downloads是数据文件的存放路径
后两个参数分别为作业1和作业2的输出文件地址。
注：我们采用了两个作业来处理这个需求。