利用MapReduce进行单词计数WordCount的过程图示详解

利用MapReduce进行单词计数WordCount的过程如下:

(1)首先是读取文件,对文件按偏移量拆分。

利用MapReduce进行单词计数WordCount的过程图示详解_第1张图片

(2)自定义Map,将value拆分成单词,作为新的key。value是原每条句子中,拆分出来单词的出现频率。

利用MapReduce进行单词计数WordCount的过程图示详解_第2张图片

(3)sort部分按字典顺序排序,combine将map中间阶段进行合并。

利用MapReduce进行单词计数WordCount的过程图示详解_第3张图片

 

(4)Reduce端先进行合并排序,得到value list。再使用用户定义的Reduce方法,将value list里的值相加,得到输出。

利用MapReduce进行单词计数WordCount的过程图示详解_第4张图片

你可能感兴趣的:(大数据开发,mapreduce)