hadoop学习笔记

map参数中的key是什么:key是文件中的偏移量

value是这行数据,

context是负责hadoop map reduce之间数据的传递,所以map完成后要把结果写入到context中。

为什么要用文件的偏移量做key呢,估计是为了reduce的时候能有个顺序吧。

 

写入context的结果也是key value对,比如word count,写入的key肯定就是word,value就是count,然后把context传递给hadoop,hadoop把相同key的value组成一个数组value array,然后把key和value array传递给reduce,reduce把结果统计好后,把结果也写成key value的形式写入context中,然后hadoop在去做统计并输出。

 

 

你可能感兴趣的:(hadoop)