Hadoop学习笔记（Map_Reduce的思想）

Mapper负责分，即把复杂的任务分解为若干个简单的任务执行。简单的任务：数据或计算规模相对与原任务要大大缩小，就近计算，即会被分配到存放了所需数据的节点进行计算；这些小任务可以并行计算，彼此间无依赖。

Reduce 对map阶段的结果进行汇总。reduce的数目有mapred-site.xml配置文件里的mapred.reduce.task决定，缺省值为1，用户可以修改。

Shuffler：在mapper和reduce中间的一个步骤（可以省略），可以把mapper的输出按照某种key值重新切分和组合成n份，把key值符合某种范围的输出送到特定的reduce那里去处理。可以简化reduce的过程。