大数据-mapreduce-内存角度介绍Map的输出到Reduce的输入过程-详解

map输出数据到环形缓冲区(默认内存大小问100M,阈值为0.8,都可修改),
当数据达到阈值就flash(在flash的同时也有数据输入到环形缓冲区的空余空间中),
当flash的次数达到默认的4次时就进行merge合并成一个大的数据

reduce主动发起拷贝请求到map端读取数据到环形缓冲区,当数据达到阈值就flash,
当flash的数量达到默认次数时就进行merge合并成一个大的数据,传给reduce,再写入到HDFS

大数据-mapreduce-内存角度介绍Map的输出到Reduce的输入过程-详解_第1张图片

你可能感兴趣的:(Mapreduce,大数据)