MapReduce中控制Map数量

起因

近日在工作中遇到一个Hive job报错，查看报错信息如下:

image.png

问题猜测是由于MapJoin导致了oom，经指点后设置如下参数

set mapred.max.split.size=96000000;
set mapred.min.split.size.per.node=96000000;
set mapred.min.split.size.per.rack=96000000;

Job 成功执行。具体原理经查阅资料后，整理如下：

原理

输入分片(Input Split)

在进行map计算前，MapReduce会根据输入文件计算输入分片(Input Split),每个输入分片针对一个map任务，输入分片存储的并非数据本身，而是一个分片长度和一个记录数据位置的数组
在Hadoop2.x中默认的block大小是128M，在1.x中默认的大小是64M，可是在hdfs-site.xml中自行设置：

dfs.block.size,单位是byte

分片的大小范围可以在mapred-site.xml中设置

mapred.min.split.size,默认为1B
mapred.max.split.size,默认为Long.MAX_VALUE=9223372036854775807

分片大小

minSize=max(minSplitSize,mapred.min.split.size)
maxSize=mapred.max.split.size
splitSize=max(minSize,min(maxSize,blockSize))

所以，当没有设置分片范围的时候，block块的大小决定了分片的大小，比如把一个258M的文件上传至HDFS，假设block的大小是128M，那么它就会被分成3个block块，与之相对应产生三个split，最终会有三个map task。这样产生一个新的问题，继续上面的例子，第3个block块存的文件大小只有2M，而它的block块的大小是128M，那它实际占用的Linux file system的空间是多大？答案是文件的实际大小；那在这种情况下，block大小的意义在于，当文件通过append操作不断增长时，可以通过block的大小决定何时split 文件。

计算map个数

blockSize：HDFS的文件块大小
totalSize：输入文件大小
inputFileNum：输入文件的数量

• 默认map个数
  如果不进行任何设置，默认的map个数是和blockSize相关的，defaultNum=totalSize/blockSize
• 期望个数
  可以通过参数mapred.map.tasks来设置期望的map个数，但这个只有在大于默认map个数的时候才生效，goalNum=mapred.map.tasks
• 设置处理的文件大小
  可以通过mapred.min.split.size设置每个task处理的文件大小，但是这个大小只有在大于blockSize的时候才会生效
  splitSize=max(mapred.min.split.size,blockSize)
  splitNum=totalSize/splitSize
• 计算的map个数
  computeMapNum=min(splitNum,max(defaultNum,goalNum))

除了以上这些配置外，MapReduce还要遵循一些原则。MapReduce的每一个map处理数据是不能跨越文件的。也就是说minMapNum>=inputFileNum,所以，最终的map个数应该为：
mapNum=max(computeMapNum,inputFileNum)