Hadoop中maptask数量的决定因素

刚开始接触hadoop平台的时候 部分初学者对于mapreduce中的maptask的数量是怎么确定的 可能有点迷惑，如果看了jobclient里面的maptask初始化的那段源码，那么就比较清楚了，MapTask的数量是由InputFormat来指定的，InputFormat生成多少个InputSpilt就会有多少个task。

因此，如果剩余Map slot的数量大于InputSpilt的数量，那么就启动的Map数量就是InputSplit的数量。

如果剩余Map slot的数量小于InputSpilt的数量，那么就启动的Map数量就是剩余的Map slot数量。

 

下面来看看常用的InputFormat都是怎么生成InputSplit的。

FileInputFormat（平时常用的TextInputFormat和KeyValueTextInputFormat都继承自它）会设置一个hiddenFileFilter把以_和.开头的文件过滤掉，遍历input里面的文件及其子目录中的所有文件，然后对于每个文件，默认是一个block生成一个InputSplit。因此Map的数量>=文件数量，跟block size有关系，会尽量按block来切分。

当我们利用mapreduce来对hbase进行查询的时候，会采用hbase自带的TableInputFormat格式， TableInputFormat是默认使用的HBase的InputStream，继承自TableInputFormatBase。一个InputSplit正好对应了一个Region，因此Map的数量取决于table有多少个region。