大数据6-Maptask并行度有关

1.FileInoutFormat切片机制：

2.总结：

    1.切片是为了给maptask分配任务，也就是为了整个mapreduce程序做map的并行度规划；

    2.一个切片会交给一个maptsak来处置；

    3.默认的切片机制是FileInputFormat getSplits（），他的逻辑是对输入目录中所有的文件挨个进行切片，切片的参数splitSize == block.size；

    4.默认的切片机制在小文件的处理场景之下，效率特别低，需要特别注意。

3.注意：
    1.因为每个切片的大小默认情况下是128M，如果一个文件是260M，那么切了128M后还剩132M，如果剩余的长度/splitSize  <=   1.1，就将我们剩余的全部并入一个切片中。

    2.小文件情场：默认的切片机制会造成大量的maptask处理很少的数据量，这样效率很低下：

          解决方案：

                  a.上上策：在把小文件上传到hdfs之前就进行预处理，事先合并后在上传；

                  b.上策：事先将小文件进行合并（自己写合并程序）；

                  c.中下策：修改getSplits（）的逻辑，把多个小文件当成大文件来处理。