FileInputFormat切片源码解析

FileInputFormat切片源码解析(input.getSplits(job))

1. 程序先找到数据存储的目录
2. 开始遍历处理（规划切片）目录下的每一个文件
3. 遍历第一个文件ss.txt
   a) 获取文件大小fs.sizeOf(ss.txt)
   b)计算切片大小
   computeSpliteSize(Math.max(minSize, Math.min(maxSize, blocksize))) = blocksize = 128M
   minSize是1，blocksie是128M，maxSize是long的最大值
   c)默认情况下，切片大小=blocksize
   （本地模式块大小32M，yarn模式128M，老的版本64M）
   d)开始切，形成第一个切片，0-128M第一个切片 128-256M第二个切片
   （每次切片时，都要判断切完剩下的部分是否大于块的1.1倍，不大于1.1倍就只划分为一块切片，大于1.1倍则多划分出一个切片）
   (比如129M的文件，需要两个快来存储，却只需要划分为一个切片)
   e）将切片信息写到一个切片规划文件中
   f）整个切片的核心过程在getSplit（）方法中完成
   g）InputSplit只记录了切片的元数据信息，比如起始位置、长度以及所在的节点列表等
4. 提交切片规划文件到YARN上，YARN上的MrAppMaster就可以根据切片规划文件计算开启MapTask个数（MapTask个数是由MrAppMaster决定的）