FileInputFormat源码解析

FileInputFormat源码解析(input.getSplits(job))

 

       (1)找到你数据存储的目录。

       (2)开始遍历处理(规划切片)目录下的每一个文件

       (3)遍历第一个文件ss.txt

              a)获取文件大小fs.sizeOf(ss.txt);

              b)计算切片大小

 

在drive类中 FileInputFormat 源码里面 。用ctrl+ l 搜索Math  ,在源码的279行:

切片的计算:

Math.max(minSize(1M默认的), Math.min(maxSize(200M默认的), blockSize(128M)))=128M

protected long computeSplitSize(long blockSize, long minSize, long maxSize) {
        return Math.max(minSize, Math.min(maxSize, blockSize));
    }

 

              c)默认情况下,切片大小=blocksize=128M

              d)开始切,形成第1个切片:ss.txt—0:128M 第2个切片ss.txt—128:256M 第3个切片ss.txt—256M:300M(每次切片时,都要判断切完剩下的部分是否大于块的1.1倍,不大于1.1倍就划分一块切片

              e)将切片信息写到一个切片规划文件中

              f)整个切片的核心过程在getSplit()方法中完成。

             g)数据切片只是在逻辑上对输入数据进行分片,并不会再磁盘上将其切分成分片进行存储。InputSplit只记录了分片的元数据信息,比如起始位置、长度以及所在的节点列表等。

         h)注意:block是HDFS物理上存储的数据,切片是对数据逻辑上的划分。

         ( 4)提交切片规划文件到yarn上yarn上的MrAppMaster就可以根据切片规划文件计算开启maptask个数

 

 

多个小文件(0-128M内)就切分成多少片。归档文件,只是节省namenode元数据内存。如果进行切片,依然切成对应文件个数

 

1)FileInputFormat中默认的切片机制:

(1)简单地按照文件的内容长度进行切片

(2)切片大小,默认等于block大小

(3)切片时不考虑数据集整体,而是逐个针对每一个文件单独切片

比如待处理数据有两个文件:

file1.txt    320M

file2.txt    10M

经过FileInputFormat的切片机制运算后,形成的切片信息如下: 

file1.txt.split1--  0~128

file1.txt.split2--  128~256

file1.txt.split3--  256~320

file2.txt.split1--  0~10M

FileInputFormat切片大小的参数配置

通过分析源码,在FileInputFormat280行中,计算切片大小的逻辑:Math.max(minSize, Math.min(maxSize, blockSize));

切片主要由这几个值来运算决定

mapreduce.input.fileinputformat.split.minsize=1 默认值为1

mapreduce.input.fileinputformat.split.maxsize= Long.MAXValue 默认值Long.MAXValue

因此,默认情况下,切片大小=blocksize

maxsize(切片最大值):参数如果调得比blocksize小,则会让切片变小,而且就等于配置的这个参数的值。

minsize(切片最小值):参数调的比blockSize大,则可以让切片变得比blocksize还大。

3)获取切片信息API

// 根据文件类型获取切片信息

FileSplit inputSplit = (FileSplit) context.getInputSplit();

// 获取切片的文件名称

String name = inputSplit.getPath().getName();

 

分区案例:

 

package com.itstar.mr.wc0908;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;

/**
 * @author 李庆
 * 2019-09-10
 * 星期一
 */
public class WCPartion extends Partitioner {
/**
 * Partitioner的数据是来源到mapper,然后到环形缓冲区,之后进行切片
 *
 * 自定义分区规则:单词长度为奇数时放到0分区
 *                  单词长度为偶数时放到1分区
 *
 * */
    @Override
    public int getPartition(Text text, IntWritable intWritable, int i) {
        //1获取单词
        String word = text.toString();

        //2计算单词的长度
        int length = word.length();

        //3按单词长度自定义分区
        if (length % 2 == 0) {
            return 1;
        } else {

            return 0;
        }

    }
}

 

 

在drive端在提交job信息:

 job.setPartitionerClass(WCPartion.class);
        job.setNumReduceTasks(2);
     

 

你可能感兴趣的:(MapReduce)