网上关于split的描述千奇百怪，各家说法都不一样，前几天一个老师跟我讲的FileInputFormat的split的概念和我脑子里一直记得的split的概念不一样，着实让我困扰，甚至开始怀疑人生了。。

最近开始使用MapReduce，发现网上大部分例子都是对文本数据进行处理的，也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理即可。对于文本数据处理，这个类还是能满足一部分应用场景。但是如果要处理以二进制形式结构化记录存储的文件时，这些类就不再适合了。本文以一个简单的应用场景为例：对按照二进制格式存储的整数做频数统计。当然，也可以在此基础上实现排序之类的其他应用。实现该应

需要编写的有：    WholeInputFormat类，继承自FileInputFormat类    WholeRecordReader类，继承自RecordReader类    其中，用于读取的类是

1.JobClient调用FileInputFormat.getSplits()，如果数据文件是isSplitable()的话，会将大的文件分解成小的FileSplit,记录文件在HDFS里的路径及偏移量和

1.JobClient调用FileInputFormat.getSplits()，如果数据文件是isSplitable()的话，会将大的文件分解成小的FileSplit,记录文件在HDFS里的路径及偏移量和

1.JobClient调用FileInputFormat.getSplits()，如果数据文件是isSplitable()的话，会将大的文件分解成小的FileSplit,记录文件 在HDFS里的路径及偏移量和

1.JobClient调用FileInputFormat.getSplits()，如果数据文件是isSplitable()的话，会将大的文件分解成小的FileSplit,记录文件 在HDFS里的路径及偏移量和

1.JobClient调用FileInputFormat.getSplits()，如果数据文件是isSplitable()的话，会将大的文件分解成小的FileSplit,记录文件 在HDFS里的路径及偏移量和

2.避免切分：修改最小切片大小，达到需要处理的文件；或者使用FileInputFormat子类，并且覆盖isSplitable()方法。3.处理xml文档：采用避免切片的方式。

所有的输入格式都继承于InputFormat，这是一个抽象类，其子类有专门用于读取普通文件的FileInputFormat，用来读取数据库的DBInputFormat等等。 其

在map阶段读取数据前，FileInputFormat会将输入文件分割成split。split的个数决定了map的个数。

Map的数量是由输入分片的数量决定的，但是分片的数量，并不是简单的按照文件的大小和blockSize的大小来切分的，分片的数量其实也是经过一系列的计算得到的，我们常用的InputFormat很多都是继承自FileInputFormat

TextInputFormat是FileInputFormat的子类，其createRecordReader()方法返回的就是LineRecordReader。

   在map阶段读取数据前，FileInputFormat会将输入文件分割成split。split的个数决定了map的个数。

   在map阶段读取数据前，FileInputFormat会将输入文件分割成split。split的个数决定了map的个数。

所有的输入格式都继承于InputFormat，这是一个抽象类，其子类有专门用于读取普通文件的FileInputFormat，用来读取数据库的DBInputFormat等等。 其

JobConf.setNumMapTasks(n)是有意义的，结合blocksize会具体影响到map任务的个数，详见FileInputFormat.getSplits源码。

JobConf.setNumMapTasks(n)是有意义的，结合block size会具体影响到map任务的个数，详见FileInputFormat.getSplits源码。

2.如果采用HadoopMapReduce进行小文件的处理，那么Mapper的个数就会跟小文件的个数成线性相关（备注：FileInputFormat默认只对大于HDF

输入 类FileInputFormat FileInputFormat是所有使用文件作为数据源的InputFormat实现的基类。

[email protected]]$bin/hadoopjarhadoop-examples-1.0.4.jarwordcountinout13/05/0822:31:26INFOinput.FileInputFormat

[email protected]]$bin/hadoopjarhadoop-examples-1.0.4.jarwordcountinout13/05/0822:31:26INFOinput.FileInputFormat

好几天没动笔了，今天写个简单的~~写MR过程中经常会遇到多个源路径的输入，我们可以在MR程序主函数中通过FileInputFormat.addInputPaths(job,conf.get("input_dir

在FileInputFormat map操作中有一块非常中的split的算法 ， 以wordcount为例子，他到底是如果做分片的，我们如何来调优呢， 首先我们来看下他的算法： 在FileInputFormat

在FileInputFormat map操作中有一块非常中的split的算法 ， 以wordcount为例子，他到底是如果做分片的，我们如何来调优呢， 首先我们来看下他的算法： 在FileInputFormat

所有的输入格式都继承于InputFormat，这是一个抽象类，其子类有专门用于读取普通文件的FileInputFormat，用来读取数据库的DBInputFormat等等。 不

2.如果采用HadoopMapReduce进行小文件的处理，那么Mapper的个数就会跟小文件的个数成线性相关（备注：FileInputFormat默认只对大于HDF

2.如果采用HadoopMapReduce进行小文件的处理，那么Mapper的个数就会跟小文件的个数成线性相关（备注：FileInputFormat默认只对大于HDF

JobConf mergeJob = CrawlDb.createJob(getConf(), crawlDb); //可以看到上一个MP的输出tempDir，就是这个MP的输入 FileInputFormat.addInputPath

#bin/hadoopjarhadoop-*-examples.jarwordcount/test1/test211/11/2220:42:33INFOinput.FileInputFormat:Totalinputpathstoprocess

4）TextInputFormat继承了FileInputFormat。Hadoop自带的输入类：1）CombinarFileInputFor

(Key:偏移量，不是行数)FileInputFormat:    FileInputFormat是所有以文件作为数据源的Inp

(Key:偏移量，不是行数)FileInputFormat:    FileInputFormat是所有以文件作为数据源的InputFormat实现的基类，FileInputForm

local/hadoop# bin/hadoop jar hadoop-*-examples.jar wordcount /test1 /test2 11/11/22 20:42:33 INFO input.FileInputFormat

8core，32GB内存，5 map slot，3 reduce slot Job逻辑：输出文件总行数   使用Pig耗时：12mins java代码（FileInputFormat

FileInputFormat.setInputPaths(job,paths)path可以给定给一个目录系统会会从该目录下找打文件作为输入，但是如果给定的目录下面还有一层目录，则系统就不会再深入一层，

       hadoop会对原始输入文件进行文件切割，然后把每个split传入mapper程序中进行处理，FileInputFormat是所有以文件作为数据源的InputFormat实现的基类，FileInputFormat

在map之前会对要处理的文件进行拆分，按照定义的格式进行都写操作。主要是在InputFormat中，InputFormat是一个抽象类，主要有两个抽象方法：1， publicabstract ListgetSplits(JobContextcontext)throwsIOException,InterruptedException;确认输入的且分原则2， publicabstract Record

在map之前会对要处理的文件进行拆分，按照定义的格式进行都写操作。主要是在InputFormat中， InputFormat是一个抽象类，主要有两个抽象方法： 1，public abstract List<InputSplit> getSplits(JobContext context) throws IOException, InterruptedException; 确认输入

  标签：自定义  hadoop  map/reduce  inputformat  |字号大中小 订阅 hadoop会对原始输入文件进行文件切割，然后把每个split传入mapper程序中进行处理，FileInputFormat

hadoop |标签：自定义hadoopmap/reduceinputformat |字号大中小订阅 hadoop会对原始输入文件进行文件切割，然后把每个split传入mapper程序中进行处理，FileInputFormat

1.多路径输入1）FileInputFormat.addInputPath多次调用加载不同路径FileInputFormat.addInputPath(job,newPath("hdfs://RS5-112

job.split中包含split的个数由FileInputFormat

所有的输入格式都继承于InputFormat，这是一个抽象类，其子类有专门用于读取普通文件的FileInputFormat，用来读取数据库的DBInputFormat等等。 

32dae01] >>hadoopjarch08.jarMaxTemperatureWithCountersinput/ncdc/allmax-temp 12/07/0319:53:21INFOmapred.FileInputFormat

hadoopjarc:/hadoop/hadoop-0.20.2/hadoop-0.20.2-examples.jarwordcountin/test.txtout12/06/0815:57:08INFOinput.FileInputFormat

hadoopjarc:/hadoop/hadoop-0.20.2/hadoop-0.20.2-examples.jarwordcountin/test.txtout12/06/0815:57:08INFOinput.FileInputFormat

hadoop/hadoop-0.20.2/hadoop-0.20.2-examples.jar wordcount in/test.txt out 12/06/08 15:57:08 INFO input.FileInputFormat

在看《HadoopinAction》时发现代码使用的是旧的API，且部分API已经标记为Deprecated。所以自己尝试着写了一个使用新API的例子来完成该代码的功能。数据格式如下："CITING","CITED"3858241,9562033858241,13242343858241,33984063858241,3557384...程序的目的是将所有数据的CITING和CITED值反过来输出

输入格式：InputFormat类定义了如何分割和读取输入文件，其中一个子类是FileInputFormat抽象类。当开启Hadoop作业时，FileIn