切片与MapTask并行度决定机制
1）问题引出
MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。
思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高集群性能吗？MapTask并行任务是否越多越好呢？那些因素影响了MapTask并行度？
2）MapTask并行度决定机制
数据块：Block是HDFS物理上把数据分成一块一块。数据块是HDFS存储数据单位。
数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。数据切片是MapReduce程序计算输入数据的单位，一个切片会对应启动一个MapTask。
一个Job的Map阶段并行度由客户端提交job时的切片数决定
每一个Split切片分配一个MapTask并行实例处理
默认情况下，切片大小=BlockSize
切片时不考虑数据集整体，而是逐个针对每一个文件单独切片
本地默认块大小是32M
JOB提交流程源码
Job提交流程源码详解
waitForCompletion()
submit();
// 1建立连接
connect();
// 1）创建提交Job的代理
new Cluster(getConfiguration());
// （1）判断是本地运行环境还是yarn集群运行环境
initialize(jobTrackAddr, conf);
// 2 提交job
submitter.submitJobInternal(Job.this, cluster)
// 1）创建给集群提交数据的Stag路径
Path jobStagingArea = JobSubmissionFiles.getStagingDir(cluster, conf);
// 2）获取jobid ，并创建Job路径
JobID jobId = submitClient.getNewJobID();
// 3）拷贝jar包到集群
copyAndConfigureFiles(job, submitJobDir);
rUploader.uploadFiles(job, jobSubmitDir);
// 4）计算切片，生成切片规划文件
writeSplits(job, submitJobDir);
maps = writeNewSplits(job, jobSubmitDir);
input.getSplits(job);
// 5）向Stag路径写XML配置文件
writeConf(conf, submitJobFile);
conf.writeXml(out);
// 6）提交Job,返回提交状态
status = submitClient.submitJob(jobId, submitJobDir.toString(), job.getCredentials());
FileInputFormat切片源码解析（input.getSplits(job)）
1）程序先找到你数据存储的目录
2）开始遍历处理（规划切片）目录下的每一个文件
3）遍历第一个文件
3.1)获取文件大小fs.sizeof
3.2）计算切片大小 Math.max(minSize,Math.min(MaxSize,BlockSize))
3.3）默认情况下，切片大小=blockSize
3.4）开始切，形成第一个切片（每次切片时，都要判断切完剩下的部分是否大于块的1.1倍，不大于1.1倍就划分一块切片）
3.5）将切片信息写到一个切片规划文件中
3.6）整个切片的核心过程在getSplit()方法中完成
3.7）InputSplit只记录了切片的元数据信息，比如起始位置，长度以及所在节点列表等
4）提交切片规划文件到yarn上，yarn上的MrAppMaster就可以根据切片规划文件计算开启MapTask个数。
切片重点
按文件切分
可以调切片值，如果改大切片值，需要改变min；如果改小切片值，需要改max
切片1.1倍，小于1.1倍，切成一片
FileInputFormat切片机制
1）简单的按照文件的内容长度进行切片
2）切片大小，默认等于Block大小
3）切片时不考虑数据集整体，而是逐个针对每一个文件单独切片
- 源码计算切片大小的公式：
Math.max(minSize,Math.min(MaxSize,BlockSize))
mapreduce.input.fileinputformat.split.minsize=1 默认值为1
Mapreduce.input.fileinputformat.split.maxsize=Long.MAXVALUE,默认值Long.MAXValue
默认情况下，切片大小等于块大小blockSize
- 切片大小设置
maxsize（切片最大值）：参数如果调的比blocksize小，就会让切片变小，而且就等于配置的这个参数的值。
minsize（切片最小值）：参数如果调的比blocksize大，则可以让切片变得比blocksize大。
- 获取切片信息API
// 获取切片的文件名称
String name = inpitSplit.getPath().getName();
// 根据文件类型获取切片信息
FileSplit inputSplit = (FileSplit)context.getInputSplit();
TextInputFormat
FileIputFormat实现类
FIleInputFormat常见的接口实现类包括：TextInputFormat、KeyValueTextInputFormat、NLineInputFormat、CombineTextInputFormat和自定义InputFormat
TextInputFormat
TextInputFormat是默认的FileInputFormat实现类。按行读取每条记录。键时存储该行在整个文件中的起始偏移量，LongWritable类型。值时这行的内容，不包括任何终止符（换行符和回车符），Text类型。
CombineTextInputFormat
hadoop默认的TextIputFormat切片机制是对任务按照文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个MapTask，这样如果有大量小文件，就会产生大量的MapTask，处理效率极其低下。
1）CombinetextInputFormat应用场景：
ConbineTextInputFormat用于小文件过多的场景，它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个MapTask处理。
2）虚拟存储切片最大值设置
CombineTextInputFormat.setMaxInputSplitSize(job,4194304);//4m
注意：虚拟存储切片最大值设置最好根据实际的小文件大小情况来设置具体的值。
3）切片机制
生成切片过程包括：虚拟存储过程和切片过程两部分。
1）虚拟存储过程：
将输入目录下所有文件大小，依次和设置的setMaxInputSplitSize值比较，如果不大于设置的最大值，逻辑上划分一个块。如果输入文件大于设置的最大值且大于2倍，那么以最大值切割一块；当摄于数据大小超过设置的最大值且不大于最大值2被，此时将文件均分为2个虚拟存储块（防止出现太小切片）。
例如setMaxInputSplitSize值为4M，输入文件大小为8.2M，则逻辑上分成一个4M。剩下的大小为4.2M，如果按照4M逻辑划分，就会出现0.2M的小的虚拟存储文件，所以将剩余的4.2M文件均分为2.1M和2.1M两个文件。
2）切片过程
判断虚拟存储的文件大小是否大于setMaxInputSplitSize值，大于等于则单独形成一个切片。
如果不大于则跟下一个虚拟存储文件进行合并，共形成一个切片。
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
/**
* @Description TODO
* @Author magaowei
* @Date 2021/11/20 11:20 下午
* @Version 1.0
*/
public class WordCountDriver {
public static void main(String[] args) throws Exception {
//1 获取job
Configuration conf = new Configuration();
Job job = Job.getInstance(conf);
//2 设置jar包路径
job.setJarByClass(WordCountDriver.class);
//3 关联mapper、reducer
job.setMapperClass(WordCountMapper.class);
job.setReducerClass(WordCountReducer.class);
//4 设置mapper输出的kv类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
//5 设置最终输出的kv类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
// 适合小文件
job.setInputFormatClass(CombineTextInputFormat.class);
CombineTextInputFormat.setMaxInputSplitSize(job,4194304);
//6 设置输入路径和输出路径
FileInputFormat.setInputPaths(job, new Path(System.getProperty("user.dir")+"/input/combineInputformat"));
FileOutputFormat.setOutputPath(job, new Path(System.getProperty("user.dir")+"/output/combineInputformat"));
//7 提交job
Boolean result = job.waitForCompletion(true);
System.exit(result ? 0 : 1);
}
}
小结
本节重点讲述了job提交源码的流程和切片源码。提交源码中的三个点：切片信息、jobxml和jar(本地环境下为null)。切片需要注意三个点：按文件切片，切片大小可变，切片1.1倍。