分布式计算框架Mapreduce
概念：
Mapreduce是一种编程模型，编程方法，采用“分而自治”思想
优点：海量数据离线处理，易开发，易运行。
缺点：实时流式计算
MapReduce编程模型之执行步骤：
输入一个大文件，通过Split之后，将其分为多个片
每个文件分片由单独的机器去处理，这就是map方法
将各个机器计算的结果进行汇总并得到最终的结果，这就是reduce方法
MapReduce的四个阶段：
Spilt
Map（需要编码）
Shuffle：可以理解为从Map输出到reduce输入的过程，而且设计网络传输
Reduce（需要编码）
节点Map任务的个数：
在实例情况下，map任务的个数是受多个条件的制约，一般一个DataNode的map任务数量控制在10到100比较合适。
准则1：增加map任务的个数，可真大mapred.map.tasks
准则2：减少map任务的个数，可增大mapred.min.split.size
如果减少map个数，但有很多个小文件，可将小文件合并成大文件，再使用准则2
本地优化---Combine：
ComBine本质上是在Mapper缓存区溢写文件的合并
数据经过map端输出后，会进行网络混洗，经过shuffle后进入Reduce，在大数据量的情况下可能会造成巨大的网络开销。
故可以在本地先按照key进行一轮排序与合并，再进行网络混洗，这个过程就是Combine
在多数情况下，Combine的逻辑和Reduce的逻辑一致的，即都是按照key合并数据，故可认为Combine是对本地数据的Reduce操作、这里复用Reducer的逻辑，也可以自己实现Combiner类。
job.setCombinerClass(MyReduce.class)//设置ComBine
job.setReducerClass(MyReduce.class)//设置Reducer。
节点Reduce任务的个数：
在大数据量的情况下，如果只设置一个reduce任务，那么在reduce阶段，整个集群中只有该节点运行reduce任务，其他的节点都将被闲置，效率十分低下。故将reduce任务数量设置为一个较大的值（最大值为72）
一个节点上的reduce任务数并不像map任务那样受多个因素制约。
准则1：可以通过调节参数：mapred.reduce.tasks
准则2：可以在代码中调用job.setNumReduceTasks(int n)
Partition是在Reduce输入发生之前，相同的key值一定会进入同一个Partitioner，Reduce过程会按照key排序
一个MapReduce作业中，Partitioner的数量，Reducer数量，最终输出文件（如：part-r-00000）三者数量一样
在一个Reducer中，所有的数据都会被按照key值升序排序，故如果part输出文件中包含key值，则这个文件一定是有序
WordCount统计分析过程：
MapReduce核心概念：
Spilt：交由MapReduce作业来处理的数据块，是MapReduce中的最小单元
HDFS：blocksize是HDFS中最小的存储单元 128MB
默认情况下：他们是一对一对应的，当然也可以手工设置他们之间的关系（不建议）
InputFormat：将我们的输入数据进行分片（spilt）：InputSpilt[] getSpilts()
TextInputFormat:处理文本格式数据
OutPutFormat：
Combiner：
Partitioner：
MapReduce1.x的架构：
JobTracker：
作业的管理者
将作业分解成一堆的任务：Task（MapTask和ReduceTask）
将任务分派给TaskTracker运行
作业的监控，容错处理（task作业挂了，重启task的机制）
在一定时间间隔内，JT没有收到TT的心跳信息，TT可能是挂了，TT上运行的任务会被指派到其他TT上去执行
TaskTracker：
任务执行者
在TT上执行我们的Task（MapTask和ReduceTask）
会与JT进行交互：执行/启动/停止作业，发送心跳信息给JT
MapTask：
自己开发的map任务交由该Task出来
解析每条记录的数据，交给自己的map方法处理
将map的输出结果写到本地磁盘（有些作业仅有map没有reduce==》HDFS）
ReduceTask：
将Map Task输出的数据进行读取
按照数据进行分组后，传给我们自己编写的reduce方法处理
输出结果到HDFS
MapReduce2.x的架构
在MapReduce中，输出文件是不能事先存在的
1.先通过shell的方式将输出文件夹删除
2.在代码中完成自动删除功能（推荐使用）
MapReduce编程之Combiner（本地reducer）
减少MapTasks输出的数据量及网络传输量
使用场景：求和，不能求平均数
MapReduce编程之Partitioner
Partitioner决定MapTask输出的数据交由那个Reduce处理。
默认实现：分发的key的hash值对Reduce Task个数取模
Jobhistory
记录已运行完的MapReduce信息到指定的HDFS目录下，默认不开启
mr-jobhistory-daemon.sh start historyserver