客户端配置压缩参数二.Hive的数据存储格式1.列式存储和行式存储(理解)2.各种存储格式的对比三.存储和压缩结合四.Fetch抓取五.本地模式六.表的优化★七.数据倾斜调优1.MapTask调优2.ReduceTask

我们知道每个reducetask输入的key都是按照key排序的。

github.com/zuodaoyong/Hadoop1、ReduceJoin（会出现数据倾斜）通过将关联条件作为Map输出的key，将两表满足Join条件的数据并携带数据所来源的文件信息，发往同一个ReduceTask

工作流程一：工作流程二：一个完整的mapreduce程序在分布式运行时有三类实例进程：1）MrAppMaster：负责整个程序的过程调度及状态协调2）MapTask：负责map阶段的整个数据处理流程3）ReduceTask

MapReduce整个工作流程：一、MapTask阶段（1）Read阶段：MapTask通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。（2）Map阶段：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value。（3）Collect收集阶段：在用户编写map()函数中，当数据处理完成后，一般会调用

“戏”说spark---sparkShuffle详解（一）Shuffle简介Shuffle描述着数据从maptask输出到reducetask输入的这段过程。

摘要：1shuffle原理1.1mapreduce的shuffle原理1.1.1maptask端操作1.1.2reducetask端操作1.2spark现在的SortShuffleManager2Shuffle

分片的读取规则控制maptask和reducetask数量MapReduce运行全流程（主要介绍map到reduce的其中过程，即shuffle流程）MR运行全流程中自定义部分自定义数据类型自定义分区Combine

MapTask和ReduceTask均会对数据（按照key）进行排序。该操作属于Hadoop的默认行为。任何应用程序中的数据均会

java.lang.NoSuchMethodError:org.apache.hadoop.mapred.TaskID.(Lorg/apache/hadoop/mapreduce/JobID;Lorg/apache/hadoop/mapreduce/TaskType;I)Vatorg.apache.spark.rdd.HadoopRDD.addLocalConfiguration(HadoopRD

Shuffle简介Shuffle描述着数据从maptask输出到reducetask输入的这段过程。

内存缓冲区默认大小是100M,当达到80%的时候将数据溢写到本地，剩余20%用于继续获取数据，在溢写到磁盘的时候会执行partition(分区)和sort(排序)，然后对文件进行合并操作，合并完成之后reduceTask

2、reduce阶段，reducetask会接收来自data1和data2的相同key的数

MapTask和ReduceTask都会对数据按照key进行排序。该操作属于Hadoop的默认行为。任何应用程序的数据均会被排序，而不管逻辑上是否需要。

mapreduce的三个实例进程在分布式运行是分别担任的任务1、MrAppMaster:负责整个程序的过程调度及状态协调2、MapTask:负责map阶段的整个处理流程3、ReduceTask:负责reduce

分区：如果不自定义分区类，而使用默认分区时，采取的是对键进行哈希操作，并与reducetask任务数取模，根据得到的值进行分区。由于默认的redu

数据倾斜发生时，某一个或者几个ReduceTask处理的Partition中的数据量相比于其他ReduceTask要多很多，那么，如果能够增加ReduceTask的数量，也可以缓解或者基本上解决数据倾斜问题

HDFS和MapReduce两个系统组成，其中，MapReduce是一个离线处理框架，由编程模型（新旧API）、运行时环境（JobTracker和TaskTracker）和数据处理引擎（MapTask和ReduceTask

工作流程1MapTaskMR工作流程2ReduceTask1）提交切片信息，jar包，和xml配置文件到yarn。2）YarnResourceManager启动一个MRAppMaster。

那么shuffle的定义：就是maptask数据与reducetask数据的传递流程，称之为shuffle。

也可以这样理解，Shuffle描述着数据从maptask输出到reducetask输入的这段过程。上图表示的是Shuffl

对于不同的key值，它们必然会形成不同的reducetask的输入文件。

兼容性分析1.基本概念MRv1是Hadoop1.X中的MapReduce实现，它由编程模型（新旧编程接口）、运行时环境（由JobTracker和TaskTracker组成）和数据处理引擎（MapTask和ReduceTask

是一个分布式文件存储系统，MapReduce是一个离线处理框架，分为三部分，运行时环境为JobTracker和TaskTracker，编程模型为Map映射和Reduce规约，数据处理引擎为MapTask和ReduceTask

Hive企业级调优之Count(Distinct)去重统计数据量小的时候无所谓，数据量大的情况下，由于COUNTDISTINCT操作需要用一个ReduceTask来完成，这一个Reduce需要处理的数据量太大

Spark的产生背景1.MapReduce的发展1.1、MRv1的缺陷（1）MRv1包括：运行时环境（JobTracker和TaskTracker）编程模型（MapReduce）数据处理引擎（MapTask和ReduceTask

如果某个“不平衡的”job中有某几个reducetask执行的时间要比

1.并行执行sethive.exec.parallel.thread.number=8(一般在10到20之间)sethive.exec.parallel=false2.JVM重用MapTask/ReduceTask

一、shuffle介绍1、shuffle就是洗牌弄乱的意思，shuffle代表map输出到reduce的整个过程，他解决的问题就是如何将多个maptask的输出，作为多个reducetask的输入，下面就来看看

理论ReduceTask会启动多个拷贝线程从每个MapTask上去读取相应的中间结果，具体的拷贝线程数目由参数"mapreduce.reduce.shuffle.parallelcopies"(默认为5

目录1、reduce/collect2、sum/min/max/count/average/summaryStatistics3、AbstractTask4、ReduceTask5、AbstractShortCircuitTask6

1shuffle原理1.1mapreduce的shuffle原理1.1.1maptask端操作1.1.2reducetask端操作1.2spark现在的SortShuffleManager2Shuffle

Combiner可减少MapTask中间输出的结果，从而减少各个ReduceTask的远程拷贝数据量，最终表现为MapTask和R

1先让我们分析task在hadoop中Tasktracker的运行过程：我们知道每个job都是分割成多个task(由maptask和reducetask组成)来完成的,而每个task又是由TaskLauncher

MapReduce框架结构一个完整的mapreduce程序在分布式运行时有三类实例进程：1、MRAppMaster：负责整个程序的过程调度及状态协调2、MapTask：负责map阶段的整个数据处理流程3、ReduceTask

1）分布式的运算程序往往需要分成至少2个阶段2）第一个阶段的maptask并发实例，完全并行运行，互不相干3）第二个阶段的reducetask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有maptask

mapreduce词频统计wordcount流程大致分为：原始文件----maptask-----reducetask----结果文件原始文件-----maptask过程：1、FileInputFormat

Combiner可减少MapTask中间输出的结果，从而减少各个ReduceTask的远程拷贝数据量，最终表现为MapTask和ReduceTask

文章目录一、Hadoop框架计算特性二、优化常用手段三、排序选择四、怎样做笛卡尔积五、怎样写in/exists语句六、设置合理的maptask数量七、小文件合并八、设置合理的reduceTask的数量九

MapReduce1.2MapReduce框架结构及核心运行机制1.2.1结构1.2.2MR程序运行流程1.3MapTask并行度决定机制1.3.1mapTask并行度的决定机制1.3.2FileInputFormat切片机制1.4ReduceTask

（转载http://book.51cto.com/art/201409/453045.htm）问题1：reducetask数目不合适Applicationisn’tusingalloftheCores:

默认的分区方式是：key的hashCode%ReduceTask的个数。

数据架构数据处理过程案例数据采集数据存储HDFSreadHDFS[1]writeHDFS[2]数据计算离线计算MapReduce2个reducetask的数据流[3]mapsize公式:max{${mapred.min.split.size

这里还有一个Container的概念，现在可以先把它理解为运行map/reducetask的容器，后面有详细介绍。

Shuffle过程是MapReduce的核心，描述着数据从maptask输出到reducetask输入的这段过程。

ShuffleShuffle描述着数据从maptask输出到reducetask输入的这段过程。在分布式情况下，reducetask需要跨节点去拉取其它节点上的maptask结果。

MapReduce处理流程图图解wordcount的MapReduce详解Shffle官方对Shuffle过程的描述Shuffle我们可以理解为描述着数据从maptask输出到reducetask输入的这段过程

MapRedece中的分区Partitioner分析MapReduce中会将map输出的k-v对，按照相同的key进行分组，然后分发给不同的reduceTask中。

YARN并不是下一代MapReduce（MRv2）下一代MapReduce与第一代MapReduce（MRv1）在编程接口、数据处理引擎（MapTask和ReduceTask）是完全一样的，可认为MRv2

这里的任务是指：maptask或者reducetask1、一主多从架构2、主JobTracker负责调度分配每一个子任务task运行于TaskTracker上，如果发现有失败的task就重新分配其任务都其他节点上