尽管Spark尽可能的减少Shuffle，但是操作却需要Shuffle来完成（如，groupByKey、sortByKey、reduceByKey、distinct等）。

/**业务场景：数据去重问题CreatedbyYJon2017/2/7.统计数据,尽量用reduceByKey,不要用groupByKey,优化点reduceByKey,在本机suffle后,再发送一个总

xxxxx)RDD3=RDD1.filter(yyyy)是从RDD1到RDD2，RDD3这样的过程2)Union是两个RDD合并成一个的过程则是RDD2RDD3变成RDD4的过程3)filter/map/reduceByKey

用spark所写的程序中shuffer操作非常耗时，所以会有专门针对这个shuffer的优化，来提高效率，但是有时你必须进行一些带有shuffer的操作的算子，比如groupByKey和reduceByKey

spark--键值对操作1.pairRDD2.pairRDD创建3.pairRDD转化操作3.1reduceByKey根据键聚合3.2groupByKey根据键分组3.3keys获取键3.4values

reduceByKey()reduceByKey()与reduce()相当类似：他们

key-value形式的数据集（RDD）：hello:1sparkSubmit:1red:1sparkSubmit:1hello:2hello:1hello:4red:1red:1red:1......reduceByKey

Spark的计算是在executor上分布式执行的，故用户开发的关于RDD的map，flatMap，reduceByKey等transformation操作（闭包）有如下执行过程：1.代码中对象在driver

")valwords=lines.flatMap(line=>line.split(""))valpairs=words.map(word=>(word,1))valwordCounts=pairs.reduceByKey

")valwords=lines.flatMap(line=>line.split(""))valpairs=words.map(word=>(word,1))valwordCounts=pairs.reduceByKey

/**业务场景：数据去重问题CreatedbyYJon2017/2/7.统计数据,尽量用reduceByKey,不要用groupByKey,优化点reduceByKey,在本机suffle后,再发送一个总

/**业务场景：数据去重问题CreatedbyYJon2017/2/7.统计数据,尽量用reduceByKey,不要用groupByKey,优化点reduceByKey,在本机suffle后,再发送一个总

但是大部分的聚合函数都基于这个方法去实现的，比如常用的reduceByKey，所以这个方法很重要。

触发shuffle的常见算子：distinct、groupByKey、reduceByKey、aggregateByKey、join、cogro

聚合函数combineByKey将RDD[k,v]转化为RDD[k,c],利用该函数可以实现reduceByKey函数的功能。

/**业务场景：数据去重问题CreatedbyYJon2017/2/7.统计数据,尽量用reduceByKey,不要用groupByKey,优化点reduceByKey,在本机suffle后,再发送一个总

Transformations的常用操作有：map，filter，flatMap，union，sortByKey，reduceByKey等。

RDD的一个Partition所使用，例如map,filter,union等都会产生窄依赖；宽依赖一个父RDD的Partition会被多个子RDD的Partition所使用，例如groupByKey,reduceByKey

2.filter:对元素进行过滤3.reduceByKey：按key值将两个值合并成一个值4.flatMap：输入一条数据

wordcount代码sc.textFile(args(0)).flatMap(_.split("")).map((_,1)).reduceByKey(_+_).saveAsTextFile(args(

packagecom.meng.nan.day717importorg.apache.log4j.{Level,Logger}importorg.apache.spark.rdd.RDDimportorg.apache.spark.{Partition,Partitioner,SparkConf,SparkContext}importscala.collection.mutable.ArrayBu

StructuredStreaming1.回顾和展望1.1.Spark编程模型的进化过程RDDrdd.flatMap(_.split("")).map((_,1)).reduceByKey(_+_).collect

二.数据倾斜的原因常见于各种shuffle操作，例如reduceByKey,groupByKey,join等操作。

SparkCore是什么Spark之一行写WordCount:sc.textFile("/home/data.txt").flatMap(_.split("/t")).map((_,1)).reduceBykey

Spark中有两个类似的api，分别是reduceByKey和groupByKey。这两个的功能类似，但底层实现却有些不同，那么为什么要这样设计呢？我们来从源码的角度分析一下。

sc.textfile("address")valwordrdd=rdd.flatmap(_.split(""))valkvRdd=wordrdd.map((_,1))valwordcoutrdd=kvrdd.reducebykey

spark.default.parallelismDefaultnumberofpartitionsinRDDsreturnedbytransformationslikejoin,reduceByKey

reduceByKey官方文档描述：Mergethevaluesforeachkeyusinganassociativereducefunction.Thiswillalsoperformthemerginglocallyoneachmapperbeforesendingresultstoareducer

操作，避免重复计算，增加任务的执行时间；并且持久化级别最好使用MEMORY_ONLY_SER来减少内存使用；在使用join的地方看是否可以使用map算子和广播变量的方式替代；使用高效的算子，例如：使用reduceByKey

对于reduceByKey等会发生shuffle的操作，就使用并行度最大的父RDD的并行度即可。可以手动使用

与reduceByKey不同的是针对两个RDD中相同的key的元素进行合并。

reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等操作SparkShuffle操作的两个特点第一个特点在Spark早期版本中，那个bucket

看如下的代码：Snip20160903_17.png这里的话，我们构建了两个输入(input1,input2)，input2带有一个reduceByKey,所以会产生一次Shuffle,接着进行Join

与reduceByKey不同的是针对两个RDD中相同的key的元素进行合并。

RDD编程初级实践函数名目的示例结果reduceByKey(f)合并具有相同key的值rdd.reduceByKey((x,y)=>x+y){(1,2),(3,10)}groupByKey()对具有相同

第三个函数是对key相同的键值对进行操作，有点像reduceByKey，但真正实现又有着很大的不同。在Spark入

reduce和reduceByKey的区别reduce和reduceByKey是spark中使用地非常频繁的，在字数统计中，可以看到reduceByKey的经典使用。

spark的RDD操作在上一节Spark经典的单词统计中，了解了几个RDD操作，包括flatMap，map，reduceByKey，以及后面简化的方案，countByValue。

诸如groupByKey,reduceByKey等等如下给出combineByKey的定义，其他的细节暂时忽略(1.6.0版的函数名更新为combineByKeyWithClassTag)defcombineByKey

spark中stage的划分依据action算子进行，每一次action（reduceByKey等）算子都会触发一次shuffle过程，该过程涉及到数据的重新分区。

1.PairRDD的转化操作以键值对集合{(1,2),(3,4),(3,6)}为例1.reduceByKey(func)合并具有相同键的值rdd.reduceByKey((x,y)=>x+y)结果：{(

"b"))text.filter(_.contains("a")).countvarwc=text.flatMap(line=>line.split("")).map(word=>(word,1)).reduceByKey

1.前言有时候需要按照key去做reduce操作时，一般情况下调用reduceByKey就可以完成按照keyreduce的任务，reduceByKey的调用就必然意味着shuffle操作。

在Spark当中，分组操作时，提供了这么两个函数，用WordCount程序来举例。valwords=Array("one","two","two","three","three","three")valwordPairsRDD=sc.parallelize(words).map(word=>(word,1))valwordCountsWithReduce=wordPairsRDD.reduceBy

cache不是action操作2.reduceByKey是不是action？不是，很多人都会以为是action，reducerdd是a

例如：reduceByKey（）会化简每个事件区间中的数据，但不会化简不同区间之间的数据。（3）在wordc

reducebykey是action为了满足各个应用场景，抽象出RDD这一模型依赖划分原则为什么划分宽依赖窄依赖关于数据恢复，宽依赖需要完全执行窄依赖需要重新执行与之相关父依赖。处理

那么在什么情况下，会发生Shuffle操作呢，一般在reduceByKey,groupByKey,sortBykey,countBykey,join,cogroup等函数的下都会发生Shuffle.

1、rdd实现wordcountrdd调用flatMap方法将rdd中每一个元素按空格分割并铺平，再通过map方法组成元组，最后通过reduceByKey进行词频统计，需要注意的是flatMap方法是先执行

scala>sc.textFile("hdfs://hadoop21:9000/wc/").flatMap(_.split("")).map((_,1)).reduceByKey(_+_)res10:org.apache.spark.rdd.RDD