GroupByKey

Spark经典案例之数据去重

/**业务场景：数据去重问题CreatedbyYJon2017/2/7.统计数据,尽量用reduceByKey,不要用groupByKey,优化点reduceByKey,在本机suffle后,再发送一个总
小猪Harry·2020-04-09 06:50

[Spark]Shuffle

Spark丰富了任务类型，有些任务之间数据流转不需要通过Shuffle，但是有些任务之间还是需要通过Shuffle来传递数据，比如widedependency的groupbykey。
猛男落泪为offer·2020-04-06 18:57

Spark数据倾斜

触发shuffle的常见算子：distinct、groupByKey、reduceByKey、aggregateByKey、join、cogro
利伊奥克儿·2020-04-01 23:37

Spark经典案例之数据去重

/**业务场景：数据去重问题CreatedbyYJon2017/2/7.统计数据,尽量用reduceByKey,不要用groupByKey,优化点reduceByKey,在本机suffle后,再发送一个总
张明洋_4b13·2020-03-28 19:00

Spark Transformations and Actions

valrdd0=sc.parallelize(Array((1,1),(1,2),(1,3),(2,1),(2,2),(2,3)),3)valrdd1=rdd0.groupByKey()rdd1.collectres0
尘世中一介迷途小码农·2020-03-21 05:01

RDD的依赖关系

Partition最多被子RDD的一个Partition所使用，例如map,filter,union等都会产生窄依赖；宽依赖一个父RDD的Partition会被多个子RDD的Partition所使用，例如groupByKey
yumzhang·2020-03-19 20:02

spark的groupByKey、reduceByKey的算子简单使用

packagecom.meng.nan.day717importorg.apache.log4j.{Level,Logger}importorg.apache.spark.rdd.RDDimportorg.apache.spark.{Partition,Partitioner,SparkConf,SparkContext}importscala.collection.mutable.ArrayBu
閫嗛·2020-03-14 06:57

解决spark中遇到的数据倾斜问题

二.数据倾斜的原因常见于各种shuffle操作，例如reduceByKey,groupByKey,join等操作。
breeze_lsw·2020-03-07 02:46

spark RDD，reduceByKey vs groupByKey

Spark中有两个类似的api，分别是reduceByKey和groupByKey。这两个的功能类似，但底层实现却有些不同，那么为什么要这样设计呢？我们来从源码的角度分析一下。
大数据_zzzzMing·2020-02-29 17:41

spark之RDD练习

练习三：求两个列表中的交集、并集、及去重后的结果练习四：对List列表中的kv对进行join与union操作练习五：cogroup与groupByKey的区别练习六：reduce聚合操作练习七：对List
落花桂·2020-02-23 16:00

Spark Streaming性能优化总结

并且持久化级别最好使用MEMORY_ONLY_SER来减少内存使用；在使用join的地方看是否可以使用map算子和广播变量的方式替代；使用高效的算子，例如：使用reduceByKey/aggregateByKey来代替groupByKey
Wilson_0e83·2020-02-19 14:07

Spark 优化GroupByKey产生RDD[(K, Iterable[V])]

RDD触发机制在spark中,RDDAction操作,是由SparkContext来触发的.通过scalaIterator来实现./***ReturnanewRDDbyapplyingafunctiontoallelementsofthisRDD.*/defmap[U:ClassTag](f:T=>U):RDD[U]=withScope{valcleanF=sc.clean(f)newMapPar
wangqiaoshi·2020-02-13 07:45

44、Spark内核源码深度剖析之Shuffle原理剖析与源码分析

reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等操作SparkShuffle操作的两个特点第一个特点在Spark早期版本中，那个bucket
ZFH__ZJ·2020-02-10 23:28

大三寒假生活11

今天完成了之前欠下的实验四的第三个，知道了scala中的partitionBy和groupByKey().还有其他的一些知识，eclipse又遇到了一些破问题。
哈萨K·2020-02-07 21:00

寒假学习进度-3

RDD编程初级实践函数名目的示例结果reduceByKey(f)合并具有相同key的值rdd.reduceByKey((x,y)=>x+y){(1,2),(3,10)}groupByKey()对具有相同
苍天の笑·2020-01-17 21:00

Spark核心RDD：combineByKey函数详解

诸如groupByKey,reduceByKey等等如下给出combineByKey的定义，其他的细节暂时忽略(1.6.0版的函数名更新为combineByKeyWithClassTag)defcombineByKey
yanzhu728·2019-12-30 02:08

Spark RDD键值对操作

的转化操作以键值对集合{(1,2),(3,4),(3,6)}为例1.reduceByKey(func)合并具有相同键的值rdd.reduceByKey((x,y)=>x+y)结果：{(1,2),(3,10)}2.groupByKey
lmem·2019-12-29 14:14

Spark中reduceByKey()和groupByKey()的区别

在Spark当中，分组操作时，提供了这么两个函数，用WordCount程序来举例。valwords=Array("one","two","two","three","three","three")valwordPairsRDD=sc.parallelize(words).map(word=>(word,1))valwordCountsWithReduce=wordPairsRDD.reduceBy
小小少年Boy·2019-12-22 23:04

RDD常用算子列表

，获取一个新的元素，然后用新的元素组成新的RDDfilter对RDD中每个元素进行判断，如果返回true则保留，返回false则剔除flatMap与map类似，但是对每个元素都可以返回一个或多个新元素groupByKey
杨赟快跑·2019-12-22 09:32

帮你快速理解 Spark 的分区器

借用Spark源码里对groupByKey算子的描述（@noteThisoperationmaybeveryexpensive。。。），可见一斑。
俺是亮哥·2019-12-21 19:19

[第十四章]Spark Shuffle的原理剖析_1

那么在什么情况下，会发生Shuffle操作呢，一般在reduceByKey,groupByKey,sortBykey,countBykey,join,cogroup等函数的下都会发生Shuffle.
cariya·2019-12-14 16:05

深入理解groupByKey、reduceByKey

测试源码下面来看看groupByKey和reduceByKey的区别：valconf=newSparkConf().setAppName("GroupAndReduce").setMaster("local
jacksu在简书·2019-12-07 02:02

【Spark Java API】Transformation(10)—combineByKey、groupByKey

combineByKey官方文档描述：Genericfunctiontocombinetheelementsforeachkeyusingacustomsetofaggregationfunctions.TurnsanRDD[(K,V)]intoaresultoftypeRDD[(K,C)],fora"combinedtype"CNotethatVandCcanbedifferent--forex
小飞_侠_kobe·2019-12-06 12:24

2019.12.05【ABAP随笔】 分组循环(LOOP AT Group) / REDUCE

ABAP7.40新语法LOOPATGroup和REDUCE1*LOOPATitabresult[cond]GROUPBYkey(key1=dobj1key2=dobj2…2*[gs=GROUPSIZE]
TAB_jxzhu·2019-12-05 15:00

spark开发调优

使用reduceByKey/aggregateByKey替代groupByKey
miss幸运·2019-12-01 19:52

大数据开发技术：Spark数据倾斜

触发shuffle的常见算子：distinct、groupByKey、reduceByKey、aggregateByKey、join、cogro
千锋IJava·2019-11-07 16:58

transformation操作

map()filter()flatMap()groupByKey()reduceByKey()sortByKey()join()cogroup()importjava.util.Arrays;importjava.util.Iterator
ibunny·2019-11-02 04:49

Spark SQL数据倾斜解决方案

SparkSQL的数据倾斜解决方案：聚合源数据：SparkCore和SparkSQL没有任何区别1、过滤导致倾斜的key：在sql中用where条件2、提高shuffle并行度：groupByKey(1000
studyhardatEnglish·2019-10-14 17:35

Kafka Streams开发入门(3)

所谓转换Key是指对流处理中每条消息的Key进行变换操作，以方便后面进行各种groupByKey操作。
huxihx·2019-10-12 14:00

Spark学习05——键值对RDD转换算子

所有键值对RDD转换算子如下：mapValues、flatMapValues、sortByKey、combineByKey、foldByKey、groupByKey、reduceByKey、aggregateByKey
lishengping_max·2019-09-19 11:20

SparkSQL性能优化

一、代码层面的优化使用高性能算子使用reduceByKey/aggregateByKey替代groupByKey。使用mapPartitions替代普通map。
我在北国不背锅·2019-09-17 17:22

一、Spark原理与机制初探

1.Spark作为Spark生态系统的核心，Spark主要提供基于内存计算的功能，不仅包含Hadoop的计算模型MapReduce，还包含很多其他的API，如reduceByKey、groupByKey
渊飞·2019-09-09 22:53

大数据面试题_Spark

文章目录hadoop和spark都是并行计算，那么他们有什么相同和区别简单说一下hadoop和spark的shuffle过程spark集群运算的模式RDD中reduceBykey与groupByKey哪个性能好
Levy_Y·2019-09-03 21:30

大数据面试题_Spark

文章目录hadoop和spark都是并行计算，那么他们有什么相同和区别简单说一下hadoop和spark的shuffle过程spark集群运算的模式RDD中reduceBykey与groupByKey哪个性能好
Levy_Y·2019-09-03 21:30

Spark ---------- RDD依赖问题，RDD的高阶函数分类

之间是有依赖的例如stage1->stage2中那一个大的箭头就是一次shuffle其中stage1中又有小的及部分组成  宽依赖：产生shuffle,数据会存储在磁盘中    reduceByKey,groupByKey
-Ares·2019-08-02 20:16

groupByKey ()根据key聚合

一定会有shuffer，因为不能保证相同的key的数据在同一个分区中。groupByKeypackagecom.atguiguimportorg.apache.spark.rdd.RDDimportorg.apache.spark.{HashPartitioner,Partitioner,SparkConf,SparkContext}objectTrans{defmain(args:Array[S
比格肖·2019-07-30 22:40

[笔记迁移][Spark][14]Spark性能优化

进行持久化cache/persist或Checkpoint六、使用序列化的持久化级别七、JVMGC机制调优八、提高并行度九、广播共享数据十、数据本地化（计算逻辑与数据）十一、redeceByKey()与groupByKey
Bro_Rabbit·2019-07-25 08:13

[笔记迁移][Spark][12]Spark源码——内核架构5

13.CacheManager(2.3中没有CacheManager)11.Shuffle（最最最最最重要，重点出错、调优目标）（1）发生时机：与Tuple的key操作相关，包括reduceByKey/groupByKey
Bro_Rabbit·2019-07-24 11:25

Spark练习之Transformation操作开发

操作开发一、map：将集合中的每个元素乘以21.1Java1.2Scala二、filter：过滤出集合中的偶数2.1Java2.2Scala三、flatMap：将行拆分为单词3.1Java3.2Scala四、groupByKey
爱是与世界平行·2019-06-19 14:17

Spark每日半小时（9）——PairRDD的数据分组

groupByKey()如果数据已经以预期的方式提取了键，groupByKey()就会使用RDD中的键来对数据进行分组。
DK_ing·2019-06-05 10:32

Spark每日半小时（9）——PairRDD的数据分组

groupByKey()如果数据已经以预期的方式提取了键，groupByKey()就会使用RDD中的键来对数据进行分组。
DK_ing·2019-06-05 10:32

使用Spark rdd 开发spark程序

文章目录1.常用的rddrdd的输入和输出，scala版，java版每个rdd函数的使用场景特殊rdd的使用选择reduceByKey,groupByKey,的使用选择collect，count的使用选择总结
texture_texture·2019-05-30 12:13

大数据应用技术实验报告七 Spark

Spark比Hadoop更通用Spark提供的数据集操作类型有很多①Transformations转换操作：map,filter,flatMap,sample,groupByKey,reduceByKey
老无所依·2019-05-25 16:12

Spark一路火花带闪电——Pair RDD常用算子(参数及其返回值)探究

RDD[U,T]注意下面的函数，对应U和TreduceByKey(f:(T,T)=>T):RDD[U,T]合并具有相同值的键rdd.reduceByKey((x,y)=>x+y)>>(1,2)(3,10)groupByKey
No_Game_No_Life_·2019-04-04 17:25

spark的groupByKey和combineByKey算子的使用情况对比

groupByKey和combineByKey算子底层都是调用了combineByKeyWithClassTag方法，区别在于各自方法的传入的参数mapSideCombine不同，改参数不同的区别在于是否在
糖哗啦·2019-03-28 16:39

Spark SQL数据倾斜解决方案

SparkSQL的数据倾斜解决方案：聚合源数据：SparkCore和SparkSQL没有任何区别过滤导致倾斜的key：在sql中用where条件提高shuffle并行度：groupByKey(1000)
Johnson8702·2019-03-10 20:38

Spark core算子aggregateByKey实例

groupbykey、reducebykey以及aggregateByKeygroupbykey是全局聚合算子，将所有maptask中的数据都拉取到shuffle中将key相同的数据进行聚合，它存在很多弊端
wftt·2018-12-20 14:36

44、Spark内核源码深度剖析之Shuffle原理剖析与源码分析

reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等操作SparkShuffle操作的两个特点第一个特点在Spark早期版本中，那个bucket
ZFH__ZJ·2018-12-18 21:00

Spark 性能调优 shuffle调优第一篇

一些会触发shuffle的算子groupByKey把分布在集群各个节点上的数据中的同一个key，对应的values，都给集中到一块儿，集中到集群中同一个节点上，更严密一点说，就是集中到一个节点的一个executor
chixushuchu·2018-12-18 11:32

Spark基础（RDD）(常用算子)

RDD宽依赖：父RDD的分区被子RDD的多个分区使用例如groupByKey、reduceByKey、s
双下巴的小猫咪·2018-12-11 00:14
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他