groupBykey

Scala中的groupBy与Spark中groupByKey、ReduceByKey用法案例WordCount

1.groupBy指明以某个元素分组valsource=Source.fromFile("E://data.txt","UTF-8")vallines=source.getLines()vallist=lines.toList.flatMap(line=>line.split("").map(word=>(word,1)))valres0=list.groupBy(_._1).map(temp=>
qq_37001101·2018-11-08 09:48

Spark DataFrame的groupBy vs groupByKey

但是会发现除了groupBy外，还有一个groupByKey（注意RDD也有一个groupByKey，而这里的groupByKey是DataFrame的）。
zzzzMing·2018-11-04 16:00

Spark数据倾斜解决方案一：聚合源数据

Spark数据倾斜问题大多数会发生在，程序中使用了产生Shuffle算子的操作，比如：reduceByKey，groupByKey，join，repartition，aggregateByKey等操作。
hipeer·2018-11-02 18:12

spark RDD，reduceByKey vs groupByKey

Spark中有两个类似的api，分别是reduceByKey和groupByKey。这两个的功能类似，但底层实现却有些不同，那么为什么要这样设计呢？我们来从源码的角度分析一下。
zzzzMing·2018-10-28 21:00

spark算子：combineByKey详解

combineByKey是Spark中一个比较核心的高级函数，groupByKey、reduceByKey的底层都是使用combineByKey实现的，所以需要弄清楚它。
念雅小轩·2018-10-19 16:51

spark中如何划分stage

2.Stage划分的依据就是宽依赖，何时产生宽依赖，例如reduceByKey,groupByKey的算子，会导致宽
老子天下最美·2018-10-14 19:59

Spark优化(六)：使用高性能的算子

除了shuffle相关的算子有优化原则之外，其它的算子也都有着相应的优化原则：使用reduceByKey/aggregateByKey替代groupByKey。
Winner941112·2018-09-29 17:33

Spark项目实战-数据倾斜解决方案之提高shuffle操作reduce并行度

很简单，主要给我们所有的shuffle算子，比如groupByKey、countB
Anbang713·2018-09-26 20:05

Spark | shuffle调优

在spark中，主要是以下几个算子：groupByKey、reduceByKey、countByKey、join，等等。什么是shuffle？
JH_Zhai·2018-08-16 01:06

spark中使用groupByKey进行分组排序

任务需求：已知RDD[(query:String,item_id:String,imp:Int,clk:Int)]，要求找到每个query对应的点击最多的前2个item_id，即：按照query分组，并按照clk降序排序，每组取前两个。例如：（连衣裙，1234,22,13）（牛仔裤，2768,34,7）（连衣裙，1673，45,9）（衬衣，3468，67,12）（牛仔裤，2754,68，20）（连
starxhong·2018-08-13 22:52

Spark核心编程-RDD操作原理分析

二、groupByKey算子内部实现原理剖析说明：将RDD[K,V]中每个K对应的V值合并到一个集合Iterable[V]中。
Anbang713·2018-08-11 18:49

Spark中distinct、reduceByKey和groupByKey的区别与取舍

1.代码实例：a.valrdd=sc.makeRDD(Seq("aa","bb","cc","aa","cc"),1)//对RDD中的元素进行去重操作rdd.distinct(1).collect().foreach(println)rs:aabbccb.valrdd:RDD[(String,Int)]=sc.makeRDD(Seq(("aa",1),("bb",1),("cc",1),("aa"
止鱼·2018-07-30 21:58

Spark实现分组取 top N 示例 —— Scala版

主要步骤：加载集合生成RDD（textFile）对RDD进行转换，将要排序的属性进行分离，生成新的RDD（map）对键进行分组，并在分组内基于第二步分离出的属性进行排序，并取排序结果的topN（groupByKey
* star *·2018-07-29 20:15

Spark程序优化总结

.对于多次使用的RDD，进行数据持久化操作(eg:cache、persist)b.如果对同一个份数据进行操作，那么尽量公用一个RDDc.优先使用reduceByKey和aggregateByKey取代groupByKey
xiaodf·2018-06-15 15:42

Spark程序优化总结

.对于多次使用的RDD，进行数据持久化操作(eg:cache、persist)b.如果对同一个份数据进行操作，那么尽量公用一个RDDc.优先使用reduceByKey和aggregateByKey取代groupByKey
xiaodf·2018-06-15 15:42

【菜鸟系列】spark常用算子总结（scala、java）--groupByKey，reduceByKey

groupByKey和reduceByKey是常用的聚合函数，作用的数据集为PairRDDscalareduceByKey函数原型defreduceByKey(partitioner:Partitioner
Java_Soldier·2018-06-05 15:41

6 spark入门键值对操作sortByKey、groupByKey、groupBy、cogroup

SortByKey从名字就能看到，是将Key排序用的。如一个PariRDD-["A":1,"C":4,"B":3,"B":5]，按Key排序的话就是A、B、C。注意，这个方法只是对Key进行排序，value不排序。上代码/***用于对pairRDD按照key进行排序*@authorwuweifengwroteon2018/4/18.*/publicclassTest{publicstaticvoi
天涯泪小武·2018-04-19 10:57

数据倾斜解决方案

你在自己的程序里面找找，哪些地方用了会产生shuffle的算子，groupByKey、countByKey、reduceByKey、join。
赤焰123·2018-04-10 11:47

Spark核心RDD：combineByKey函数详解

诸如groupByKey,reduceByKey等等如下给出combineByKey的定义，其他的细节暂时忽略(1.6.0版的函数名更新为combineByKeyWithClassTag)[java]viewplaincopydefcombineByK
devcy·2018-04-04 15:02

10 shuffle调优原理概述-性能优化

在spark中，最主要是以下几个算子：groupByKey，reduceByKey，countByKey,join等什么是shuffle？
hery_csnd168·2018-03-12 15:39

Spark过大数据量分组排序,内存不足

需求:假定超大数据量的商品,需要根据其价格在其类目或全类目进行排序求前1000,但是内存不足需求拆解:先算出特定类目的前1000,再进行全类目的分组比较排序备注:不要使用Spark自带的GroupByKey
相关知情人士·2017-12-06 08:42

简单搞定spark的shuffle流程

reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等操作。
白枭·2017-11-26 15:43

Spark性能优化总结

1.Stage在进行shuffle操作时，如reduceByKey、groupByKey，会划分新的stage。同一个stage内部使用pipeline进行执行，效率较
gongpulin·2017-08-27 23:26

Spark源码之reduceByKey与GroupByKey

Spark中针对键值对类型的RDD做各种操作比较常用的两个方法就是ReduceByKey与GroupByKey方法，下面从源码里面看看ReduceByKey与GroupByKey方法的使用以及内部逻辑。
逃出你的肖生克·2017-07-26 09:15

spark的aggregateByKey简单用法

问题：求key只出现一次的数据，如果用groupByKey或reduceByKey很容易就做出来了，现在用aggregateByKey求解一下。
鲍礼彬·2017-07-25 22:07

groupByKey 和reduceByKey 的区别

一、首先他们都是要经过shuffle的，groupByKey在方法shuffle之间不会合并原样进行shuffle，。
守猫de人·2017-07-14 10:28

部署安装 Spark

Spark简介Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey
我不是九爷·2017-07-07 11:09

主键重复处理办法

一主键重复处理步骤/**查询键值重复**/selectkey,count(1)fromtable groupbykey havingcount(1)>1---重复主键的处理(删除主键-删除重复数据-添加主键
A_n_dy·2017-03-19 17:06

Spark 读取Hbase表数据并实现类似groupByKey操作

一、概述程序运行环境很重要，本次测试基于：hadoop-2.6.5spark-1.6.2hbase-1.2.4zookeeper-3.4.6jdk-1.8废话不多说了，直接上需求Andycolumn=baseINFO:age,value=21Andycolumn=baseINFO:gender,value=0Andycolumn=baseINFO:telphone_number,value=110
CaramelLatte·2016-12-13 18:05

Spark算子选择策略

摘要1.使用reduceByKey/aggregateByKey替代groupByKey2.使用mapPartitions替代普通map3.使用foreachPartitions替代foreach4.使用
chenjieit619·2016-12-01 14:43

Spark性能调优之——JVM调优之原理概述 以及降低cache操作的内存占比

JVM造成线上的spark作业运行报错，甚至失败（比如OOM）3.shuffle调优:spark在执行groupByKey，redu
唐予之_·2016-10-31 22:35

reduceByKey与groupByKey的区别

针对pairRDD这样的特殊形式，spark中定义了许多方便的操作，今天主要介绍一下reduceByKey和groupByKey，因为在接下来讲解《在spark
霄嵩·2016-10-19 12:34

Spark核心RDD：combineByKey函数详解

诸如groupByKey,reduceByKey等等如下给出combineByKey的定义，其他的细节暂时忽略(1.6.0版的函数名更新为combineByKeyWithClassTag)defcombineByKey
PJ-Javis·2016-09-14 16:35

转：Spark知识体系完整解读

Spark简介Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey
Feeling·2016-09-08 13:00

解决spark中遇到的数据倾斜问题

二.数据倾斜的原因常见于各种shuffle操作，例如reduceByKey,groupByKey,join等操作。
breeze_lsw·2016-07-25 17:26

spark 的groupby

其实我一直很不明白的是，为什么有groupByKey了还要有groupBy,今天被一位同事问到了怎么对rdd分组的时候，这个疑问算是彻底惹恼我了，我一定要搞清楚这东西怎么用的，嗯，对比一下groupByKey
fjr_huoniao·2016-06-01 14:41

Spark数据分析之第3课

除了RDD[Double]的隐式动作，Spark支持RDD[Tuple2[K,V]]类型隐式类型转换，不但提供根据每个键来汇总的groupByKey和reduceB
jiangshouzhuang·2016-05-25 23:00

影响Spark输出RDD分区的操作函数

1.会影响到Spark输出RDD分区（partitioner）的操作cogroup,groupWith,join,leftOuterJoin,rightOuterJoin,groupByKey,reduceByKey
ZCF1002797280·2016-05-01 10:00

spark之RDD

启动spark-shellbin/spark-shell--masterspark://bigdata.eclipse.com:7077reduceBykey、groupBykey、sortByKey、
yangcongyangling·2016-04-16 00:00

Comparison method violates its general contract!

val rdd1 = rdd.groupByKey().sortByKey(true).map(x => (x._1,x._2.toList.sortWith(timeCompare)));这个错误是
cjun1990·2016-03-31 10:00

高效分布式计算系统之—Spark与Hadoop

比如map,filter,flatMap,sample,groupByKey,reduceByKey,union,join,co
zealifree004·2016-03-19 13:00

第46课：Spark性能优化第二季！

2.尽量减少Shuffle，例如我们要尽量减少groupByKey的操
snail_gesture·2016-02-29 16:00

day22:RDD的依赖关系彻底解密

例如map，filter都会产生窄依赖2、宽依赖：一个父RDD的Partition会被多个子RDD的partition所使用：例如groupbyKey，reduceBykey，sortByKey总结：如果父
·2016-02-29 12:00

day17:RDD案例（join、cogroup、reduceByKey、groupByKey, join cogroup

本文内容来源于DT大数据梦工厂整理，DT大数据梦工厂新浪微博：http://weibo.com.ilovepains/微信公共号：DT_Spark博客：http://bolg.sina.com.cn/ilovepains手机：18610086859qq：1740415547邮箱：[email protected].{SparkConf,Spa
·2016-02-24 17:00

RDD案例（DT大数据梦工厂）

内容：1、map、filter、flatmap等操作回顾；2、reduceBykey、groupBykey；3、jion、cogroug；算子共同特点：都是最常用的算子，构建复杂算法的基石，都是lazy
feiweihy·2016-02-08 09:17

spark transform系列__groupByKey

这个操作的作用根据相同的key的所有的value存储到一个集合中的一个玩意.def groupByKey(): RDD[(K, Iterable[V])] = self.withScope {  groupByKey
hongs_yang·2016-01-31 13:40

spark transform系列__aggregateByKey

aggregateByKey这个函数可用于完成对groupByKey,reduceByKey的相同的功能,用于对rdd中相同的key的值的聚合操作,主要用于返回一个指定的类型U的RDD的transform
u014393917·2016-01-28 18:00

spark transform系列__groupByKey

这个操作的作用根据相同的key的所有的value存储到一个集合中的一个玩意.def groupByKey(): RDD[(K, Iterable[V])] = self.withScope {  groupByKey
u014393917·2016-01-28 11:00

DT_大数据梦工厂 第17课 RDD实战

今晚上课内容：1map、filter、flatmap操作回顾2reduceByKey、groupByKey3join、cogroupjoin和cogroup是所有Spark学习者必须掌握的内容。
chinsun_1·2016-01-22 23:57

DT_大数据梦工厂 第17课 RDD实战

今晚上课内容：1map、filter、flatmap操作回顾2reduceByKey、groupByKey3join、cogroup join和cogroup是所有Spark学习者必须掌握的内容。
chinsun_1·2016-01-22 23:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他