groupBykey

面试系列-各种组件问一下（二）

欢迎大家对答案进行补充、勘误，可以私信或者文章底部评论1、spark宽窄依赖区分宽依赖：是指一个父RDD分区对应多个子RDD的分区，比如map、filter等算子窄依赖：是指多个父RDD分区对应一个子RDD分区，比如groupByKey
你好，我叫罗鹏程·2023-04-11 17:13

Spark 出现class Statics does not have a member ioobe错误怎么办

如果你正在进行聚合计算，在reduceByKey()或groupBykey()方法中传递给Spark的RDD（弹性分布式数据集）中有一些键对应多个值，请确认每一个键都顺利且只执
'Wu'·2023-04-10 18:39

Spark宽窄依赖的划分规则

比如：sortBy()、reduceByKey()、groupByKey()、join()和调用rePartition()函数的任何操作。
永不落后于人·2023-04-06 19:19

Spark基础【RDD KV类型转换算子】

文章目录一RDDKey-Value类型转换算子1groupByKey（1）groupByKey和groupBy的区别（2）groupByKey和reduceByKey的区别2aggregateByKey3foldByKey4combineByKey
OneTenTwo76·2023-04-06 14:57

Spark RDD常用算子使用总结

.mapPartitions5.mapPartitionsWithIndex6.sample7.mapValues8.union（并集）9.substract（差集）10.reduceByKey11.groupByKey12
一片枯黄的枫叶·2023-04-06 14:48

Spark工作总结（干货篇）

程序启动流程基础篇`Dataset`和`DataFrame`广播变量累加器算子篇转化算子，行动算子，持久化算子的区别非shuffle类算子shuffle类算子`sortby`和`sortbykey``groupByKey
治愈爱吃肉·2023-03-30 02:30

大数据面试-Spark

目录1.mr和spark区别，怎么理解spark-rddSpark和MR的异同2.spark集群运算的模式RDD中reduceBykey与groupByKey哪个性能好，为什么rdd怎么分区宽依赖和窄依赖
Movle·2023-03-26 21:03

Spark-窗口函数实现原理及各种写法

平时使用窗口函数最多的情况就是-根据某个字段分组，取组内的TopN(也可能是随机取N条)，在没接触窗口函数之前，使用的是groupByKey+flatMap的操作，数据稍微一大就各种OOM，很影响我日常摸鱼啊
蠟筆小噺没有烦恼·2023-03-25 23:37

reduceByKey 和 groupByKey

groupByKey进入org.apache.spark.rdd.PairRDDFunctions.scala/***GroupthevaluesforeachkeyintheRDDintoasinglesequence.Hash-partitionsthe
Jorvi·2023-03-17 20:18

ImportError: No module named bson.int64问题排查

.\.groupByKey(...)\.mapValues(lambdagrouped:func(grouped,rule_dict)\...处理首先按照出错
slowrabbit·2023-03-12 14:24

Spark-RDD 转换算子（双 Value 类型、Key - Value 类型）

双Value类型1、intersection（交集）2、union（并集）3、subtract（差集）4、zip（拉链）Key-Value类型1、partitionBy2、reduceByKey3、groupByKey4
open_test01·2023-03-12 08:05

spark中使用groupByKey进行分组排序的示例代码

任务需求：已知RDD[(query:String,item_id:String,imp:Int,clk:Int)]，要求找到每个query对应的点击最多的前2个item_id，即：按照query分组，并按照clk降序排序，每组取前两个。例如：（连衣裙，1234,22,13）（牛仔裤，2768,34,7）（连衣裙，1673，45,9）（衬衣，3468，67,12）（牛仔裤，2754,68，20）（连
·2023-03-10 16:39

spark面试题

transformation：map、filter、flatmap、mappartitions、union、distinct、groupbykey、reducebykey、sortbykey、join、
becooner·2023-03-09 04:15

Shuffle原理剖析与源码分析

reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等操作。
liuzx32·2023-02-18 19:17

2019-10-29

flatMap=>JavaRDD:IteratorJavaRDD:mapToPair=>JavaPairRDD:Tuple2JavaRDD:reduceByKey=>JavaPairRDD:v1+v2groupByKey
记忆易逝·2023-02-03 19:24

Spark 中 RDD 算子 ReduceByKey 和 GroupByKey 使用方法和区别

在对RDDPair（一种特殊的RDD，即RDD[(key,Row)]）进行操作时经常会用到reduceByKey()和groupByKey()两个算子。
alexlee666·2023-01-30 19:13

spark数据倾斜解决方案（一）炫酷的4个方案

然后再经过反向映射map算子再把前缀去掉，再去计算双重聚合就是聚合两遍2、使用场景（1）groupByKey（2）reduceByKey比较适合使用这种方式；join，咱们通常不会这样来做，后面会讲三种
gerry.tan·2023-01-19 07:26

Spark 官网阅读笔记

2.groupbykey没有reduceBykey，aggregateBykey高效，（后者是同时分区排序）3.accumulator累加器的使用4.broadcastvariables广播变量的使用5
holomain·2022-12-15 11:49

聊一聊Spark实现TopN的几种方式

目录前言方式1：采用groupByKey方式2：采用两阶段聚合优化方式3：先获取每个分区的TopN，后获取全局TopN方式4：采用aggregateByKey优缺点结语大家好，我是风云，欢迎大家关注我的个人原创公众号
笑看风云路·2022-11-20 01:25

reduceByKey实现（key,value)生成(key,list(value))

sc.parallelize(Array(("red","zero"),("yellow","one"),("red","two"))).groupByKey().collect.foreach(println
fir_dameng·2022-10-30 19:48

spark—KV算子解析

面试题目（1）reduceByKey和groupByKey的区别？
王博1999·2022-09-22 22:32

spark 算子 详解

reduceByKey和groupByKey等健值对算子底层都实现该算子。
无故事王国LH·2022-09-22 22:12

spark笔记（后面是重点）

文章目录一、抽样1.放回2.不放回二、加载处理文件三、持久化四、基本算法1.排序2.加法五、键值对RDD1.创建pairRDD2.groupByKey()3.reduceByKey()4.keys和values5
Panda4u·2022-06-12 09:08

RDD的依赖关系笔记

如groupByKey，reduceByKey，sortByKey等操作都会产生宽依赖。宽依赖会产生Shuffle操作。也就是说，如果父RDD的一个Part
shmily‘’·2022-02-28 11:37

RDD的依赖关系：宽依赖和窄依赖

RDD的依赖关系shuffle的算子一般都会是宽依赖，比如groupByKey、reduceByKey、join等，宽依赖是一对多的关系，窄依赖是一对一关系宽依赖、债依赖和stage的划分假如stage1
风暴之芽·2022-02-08 10:09

spark性能优化五：Shuffle调优

在spark中，主要是以下几个算子：groupByKey、reduceByKey、countByKey、join等。2、shuffle是什么？
张凯_9908·2022-02-07 14:29

152、Spark内核原理进阶之groupByKey算子内部实现原理

一般来说，在执行shuffle类的算子的时候，比如groupByKey、reduceByKey、join等。其实算子内部都会隐式地创建几个RDD出来。
ZFH__ZJ·2022-02-07 09:38

RDD几个常用的键值对

通过并行数据集合（数组）创建RDDvallist=list("a","b","c")valrdd=sc.paralelize(list)常用的键值对转换操作常用的键值对转换操作包括reduceByKey(),groupByKey
起个什么呢称呢·2021-06-14 06:28

高级大数据研发工程师面试题总结

1.Spark处理数据流程、并行度决定机制2.SparkSQL解析SQL的详细流程、hash广播底层实现3.Sparkshuffle、shuffle文件4.groupByKey、reduceByKey、
大数据学习与分享·2021-06-04 09:03

Doris同步多库多表

不应该在写的时候，就肌肉记忆的使用reduceByKey来代替groupByKey吗？
来一块提拉米苏·2021-04-26 23:27

Spark Core测试

高灵活=>持久化（内存+磁盘）缺点多线程模式，不支持细粒度划分容易造成内存溢出2、Spark中reduceBykey和groupByKey区别与用法？哪个效果更好一些？r
xiaoxaoyu·2021-01-09 22:45

【Spark】RDD入门编程实践（完整版）

文章目录1RDD创建1.1从文件系统中加载数据1.2通过并行集合2RDD的操作2.1转换2.1.1filter2.1.2map2.1.3flatMap2.1.4groupByKey2.1.5reduceByKey2.2
快乐的冲浪码农·2020-12-21 15:19

Spark优化操作_自定义groupby

groupby或者groupbyKey算子效率太低，自己重写了一下。
willyan2007·2020-09-16 11:51

大数据常见面试题之spark core

的部署模式1.本地模式2.standalone模式3.sparkonyarn模式二.driver的功能三.hadoop和spark都是并行计算,他们有什么相同点和不同点四.RDD五.简述宽依赖和窄依赖概念,groupByKey
sun_0128·2020-09-16 10:09

Spark Key-Value类型

1)groupByKey案例1.作用:groupByKey对每一个进行操作,但只生成一个sequence2.需求:创建一个pairRDD,将相同key对应值聚合到一个sequence中,并计算相同对应值的相加结果
余生若初·2020-09-15 21:17

spark性能优化之数据倾斜

1.分析有可能发生数据倾斜（dataskew）的位置及发生数据倾斜时的现象通常会发生数据倾斜的常用方法有：distinct、groupByKey、reduceByKey、aggregateByKey、join
卡奥斯道·2020-09-15 14:42

Spark数据倾斜解决方案

1.聚合源数据咱们现在，做一些聚合的操作，groupByKey、reduceByKey；groupByKey，说白了，就是拿到每个key对应的values；reduceByKey，说白了，就是对每个key
njyuxinag·2020-09-15 12:14

WordCount的几种写法

._1)//不可以替换为groupByKey(),scala没有这个算子.mapValues(_.size).toList.sortWith(_._2>_._2)//可以替换为sortBy(_._2),
嘉平11·2020-09-15 03:03

spark RDD 常见操作

fold操作区别与co1.mapValus2.flatMapValues3.comineByKey4.foldByKey5.reduceByKey6.groupByKey7.sortByKey8.cogroup9
dianxunma2886·2020-09-15 02:25

Spark的Shuffle过程介绍

Shuffle过程介绍ShuffleWriterSpark丰富了任务类型，有些任务之间数据流转不需要通过Shuffle，但是有些任务之间还是需要通过Shuffle来传递数据，比如widedependency的groupbykey
ljtyxl·2020-09-11 16:47

spark学习笔记之二：宽依赖和窄依赖

2.spark根据算子判断宽窄依赖：窄依赖：map,filter,union宽依赖:groupByKey,join3.宽窄依赖用于切割action算子生成的工作（job）：根据宽依赖（shuffle）一个
书灯·2020-09-11 16:25

Spark的Shuffle原理(一):HashShuffle

上图中，可以很好的理解宽依赖和窄依赖，对于一般的join、groupByKey等算子都会产生宽依赖。网上流传的一句
Oeljeklaus·2020-09-11 13:27

数据倾斜解决方案之提高shuffle操作reduce并行度

很简单，主要给我们所有的shuffle算子，比如groupByKey、countByKey、reduceByKe
qq_25617289·2020-09-11 02:14

[hive 报错]:FAILED:SemanticException [Error 10025] Expression not in GROUP BY key

Error10025]:Line104:25ExpressionnotinGROUPBYkey'day'其实这个日志已经告诉你问题出在哪里了，line104对应的那个SQL语句select*fromwhere*groupbykey1
oynl·2020-09-10 21:41

spark 数据倾斜

并行度将增加reducetask的数量，就可以让每个reducetask分配到更少的数据量，这样的话，也许就可以缓解，或者甚至是基本解决掉数据倾斜的问题具体操作：主要给我们所有的shuffle算子，比如groupByKey
xushichao·2020-08-24 14:35

Spark 简单实例（基本操作）

目录[-]1、准备文件2、加载文件3、显示一行4、函数运用（1）map（2）collecct（3）filter（4）flatMap（5）union（6）join（7）lookup（8）groupByKey
首席安全官·2020-08-23 22:57

RDD-combineByKEY()详解

createCombiner,mergeValue,margeCombiners,partitioner)最常用的基于key的聚合函数，返回的类型可以和输入的类型不一样许多基于key的聚合函数有用到了它，像groupByKey
zsj.python之路·2020-08-23 04:04

Spark部分聚合操作的API总结

创建一个JavaRDD和一个JavaPairRDDreduce运行结果reduceByKey运行结果aggregate运行结果aggregateByKey运行结果groupBy运行结果groupByKey
无忧_wy·2020-08-23 03:56

Spark Streaming状态操作: updateStateByKey、mapWithState、基于window的状态操作

无状态的操作，即当前批次的处理不依赖于先前批次的数据，如map()、flatMap()、filter()、reduceByKey()、groupByKey()等等;而有状态的操作，即当前批次的处理需要依赖先前批次的数据
wangpei1949·2020-08-23 03:33

SparkRDD之combineByKey

诸如groupByKey,reduceByKey等等。combineByKey作用在键值对RDD上，根据键来对RDD进行合并。
大雄没有叮当猫·2020-08-23 03:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他