reduceByKey(_

Scala中的groupBy与Spark中groupByKey、ReduceByKey用法案例WordCount

1.groupBy指明以某个元素分组valsource=Source.fromFile("E://data.txt","UTF-8")vallines=source.getLines()vallist=lines.toList.flatMap(line=>line.split("").map(word=>(word,1)))valres0=list.groupBy(_._1).map(temp=>
qq_37001101·2018-11-08 09:48

Spark Streaming（八）：容错和事务

都会记住确定好的计算操作的血缘关系，（vallines=sc.textFile(hdfsfile);valwords=lines.flatMap();valpairs=words.map();valwordCounts=pairs.reduceByKey
张凯_9908·2018-11-07 15:28

Spark数据倾斜解决方案一：聚合源数据

Spark数据倾斜问题大多数会发生在，程序中使用了产生Shuffle算子的操作，比如：reduceByKey，groupByKey，join，repartition，aggregateByKey等操作。
hipeer·2018-11-02 18:12

使用spark scala计算信息熵，信息增益，信息增益率

importorg.apache.spark.rdd.RDDclassFeatureSelect{//信息熵defentropyRDD(data:RDD[String])={valsize=data.count()valp=data.map(x=>(x,1)).reduceByKey
Bryan__·2018-10-30 20:27

spark RDD，reduceByKey vs groupByKey

Spark中有两个类似的api，分别是reduceByKey和groupByKey。这两个的功能类似，但底层实现却有些不同，那么为什么要这样设计呢？我们来从源码的角度分析一下。
zzzzMing·2018-10-28 21:00

Spark Python API函数：pyspark API(3)

5sampleStdev•6sampleVariance•7countByValue•8top•9takeOrdered•10take•11first•12collectAsMap•13keys•14values•15reduceByKey
风中一叶(Liko)·2018-10-27 09:45

spark算子：combineByKey详解

combineByKey是Spark中一个比较核心的高级函数，groupByKey、reduceByKey的底层都是使用combineByKey实现的，所以需要弄清楚它。
念雅小轩·2018-10-19 16:51

spark中如何划分stage

2.Stage划分的依据就是宽依赖，何时产生宽依赖，例如reduceByKey,groupByKey的算子，会导致宽
老子天下最美·2018-10-14 19:59

Spark性能优化：提高并行度、使用reduceByKey

对于reduceByKey等会发生shuffle的操作，就使用并行度最大的父RDD的并行度即可
我是丰儿你是沙·2018-10-13 09:10

Spark优化(六)：使用高性能的算子

除了shuffle相关的算子有优化原则之外，其它的算子也都有着相应的优化原则：使用reduceByKey/aggregateByKey替代groupByKey。
Winner941112·2018-09-29 17:33

Spark优化(四)：尽量避免使用shuffle类算子

比如reduceByKey、join等算子，都会触发shuffle操作。shuffle过程中，各个节点上的相同key都会先写入本
Winner941112·2018-09-29 16:14

PySpark进阶--深入剖析wordcount.py

HelloWord示例，都有main()函数，wordcount.py的main函数，或者说调用Spark的main()在哪里数据的读入，各个RDD数据如何转换map与flatMap的工作机制，以及区别reduceByKey
雷顿学院·2018-08-31 20:51

Spark | shuffle调优

在spark中，主要是以下几个算子：groupByKey、reduceByKey、countByKey、join，等等。什么是shuffle？
JH_Zhai·2018-08-16 01:06

Spark核心编程-RDD操作原理分析

三、reduceByKey算子内部实现原理剖析说明：将RDD[K,V]中每个K对应的V值根据映射函数来运算。四、distinct算子内部实现原理剖析说明：去除RDD重复的元素，返
Anbang713·2018-08-11 18:49

Spark中distinct、reduceByKey和groupByKey的区别与取舍

1.代码实例：a.valrdd=sc.makeRDD(Seq("aa","bb","cc","aa","cc"),1)//对RDD中的元素进行去重操作rdd.distinct(1).collect().foreach(println)rs:aabbccb.valrdd:RDD[(String,Int)]=sc.makeRDD(Seq(("aa",1),("bb",1),("cc",1),("aa"
止鱼·2018-07-30 21:58

Spark程序优化总结

1代码优化a.对于多次使用的RDD，进行数据持久化操作(eg:cache、persist)b.如果对同一个份数据进行操作，那么尽量公用一个RDDc.优先使用reduceByKey和aggregateByKey
xiaodf·2018-06-15 15:42

Spark程序优化总结

1代码优化a.对于多次使用的RDD，进行数据持久化操作(eg:cache、persist)b.如果对同一个份数据进行操作，那么尽量公用一个RDDc.优先使用reduceByKey和aggregateByKey
xiaodf·2018-06-15 15:42

Spark离线计算优化——增量小数据集更新全量大数据集

有两个k-v格式的RDD需要union之后再进行reduceByKey操作（如：要将每日增量几十万的数据更新到全量几亿的数据）优化方案：先将两个RDD公共部分提取出来，然后将公共部分先union再进行reduceByKey
zx_love·2018-06-06 18:44

【菜鸟系列】spark常用算子总结（scala、java）--groupByKey，reduceByKey

groupByKey和reduceByKey是常用的聚合函数，作用的数据集为PairRDDscalareduceByKey函数原型defreduceByKey(partitioner:Partitioner
Java_Soldier·2018-06-05 15:41

spark rdd---checkpoint机制

cache.valrdd1=sc.textFile("hdfs://master:9000/wordcount/input")valrdd2=rdd1.flatMap(_.split("")).map((_,1)).reduceByKey
zzd0007·2018-05-27 17:52

大数据二

combineByKey函数通过以下三个函数参数实现reduceByKey。createCombiner()--用于产生累加器键的初值。比如lambdax:(x,1))。
J_songchao·2018-05-14 16:21

Spark笔记整理（六）：Spark高级排序与TopN问题揭密

如下：scala>valretRDD=sc.textFile("hdfs://ns1/hello").flatMap(_.split("")).map((_,1)).reduceByKey(_+_)scala
xpleaf·2018-04-28 11:50

Spark2.3 RDD之 distinct 源码浅谈

*/defdistinct(numPartitions:Int)(implicitord:Ordering[T]=null):RDD[T]=withScope{map(x=>(x,null)).reduceByKey
DPnice·2018-04-26 18:39

Spark性能优化：数据倾斜调优

数据倾斜解决方案解决方案一：使用HiveETL预处理数据解决方案二：过滤少数导致倾斜的key解决方案三：提高shuffle操作的并行度解决方案四：两阶段聚合（局部聚合+全局聚合）方案适用场景：对RDD执行reduceByKey
FisherWang_CN·2018-04-24 16:24

大数据面试题集锦(二)

cache不是action操作2.reduceByKey是不是action？答：不是，很多人都会以为是action，reduce rdd是action3.数据本地性是在哪个环节确定的？
Zzreal·2018-04-20 00:00

数据倾斜解决方案

你在自己的程序里面找找，哪些地方用了会产生shuffle的算子，groupByKey、countByKey、reduceByKey、join。
赤焰123·2018-04-10 11:47

Spark核心RDD：combineByKey函数详解

诸如groupByKey,reduceByKey等等如下给出combineByKey的定义，其他的细节暂时忽略(1.6.0版的函数名更新为combineByKeyWithClassTag)[java]viewplaincopydefcombineByK
devcy·2018-04-04 15:02

10 shuffle调优原理概述-性能优化

在spark中，最主要是以下几个算子：groupByKey，reduceByKey，countByKey,join等什么是shuffle？
hery_csnd168·2018-03-12 15:39

spark shuffle过程

1.SparkShuffle1.SparkShuffle概念reduceByKey会将上一个RDD中的每一个key对应的所有value聚合成一个value，然后生成一个新的RDD，元素类型是对的形式，这样每一个
gerry.tan·2018-01-19 11:01

spark算子运算

运行sc.textFile(“hdfs://centos701:9000/wc”).flatMap(.split(”“)).map((,1)).reduceByKey(+).sortBy(_._2,false
lc900730·2017-12-10 13:04

Spark算子[07]：reduce，reduceByKey，count，countByKey

算子reduce，reduceByKey，count，countByKey可分为两类：action操作：reduce，count，countByKeytransformation操作：reduceByKey1
生命不息丶折腾不止·2017-12-08 15:57

Spark性能调优：合理设置并行度

Application对应多个Jobs，一个action操作（比如collect）触发一个job，在WordCount程序中有一个job，每个job拆成多个stage（发生shuffle的时候回拆分出一个stage），reduceByKey
生命不息丶折腾不止·2017-11-30 11:01

简单搞定spark的shuffle流程

reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等操作。
白枭·2017-11-26 15:43

Spark实现Hadoop简单实例

而在Spark中具有更加丰富的操作，增加了reduceBykey、union、distinct等近十种操作，同时匿名函数以及流式处理的方式使得很多实例的实现仅仅需要一行代码，对于代码的编写者来说
廿半·2017-11-02 17:40

spark2.x由浅入深深到底系列六之RDD api reduceByKey与foldByKey对比

学习spark任何知识点之前，最好先正确理解spark，可以参考：正确理解spark一、序言对于key-value类型RDD的两个api，reduceByKey与foldByKey，我们往往只是简单的知道它们不同的点就是
tangweiqun·2017-09-19 23:24

spark2.2.0源码学习过程记录：Day4

节作业提交我也使用简单的WordCount例子sc.textFile("/hdfs-site.xml").flatMap(line=>line.split("")).map(word=>(word,1)).reduceByKey
猫耳山大王·2017-09-02 16:21

spark2.2.0源码学习过程记录：Day4

节作业提交我也使用简单的WordCount例子sc.textFile("/hdfs-site.xml").flatMap(line=>line.split("")).map(word=>(word,1)).reduceByKey
猫耳山大王·2017-09-02 16:21

Spark性能优化总结

1.Stage在进行shuffle操作时，如reduceByKey、groupByKey，会划分新的stage。同一个stage内部使用pipeline进行执行，效率较
gongpulin·2017-08-27 23:26

Spark源码之reduceByKey与GroupByKey

Spark中针对键值对类型的RDD做各种操作比较常用的两个方法就是ReduceByKey与GroupByKey方法，下面从源码里面看看ReduceByKey与GroupByKey方法的使用以及内部逻辑。
逃出你的肖生克·2017-07-26 09:15

spark的aggregateByKey简单用法

问题：求key只出现一次的数据，如果用groupByKey或reduceByKey很容易就做出来了，现在用aggregateByKey求解一下。
鲍礼彬·2017-07-25 22:07

Spark 简单的wordcount

sc.textFile("/input/words.txt").flatMap(line=>line.split("")).map(word=>(word,1)).reduceByKey((x,y)=>
RoronoaZoro丶·2017-07-21 09:57

groupByKey 和reduceByKey 的区别

reduceByKey进行shuffle之前会先做合并,这样就减少了shuffle的io传送，所以效率高一点。
守猫de人·2017-07-14 10:28

Saprk数据倾斜七解决方案（三）

4、双重聚合方案适用场景：对RDD执行reduceByKey等聚合类shuffle算子或者在SparkSQL中使用groupby语句进行分组聚合时，比较适用这种方案。
MLlib_fiy·2017-03-15 17:11

Spark对OOM问题的解决方法及优化

shuffle后内存溢出的shuffle操作包括join，reduceByKey，repartition等操作。
bingo_liu·2017-03-09 14:36

Spark算子选择策略

摘要1.使用reduceByKey/aggregateByKey替代groupByKey2.使用mapPartitions替代普通map3.使用foreachPartitions替代foreach4.使用
chenjieit619·2016-12-01 14:43

reduceByKey与groupByKey的区别

针对pairRDD这样的特殊形式，spark中定义了许多方便的操作，今天主要介绍一下reduceByKey和groupByKey，因为在接下来讲解《在spark
霄嵩·2016-10-19 12:34

Spark核心RDD：combineByKey函数详解

诸如groupByKey,reduceByKey等等如下给出combineByKey的定义，其他的细节暂时忽略(1.6.0版的函数名更新为combineByKeyWithClassTag)defcombineByKey
PJ-Javis·2016-09-14 16:35

Learning Spark 笔记(七) -- 受益于分区的操作

以reduceByKey为例子，reduceByKey是在本地归约后再发送到一个主机上再进行归约。如果父RDD是有分区信息的，那么就可能只会在本地归约了，而不会再跨网络发送到其它主机上。
BlockheadLS·2016-08-30 17:12

spark重要的几个算子

阅读更多spark中有几个算子比较重要，开发中不是很常用，但很多算子的底层都是依靠这几个算子实现的，比如CombineByKey，像reduceByKey底层是combineByKey实现的。
字母哥·2016-08-21 17:00

解决spark中遇到的数据倾斜问题

二.数据倾斜的原因常见于各种shuffle操作，例如reduceByKey,groupByKey,join等操作。
breeze_lsw·2016-07-25 17:26
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他