WithScope

黑猴子的家：Spark RDD 行动算子 Action

1、reduce（1）原理通过f函数聚集RDD中的所有元素，这个功能必须是可交换且可并联的（2）源码defreduce(f:(T,T)=>T):T=withScope{valcleanF=sc.clean
黑猴子的家·2024-08-24 22:03

spark源码阅读——shuffle写

ShuffledRDDdefgroupBy[K](f:T=>K,p:Partitioner)(implicitkt:ClassTag[K],ord:Ordering[K]=null):RDD[(K,Iterable[T])]=withScope
WJL3333·2023-12-15 15:14

spark源码分析StatCounter以及用法

org.apache.spark.util包中如果是RDD[Double]可以通过隐式转化DoubleRDDFunctions来获得一些额外的功能，就比如能产生这个对象的.statsdefstats():StatCounter=self.withScope
达微·2023-04-01 13:39

join

和(K,W)的RDD上调用，返回一个相同key对应的所有元素对在一起的(K,(V,W))的RDD源码：defjoin[W](other:RDD[(K,W)]):RDD[(K,(V,W))]=self.withScope
比格肖·2023-03-28 17:48

Spark 常用算子及代码

sc.markRDDparallelize()源码defparallelize[T:ClassTag](seq:Seq[T],numSlices:Int=defaultParallelism):RDD[T]=withScope
coderrrrrrrrr·2023-03-17 13:35

textFile构建RDD的分区及compute计算策略

deftextFile(path:String,minPartitions:Int=defaultMinPartitions):RDD[String]=withScope{assertNotStopped
浪尖聊大数据-浪尖·2023-02-03 12:00

Spark 源码理解之withScope (含补充说明)

Spark源码理解之withScope在通过看RDD源码理解各算子的作用时,总能看到withScope,withScope到底是个什么东西?
yoshubom·2022-11-20 10:16

spark 算子例子_spark 算子详解 ------Action 算子介绍

*/defforeach(f:T=>Unit):Unit=withScope{valcleanF=sc.clean(f)sc.runJob(this,(iter:Iterator[T])=>iter.foreac
京城风四娘·2022-09-22 22:19

spark flatMap 使用

*/defflatMap[U:ClassTag](f:T=>TraversableOnce[U]):RDD[U]=withScope{valcleanF=sc.clean(f)newMapPartitionsRDD
pcqlegend·2021-06-09 13:33

【Spark Java API】Action(3)—foreach、foreachPartition、lookup

**源码分析：defforeach(f:T=>Unit):Unit=withScope{valcleanF=sc.clean(f)sc.runJob(this,(i
小飞_侠_kobe·2021-05-08 23:27

Jackson 的JAR包冲突问题

编译过程中发现报出了如下的错误：Exceptioninthread"main"java.lang.ExceptionInInitializerErroratorg.apache.spark.SparkContext.withScope
小宇宙丶·2020-09-17 12:13

isEmpty类型的action算子需要cache吗？

进入isEmpty方法defisEmpty():Boolean=withScope{partitions.length==0||take(1).length==0}如果
Wish大人·2020-08-20 17:53

isEmpty类型的action算子需要cache吗？

进入isEmpty方法defisEmpty():Boolean=withScope{partitions.length==0||take(1).length==0}如果
Wish大人·2020-08-20 17:53

《Apache Spark源码剖析》学习笔记之Spark作业提交

*/defforeach(f:T=>Unit):Unit=withScope{
漠小浅·2020-08-18 12:38

Spark源码学习之RDD的常见算子(2)

MapPartitionsRDD仔细来看，其实是创建了一个MapPartitionsRDD，iter是它的一个参数defflatMap[U:ClassTag](f:T=>TraversableOnce[U]):RDD[U]=withScope
JiajunBernoulli·2020-08-06 11:06

Spark源码学习之RDD的常见算子(1)

defdistinct():RDD[T]=withScope{disti
JiajunBernoulli·2020-08-06 11:05

结合Spark源码分析, combineByKey, aggregateByKey, foldByKey, reduceByKey

combineByKeydefcombineByKey[C](createCombiner:V=>C,mergeValue:(C,V)=>C,mergeCombiners:(C,C)=>C):RDD[(K,C)]=self.withScope
小帆的帆·2020-08-03 08:59

isEmpty类型的action算子需要cache吗？

进入isEmpty方法defisEmpty():Boolean=withScope{partitions.length==0||take(1).length==0}如果
Wish大人·2020-08-02 16:53

coalease 和 repartition的区别

coalesce英文翻译是联合合并defcoalesce(numPartitions:Int,shuffle:Boolean=false)(implicitord:Ordering[T]=null):RDD[T]=withScope
pcqlegend·2020-07-07 21:00

带你看懂Spark2.x源码之stage划分

先通过action算子，调用runjob()方法，例如foreach算子defforeach(f:T=>Unit):Unit=withScope{valcleanF=sc.clea
NoBugPro·2020-06-25 20:03

spark算子之reparation和coalesce

reparation和coalesce都是spark的基础算子defrepartition(numPartitions:Int)(implicitord:Ordering[T]=null):RDD[T]=withScope
codeBugCoder·2020-03-24 23:29

Spark 优化GroupByKey产生RDD[(K, Iterable[V])]

*/defmap[U:ClassTag](f:T=>U):RDD[U]=withScope{valcleanF=sc.clean(f)newMapPar
wangqiaoshi·2020-02-13 07:45

Spark 算子探究

*ClassTag只包含实际运行时的类的类型map属于transfomation*/defmap[U:ClassTag](f:T=>U):RDD[U]=withScope{
灯火gg·2019-12-31 10:28

spark coalesce和repartition的区别和使用场景

repartition底层调用的是coalesce方法，默认shuffledefrepartition(numPartitions:Int)(implicitord:Ordering[T]=null):RDD[T]=withScope
Alcesttt·2019-08-20 22:00

Spark源码拜读（一）

*/defmap[U:ClassTag](f:T=>U):RDD[U]=withScope{valcleanF=sc.clean(f)new
Wish大人·2019-06-27 00:00

sc.parallelize 获得的RDD分区是怎么划分的

方法分区相关核心代码defparallelize[T:ClassTag](seq:Seq[T],传入数据numSlices:Int=defaultParallelism分区数不传就是默认值):RDD[T]=withScope
潇洒-人生·2019-05-08 13:02

spark1.6源码-----任务提交与执行之任务提交

*///调用了sparkContext的runJob//返回一个Array集合defcollect():Array[T]=withScope{valresults=sc.runJob(this,(iter
qq_33872191·2018-12-23 09:16

【菜鸟系列】spark常用算子总结（scala、java）--groupByKey，reduceByKey

作用的数据集为PairRDDscalareduceByKey函数原型defreduceByKey(partitioner:Partitioner,func:(V,V)=>V):RDD[(K,V)]=self.withScope
Java_Soldier·2018-06-05 15:41

Spark2.3 RDD之 distinct 源码浅谈

*/defdistinct(numPartitions:Int)(implicitord:Ordering[T]=null):RDD[T]=withScope{map(x=>(x,null)).reduceByKey
DPnice·2018-04-26 18:39

Spark2.3 RDD之 filter源码解析

*/deffilter(f:T=>Boolean):RDD[T]=withScope{valcleanF=sc.clean(f)newMapPartitionsRDD[T,T](this,(context
DPnice·2018-04-26 17:30

Spark2.3 RDD之flatMap源码解析

*/defflatMap[U:ClassTag](f:T=>TraversableOnce[U]):RDD[U]=withScope{valcleanF=sc.clean(f)newM
DPnice·2018-04-26 14:23

scala语法在spark withScope上的应用

withSpout在spark中是用来做DAG可视化的，它在代码里的用法如下（以map为例，spark1.5.0版本）defmap[U:ClassTag](f:T=>U):RDD[U]=withScope
lzwang2·2018-01-03 23:16

spark RDD join的核心过程

defjoin[W](other:RDD[(K,W)],partitioner:Partitioner):RDD[(K,(V,W))]=self.withScope{this.cogroup(other
gaoshui87·2017-10-18 14:18

spark之transform和action

1.tranformationmapmap实现如下:defmap[U:ClassTag](f:T=>U):RDD[U]=withScope{valcleanF=sc.clean(f)newMapPartitionsRDD
aaron1993·2017-08-06 12:08

spark源码阅读笔记RDD（四）RDD中WithScope是什么？

withScope是最近的发现版中新增加的一个模块，它是用来做DAG可视化的（DAGvisualizationonSparkUI）以前的sparkUI中只有stage的执行情况，也就是说我们不可以看到上个
legotime·2016-05-01 07:00

spark transform系列__groupByKey

这个操作的作用根据相同的key的所有的value存储到一个集合中的一个玩意.def groupByKey(): RDD[(K, Iterable[V])] = self.withScope {  groupByKey
hongs_yang·2016-01-31 13:40

spark transform系列__Cartesian

RDD的结果集为空集时,这个结果集也是一个空集.这个操作不会执行shuffle的操作.def cartesian[U: ClassTag](other: RDD[U]): RDD[(T, U)] = withScope
u014393917·2016-01-28 18:00

spark transform系列__intersection

实现代码: def intersection(other: RDD[T]): RDD[T] = withScope {这里首先执行对第一个rdd的map操作,执行完成map操作后,新
u014393917·2016-01-28 17:00

spark transform系列__groupByKey

这个操作的作用根据相同的key的所有的value存储到一个集合中的一个玩意.def groupByKey(): RDD[(K, Iterable[V])] = self.withScope {  groupByKey
u014393917·2016-01-28 11:00

《Apache Spark源码剖析》学习笔记之Spark作业提交

*/defforeach(f:T=>Unit):Unit=withScope{
u011263983·2015-12-07 22:00

RDD 可视化 —— RDDOperationScope.withScope

旧版本是：defmapU:ClassTag:RDD[U]=newMappedRDD(this,sc.clean(f))1.5版本是：defmap[U:ClassTag](f:T=>U):RDD[U]=withScope
徐软件·2015-10-02 17:00

从scope说起

阅读更多预计将从scope说起以便理解Rails2.3支持的default_scope和default_scope如何支持，标识删除http://errtheblog.com/posts/39-withscope-with-scopehttp
夜鸣猪·2009-03-27 00:00

从scope说起

以便理解Rails 2.3支持的default_scope   和default_scope如何支持，标识删除   http://errtheblog.com/posts/39-withscope-with-scope
夜鸣猪·2009-03-27 00:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他