ClassTag

Spark源码学习之RDD的常见算子(2)

MapPartitionsRDD仔细来看，其实是创建了一个MapPartitionsRDD，iter是它的一个参数defflatMap[U:ClassTag](f:T=>TraversableOnce[
JiajunBernoulli·2020-08-06 11:06

RDD的分区计算-mapPartitions

mapPartitions的输入函数是应用于每个分区，也就是把每个分区的内容作为整体来处理的：defmapPartitions[U:ClassTag](f:Iterator[T]=>Iterator[U
小白programmer·2020-08-04 05:39

django admin下拉列表不显示值，显示为object的处理

本文转载—djangoadmin下拉列表不显示值，显示为object的处理感谢博主返回主页朝阳的向日葵问题尝试了多种办法无果，最后看到了上面的博客，处理办法是修改models.py，原来的model:classTag
雪练倾河·2020-08-01 01:22

Spark Core源码分析: RDD基础

RDDRDD初始参数：上下文和一组依赖abstractclassRDD[T:ClassTag](@transientprivatevarsc:SparkContext,@transientprivatevardeps
iteye_13202·2020-07-31 18:11

RDD应用API---parallelize、Array、reduce、distinct、filter

图片来源：梁洪亮老师的课件代码来源：SparkMLlib机器学习实践王晓华parallelizedefparallelize[T:ClassTag](seq:Seq[T],numSlices:Int=defaultParallelism
谛听-·2020-07-28 13:07

Spark源码阅读-KafkaRDD

官网翻译：基于batch的用于消费kafka消息的接口classKafkaRDD[K:ClassTag,V:ClassTag,UR)extendsRDD[R](sc,Nil)withLoggingwithHasOffsetRanges
pcqlegend·2020-07-27 18:11

spar 内存存储 MemoryStore

MemoryEntryprivatesealedtraitMemoryEntry[T]{defsize:Long//当前块的大小defmemoryMode:MemoryMode//block存入内存的内存模式defclassTag:ClassTag
better_mouse·2020-07-13 03:49

django 添加模型后 admin中界面显示为对象

如图，我们在此处期望的应该为一个名字,或者其他我们看得懂的名称解决方法，在models.py中，对应的类下添加classTag(models.Model):tag_name=models.CharField
昨天丶今天丶明天·2020-07-11 20:38

Spark Pregel参数说明

Spark中的Pregel定义如下：defpregel[A:ClassTag](initialMsg:A,maxIteration
weixin_34245749·2020-07-10 08:59

Graphx中pregel详解及具体应用分析（以最短路径为例）

Spark中的Pregel定义如下：defpregel[A:ClassTag](initialMsg
贪狼切·2020-07-10 03:02

Graph ~6:Pregel框架

graphPregel框架pregel函数源码与各个参数介绍：案例：求顶点5到其他各顶点的pregel原理分析pregel函数源码与各个参数介绍：defpregel[A:ClassTag](initialMsg
蔡大远·2020-07-09 14:06

Graphx中pregel详解及具体应用分析（以PageRank为例）

Spark中的Pregel定义如下：defpregel[A:ClassTag](initialMsg
buptdavid·2020-07-09 07:36

Apache Spark-1.0.0浅析（四）：资源调度——Stage划分和提交

回到dagScheduler.runJob，submit提交作业返回waiter，waiter.awaitResult阻塞线程，判断Job是否执行成功defrunJob[T,U:ClassTag](rdd
weixin_30472035·2020-07-08 13:44

ManyToManyField

classUser(models.Model):username=models.CharField(max_length=108)classTag(models.Model):title=models.CharField
bus_lupe·2020-07-01 19:12

ClassTag、Manifest、ClassManifest、TypeTag

defmain(args:Array[String]){//从理论上讲，创建一个泛型Array是不可能的，但是可以借助Manifest实现//用Manifest[T]的隐式值，保存运行时T的信息，在实际运行时，作为一个参数作用在方法运行的上下文中defarrayMake[T:Manifest](first:T,second:T)={valr=newArray[T](2);r(0)=first;r(
maolazhu·2020-06-25 01:08

理解Spark RDD中的aggregate函数

首先，Spark文档中aggregate函数定义如下defaggregate[U](zeroValue:U)(seqOp:(U,T)⇒U,combOp:(U,U)⇒U)(implicitarg0:ClassTag
飞鸿踏雪Ben归来·2020-06-24 22:48

python基础——属性访问

classTag(object):def__init__(self,**kwargs):ifkwargs.has_key('title'):self.title=kwargs['title']defget_title
yangyangrenren·2020-03-23 00:53

django-blog:多对多查询

简单写一下多对多查询model不是多对多的字段我就没写上来的classTag(models.Model):name=models.CharField(max_length=20,verbose_name
子钦加油·2020-03-02 23:00

PairRDD中算子aggregateByKey图解

原型：defaggregateByKey[U:ClassTag](zeroValue:U,partitioner:Partitioner)(seqOp:(
明翼·2020-02-25 03:40

Spark 优化GroupByKey产生RDD[(K, Iterable[V])]

*/defmap[U:ClassTag](f:T=>U):RDD[U]=withScope{valcleanF=sc.clean(f)newMapPar
wangqiaoshi·2020-02-13 07:45

django-blog:多对多查询

简单写一下多对多查询model不是多对多的字段我就没写上来的classTag(models.Model):name=models.CharField(max_length=20,verbose_name
子钦加油·2020-01-09 20:00

django-blog:多对多查询

简单写一下多对多查询model不是多对多的字段我就没写上来的classTag(models.Model):name=models.CharField(max_length=20,verbose_name
子钦加油·2020-01-09 20:00

Spark RDD 函数大全（21-30）

zipdefzipU(implicitarg0:ClassTag[U]):RDD[(T,U)]zip函数用于将两个RDD组合成Key/Value形式的RDD,这里默认两个RDD的partition数量以及元素数量都相同
起个什么呢称呢·2020-01-02 15:00

Spark 算子探究

*ClassTag只包含实际运行时的类的类型map属于transfomation*/defmap[U:ClassTag](f:T=>U):RDD[U]=withScope{
灯火gg·2019-12-31 10:28

Djang2.0实战博客项目

Django博客的数据库模型1.5.1设计博客的数据库表结构分类模型classCategory(models.Model):name=models.CharField(max_length=100)标签模型classTag
qiubite·2019-12-30 23:58

Spark 算子：RDD Action -1

1.aggregatedefaggregate[U](zeroValue:U)(seqOp:(U,T)⇒U,combOp:(U,U)⇒U)(implicitarg0:ClassTag[U]):Uaggregate
Codlife一王家二公子·2019-12-30 14:36

Spark 2.2.1 使用JDBC 操作其他数据库的案例与解读

从Java或Python也更容易使用JDBC数据源，因为它不需要用户提供ClassTag。(注意，这和使用SparkJDBC
段智华·2019-09-26 18:32

Django 注意知识点（一）

本篇概述DjangoAdmin后台显示多对多字段（如何）Django模板显示多对多字段（如何）Django将表单中上传的多对多字段存入数据库（如何）Django上传文件(如何)models代码背景1classTag
小喵钓鱼·2019-08-23 22:00

Spark源码拜读（一）

*/defmap[U:ClassTag](f:T=>U):RDD[U]=withScope{valcleanF=sc.clean(f)new
Wish大人·2019-06-27 00:00

Spark每日半小时（26）——数据源：JDBC到其他数据库、故障排除

JDBC数据源也更易于使用Java或Python，因为它不需要用户提供ClassTag。（注意，这与SparkSQLJDBC服务器不同，后者允许其他应用程序使用SparkSQL运行查询
DK_ing·2019-06-26 12:36

sc.parallelize 获得的RDD分区是怎么划分的

sc.parallelize数据分区划分1.parallelize方法分区相关核心代码defparallelize[T:ClassTag](seq:Seq[T],传入数据numSlices:Int=defaultParallelism
潇洒-人生·2019-05-08 13:02

(转)GraphX源码解析（Graph构建过程）

1.构建图的方法从边的集合构建图（Graph.fromEdges）deffromEdges[VD:ClassTag,ED:ClassTag](edges:RDD[Edge[ED]],defaultValue
达微·2019-02-12 16:01

十.SparkSQL之外部数据源操作mysql表数据

JDBC数据源也更易于使用Java或Python，因为它不需要用户提供ClassTag。（请注意，这与SparkSQLJDBC服务器不同，后者允许其他应用程序使用SparkSQL运
飞翔的小宇宙·2018-10-15 11:44

Spark算子：transformation之zip、zipPartitions

1、zip：defzip[U](other:RDD[U])(implicitarg0:ClassTag[U]):RDD[(T,U)]该函数用于将两个RDD组合成Key/Value形式的RDD，两个RDD
cleargy·2018-09-20 16:07

Spark算子：transformation之mapPartitions、mapPartitionsWithIndex

：defmapPartitions[U](f:(Iterator[T])=>Iterator[U],preservesPartitioning:Boolean=false)(implicitarg0:ClassTag
cleargy·2018-09-20 15:47

spark RDD创建方式：parallelize，makeRDD，textFile

1defparallelize[T](seq:Seq[T],numSlices:Int=defaultParallelism)(implicitarg0:ClassTag[T]):RDD[T]-第一个参数一是一个
hellozhxy·2018-08-31 09:10

SparkSQL-JDBC 连接其它数据库

JDBC数据源也更容易从Java或Python使用，因为它不需要用户提供ClassTag。（请注意，这不同于SparkSQLJDBC服务器，允许其他应用程序使用SparkSQL运行查询）。
Anbang713·2018-08-22 08:24

spark常用算子-action

sparkaction常用算子类型如下：1.aggregate[U:ClassTag](zeroValue:U)(seqOp:(U,T)=>U,combOp:(U,U)=>U):U：算子中参数zeroValue
无问昨天与明天·2018-07-25 00:00

Spark2.3 RDD之flatMap源码解析

*/defflatMap[U:ClassTag](f:T=>TraversableOnce[U]):RDD[U]=withScope{valcleanF=sc.clean(f)newM
DPnice·2018-04-26 14:23

RDD之flatMap与Map对比

定义首先我们列出flatMap与Map的定义，可参考RDDAPIdefmap[U](f:(T)⇒U)(implicitarg0:ClassTag[U]):RDD[U]ReturnanewRDDbyapplyingafunctiontoallelementsofthisRDD.defflatMap
mingwar·2018-03-21 17:09

scala语法在spark withScope上的应用

withSpout在spark中是用来做DAG可视化的，它在代码里的用法如下（以map为例，spark1.5.0版本）defmap[U:ClassTag](f:T=>U):RDD[U]=withScope
lzwang2·2018-01-03 23:16

【云星数据---Apache Flink实战系列(精品版)】：Apache Flink批处理API详解与编程实战004--DateSet实用API详解004

mapPartitiondefmapPartition[R](fun:(Iterator[T])⇒ TraversableOnce[R])(implicitarg0:TypeInformation[R],arg1:ClassTag
云星数据-大数据团队·2017-11-15 13:57

spark aggregate函数详解

1.先看看aggregate的函数签名在spark的源码中，可以看到aggregate函数的签名如下：defaggregate[U:ClassTag](zeroValue:U)(seqOp:(U,T)=
bitcarmanlee·2017-09-25 18:39

SparkContext#runJob方法中func函数的作用

上运行的函数(不是我们Spark具体的计算逻辑),该函数一般是Driver用来收集结果的*@tparamT*@tparamU*@return返回func在rdd运行的结果*/defrunJob[T,U:ClassTag
javartisan·2017-08-11 10:27

Scala关于ClassTag 、Manifest、ClassManifest、TypeTag的使用

Scala中ClassTag、Manifest、ClassManifest、TypeTag是描述运行时类型信息的，由于Scala是运行在JVM之上的，所以首选需要从JVM说起。
javartisan·2017-08-10 10:26

spark之transform和action

1.tranformationmapmap实现如下:defmap[U:ClassTag](f:T=>U):RDD[U]=withScope{valcleanF=sc.clean(f)newMapPartitionsRDD
aaron1993·2017-08-06 12:08

Spark RDD的aggregate算子

aggregate算子签名：defaggregate[U:ClassTag](zeroValue:U)(seqOp:(U,T)=>U,combOp:(U,U)=>U):U=withScopezeroValue
javartisan·2017-06-09 22:55

spark读取mongodb

关键看你的spark的使用版本，第三方依赖包的下载见mongodb官网defload[D:ClassTag](sc:SparkContext,readConfig:ReadConfig)(implicite
九指码农·2017-03-16 16:48

Spark算子

:"大数据"RDD创建操作parallelizedefparallelize[T](seq:Seq[T],numSlices:Int=defaultParallelism)(implicitarg0:ClassTag
duval·2017-03-14 12:19

java类中方法和变量的定义顺序

比如如下的java程序：classTag{Tag(intmarker){System.out.println("Tag("+marker+")");}}classCard{Tagt1=newTag(1)
WilliamSun0122·2017-03-01 21:58
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他