SparkContext

Spark 源码分析（三）: SparkContext 初始化之 TaskScheduler 创建与启动

前面已经分析到了driver进程成功在某台worker上启动了，下面就开始执行我们写的那些代码了。以一个wordcount程序为例，代码如下：valconf=newSparkConf().setAppName("WordCount").setMaster("local")valsc=newSparkContext(conf)vallines=sc.textFile("./file/localfil
stone_zhu·2021-06-19 18:17

实时计算框架：Spark集群搭建与入门案例

2、运行结构Driver运行Spark的Applicaion中main()函数，会创建SparkContext，SparkContext负责和Cluster-Manager
·2021-06-18 21:27

两种类型的算子：transformation和actio

{SparkConf,SparkContext}objectSparkRDDTest{defmain(args:Array[String]):Unit={valconf=newSparkConf().setAppName
lehuai·2021-06-12 04:33

2RDD编程

sc.textFile用于从文件中读取，sc.parallelize用于python对象生成rdd1.1通过文件系统加载产生Spark的SparkContext通过textFile()读取数据生成内存中的
barriers·2021-06-09 04:45

Spark源码解析(二):SparkContext内部执行流程

SparkContext内部执行的时序图对于这个时序图的具体描述如下:1.SparkSubmit在main()方法中执行，然后根据提交的类型调用相应的方法，这里是"Submit"，调用submit()方法
Java技术范·2021-06-05 00:17

spark应用执行流程

.Spark的应用执行机制用户提交一个Application到Spark集群执行的基础流程如下图所示：image.png(1)Driver进程启动，构建SparkApplication的运行环境（启动SparkContext
谢谢侬侬侬·2021-06-04 07:48

notebook报错NameError: name ‘sc‘ is not defined解决

关于在notebook中报错的一个问题的解决报错如下：NameErrorTraceback(mostrecentcalllast)in---->1sc.stop()2importrandom3sc=SparkContext
不会止步于编程·2021-05-31 22:52

windowns使用PySpark环境配置和基本操作

pipinstallpyspark基本使用可以在shell终端，输入pyspark，有如下回显：输入以下指令进行测试，并创建SparkContext，SparkContex
·2021-05-17 15:20

RDD:弹性分布式数据集

1.RDD解析分布式：数据的来源数据集：数据的类型&计算逻辑的封装（类似数据模型）弹性：抽象类abstractclassRDD[T:ClassTag](@transientprivatevar_sc:SparkContext
比格肖·2021-05-16 10:27

【Spark】RDD操作详解4——Action算子

本质上在Actions算子中通过SparkContext执行提交作业的runJob操作，触发了RDDDAG的执行。
JasonDing·2021-05-13 09:51

Spark读取csv，json文件

spark读取文件一.读取csv文件1.用sparkContext读文件2.用sparkSession读文件3.去除表头mapPartitionsWithIndexfilter4.查询语句（DataFrame
小陈菜奈-·2021-05-12 23:55

Spark读取csv、json文件

{SparkConf,SparkContext}
珹先生·2021-05-11 21:57

（转）Spark常用算子讲解

2）Action行动算子：这类算子会触发SparkContext提交Jo
达微·2021-05-10 02:10

spark源码之SparkContext

//初始化spark配置privatevar_conf:SparkConf=_privatevar_eventLogDir:Option[URI]=Noneprivatevar_eventLogCodec:Option[String]=Noneprivatevar_listenerBus:LiveListenerBus=_//初始化spark环境，SparkEnv下文详细介绍privatevar_
cclucc·2021-05-03 04:25

Spark 使用笔记

pyspark使用总结配置SparkContextfrompysparkimportSparkContextfrompysparkimportSparkConf#SparkContext配置初始化conf
slowrabbit·2021-05-02 16:01

16.Spark Streaming源码解读之数据清理机制解析

SparkStreaming****数据清理过程详解三、****SparkStreaming****数据清理的触发机制SparkStreaming不像普通Spark的应用程序，普通Spark程序运行完成后,中间数据会随着SparkContext
飞帅记忆·2021-04-26 22:05

Spark ShuffleMap任务的生成、执行及数据跟踪流程

中的一个可以用户计算的数据集，被抽象成了一个RDD，如下是RDD的类定义（这里只保留了类中关键的成员变量）：abstractclassRDD[T:ClassTag](@transientprivatevar_sc:SparkContext
Dreammmming Time·2021-04-22 22:22

Spark Multi Tenancy系列 - 5 集成spark-authorizer权限控制组件

likeMulti-tenancySparkThriftServerSupportingImpersonationandMulti-SparkContexthttps://github.com/yaooqinn/multi-tenancy-spark原有特性支持静态和动态两种多租户模式（TestonlyOnYARN)支持SparkContext
Kent_Yao·2021-04-20 08:06

spark task与stage数量过多调优

首先job的划分是遇到action操作时，被发现后经过sparkcontext的runjob方法来到DAGschedul
机器不能学习·2021-04-19 09:17

大数据开发-从cogroup的实现来看join是宽依赖还是窄依赖

{SparkConf,SparkContext}objectJoinDemo{defmain(args:Array[String]):Unit={valconf=newSpa
·2021-02-13 01:38

大数据开发-从cogroup的实现来看join是宽依赖还是窄依赖

{SparkConf,SparkContext}objectJoinDemo{defmain(args:Array[String]):Unit={valconf=newSpa
·2021-02-13 01:04

关于Spark入门的第一个wordcount代码详解

{SparkConf,SparkContext}/***@authorliuafu*@dat
刘啊福·2021-01-20 15:16

大数据框架之Spark

1）启动SparkContext或SparkSession，将用户程序转化为作业（J
huangsongwei·2021-01-20 12:54

Spark基础（一）：作业执行流程

文章目录Spark执行流程Spark执行流程提交应用程序Application（包括Driver代码和Executor代码）启动Driver，创建SparkContext对象，并加载配置信息、依赖信息和代码
XavierYen·2021-01-06 03:49

[Spark源码剖析] JobWaiter

职责等待DAGSchedulerjob完成，一个JobWaiter对象与一个job唯一一一对应一旦task完成，将该task结果填充到SparkContext.runJob创建的results数组中构造函数
牛肉圆粉不加葱·2020-12-30 13:25

Spark：作业提交流程以及提交方式

Driver上的SparkContext会创建task发送给Executor执行。
厨艺养成中·2020-11-29 13:46

pyspark的使用

文章目录一、连接pyspark先启动hadoop和spark创建SparkContext方式1：通过pyspark下的shell.py方式2：自行创建二、创建RDD并行集合sc.parallelize(
anonymox·2020-11-13 22:12

Spark加载CSV文件并移除首行，加载JSON并简单使用DataFrame

目录1、加载CSV数据源并移除首行1.1使用SparkContext1.2使用SparkSession2、加载JSON数据源并操作列2.1使用SparkContext2.2使用SparkSession2.3DataFrame
小财迷，嘻嘻·2020-11-12 20:24

Spark加载CSV和JSON文件（附在虚拟机中执行jar包）

目录加载CSV文件使用SparkContext装载CSV数据源使用SparkSession装载CSV数据源文件的修改重命名修改数据类型删除列加载JSON数据源SparkContext加载加载JSONSparkSession
小五家的二哈·2020-11-12 15:47

Spark-Core ——上篇

3.2Hadoop和Spark的区别二、常见Api1.SparkConf1.1作用1.2创建1.3常见方法2.SparkContext(帮忙提交driver)2.1作用2.2创建2.3常见方法2.4WordCount
平平无奇小码农·2020-10-21 16:42

Livy探究(七) -- 编程接口分析

与REPL不同的是，ProgrammaticAPI提供了在一个“已经存在”的SparkContext上执行处理程序的机制。
P_Chou水冗·2020-10-10 01:04

Livy探究(七) -- 编程接口分析

与REPL不同的是，ProgrammaticAPI提供了在一个“已经存在”的SparkContext上执行处理程序的机制。
P_Chou水冗·2020-10-10 00:07

Spark Driver Program剖析

SparkContext是通往Spark集群的唯一入口，是整个Application运行调度的核心。
|旧市拾荒|·2020-09-19 15:00

Jackson 的JAR包冲突问题

maven编译过程中发现报出了如下的错误：Exceptioninthread"main"java.lang.ExceptionInInitializerErroratorg.apache.spark.SparkContext.withScope
小宇宙丶·2020-09-17 12:13

Spark读取文本文档创建DataFrame, 通过RDD转换成DataFrame, 通过SparkSession构建DataFrame 20

hivesql语句操作hive表数据,兼容hive操作,并且hiveContext继承自SQLContext.在Spark2.0之后,这些都统一于SparkSession.SparkSession封装了SparkContext
啊策策·2020-09-17 07:23

DStream操作实战:4.SparkStreaming开窗函数统计一定时间内的热门词汇

{SparkConf,SparkContext}importorg.apache.spark.rdd.RDDimportorg.apache.spark.streaming.
NicholasEcho·2020-09-17 06:50

《深入理解Spark-核心思想与源码分析》（三）第三章SparkContext的初始化

3.1SparkContext概述SparkConf负责配置参数，主要通过ConcurrentHaspMap来维护各种Spark的配置属性。
weixin_30925411·2020-09-17 03:38

py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils... does not exist in the JVM

frompysparkimportSparkContextfrompysparkimportSparkConfconf=SparkConf().setAppName("miniProject").setMaster("local[*]")sc=SparkContext.getO
Tina_1024·2020-09-17 03:35

【spark】pyspark错误记录

mostrecentcalllast):File"/Users/dingguangwei03/Documents/kuaishou-python/spark-test/test5.py",line16,insc=SparkContext
断桥残雪D·2020-09-17 02:30

spark 根据关键字查询日志信息（关键字下行10行）

{SparkContext,SparkConf}classmylog{}objectmylog{defmain(args:Array[String]){//没有数据源，退出if(args(0)==0){
撸依天·2020-09-17 02:22

Spark启动过程中遇到的错误 ./spark-shell --master spark://node001:7077

20/02/2019:52:17ERRORspark.SparkContext:ErrorinitializingSparkContext.java.lang.IllegalArgumentException
qq_34072169·2020-09-17 02:19

sparkDataFrame 与pandas中的DataFrame转换

2.对于pandas中的DataFrame，想要转换为spark类型的，使用sqlContext=SQLContext（SparkContext（）），sparkContext=sqlContext.createDa
danyuxuan·2020-09-17 02:46

Spark 运行架构核心理解总结

Spark的提交方式有三种{1.yarn-cluster提交模式2.yarn-client提交模式3.Standalone}）3.Driver：运行应用程序（Application）的main函数和创建SparkContext
小夙o·2020-09-16 13:10

Spark算子

2）Action行动算子：这类算子会触发SparkContext提交Job作业。Action算子会触发Spa
leehsiao·2020-09-16 11:56

关于Spark on Yarn的一些经历

1、ERRORspark.SparkContext:ErrorinitializingSparkContextorg.apache.spark.SparkException:Yarnapplicationhasalreadyended
beixiahuaideren·2020-09-16 08:48

RDD转换DataFrame&SparkSql操作数据源&跨数据源join&SparkSql与DF和DS的比较&spark元数据:catalog

RDD转换DataFrame方式1：使用反射来推断包含特定对象类型的RDD的模式definferReflection(spark:SparkSession)={valrdd=spark.sparkContext.textFile
jim8973·2020-09-16 05:52

spark的转换算子操作

{Partition,SparkConf,SparkContext}importorg.junitimportorg.junit.
路遥车慢·2020-09-16 00:09

spark转换算子求交集SCALA实现（insertsection）

{SparkConf,SparkContext}importorg.apache.spark.rdd.RDDobjectMyTransformation_scala_3{defmyInsertsection
WJN不忘初心·2020-09-16 00:27

spark常见转换算子（transformation）的操作

{SparkConf,SparkContext}importorg.apache.spark.rdd.RDDimportscala.collection.mutable.ArrayBuffer//常见转换算子
小丁的鱼·2020-09-16 00:03

RDD

RDD概述一.什么是RDD二.spark编程模型1.DataSource2.SparkContext3.Diver（1）SparkConf（2）SparkEnv（3）DAGScheduler（4）TaskScheduler
飛翔的大雁·2020-09-15 23:59
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他