sparkcontext

spark创建空dataframe

**@since2.0.0*/@transientlazyvalemptyDataFrame:DataFrame={createDataFrame(sparkContext.
bitcarmanlee·2023-04-21 18:12

1.Spark Submit任务提交

在集群上的运行方式.pngSpark在集群上的运行方式及相关概念Spark应用程序在集群上以独立的进程集运行，整个的任务执行过程如下：用户提交编写的程序（DriverProgram），Driver初始化SparkContext
laungcisin·2023-04-21 14:50

Spark源码：创建TaskScheduler和DAGScheduler

源码目录初始化SparkContext时，会创建TaskScheduler和DAGScheduler。
Jorvi·2023-04-20 13:44

【spark使用】1.SparkContext、SparkSession

初始化SparkContextSparkConfconf=newSparkConf().setMaster("local").setAppName("MyApp");JavaSparkContextsc=newJavaSparkContext(conf);初始化SparkSessionSparkSessionsparkSession=SparkSession.builder().master("l
GAMESLI-GIS·2023-04-20 12:05

Spark源码：Job的Stage划分

程序入口varconf:SparkConf=newSparkConf().setAppName("SparkJob_Demo").setMaster("local[*]");valsparkContext:SparkContext
Jorvi·2023-04-20 02:25

大数据技术学习代码纪录——Spark

{SparkConf,SparkContext}/***功能：计算总分*作者：sherry*日期：2023年04月11
猫腻余腥·2023-04-19 09:50

Spark源码：提交Tasks

程序入口varconf:SparkConf=newSparkConf().setAppName("SparkJob_Demo").setMaster("local[*]")valsparkContext:SparkContext
Jorvi·2023-04-19 08:59

spark中读取路径下的多个文件（spark textFile读取多个文件）

简单读取文件valspark=SparkSession.builder().appName("demo").master("local[3]").getOrCreate()//读取hdfs文件目录spark.sparkContext.textFile
行走荷尔蒙·2023-04-17 06:36

Spark运行时的内核架构以及架构思考

一：Spark内核架构1，Drive是运行程序的时候有main方法，并且会创建SparkContext对象，是程序运行调度的中心，向Master注册程序，然后Master分配资源。
Alukar·2023-04-16 06:08

Spark面试知识点

一.Spark架构1.Spark架构中的组件(1)Client：提交应用的客户端(2)Driver：执行Application中的main函数并创建SparkContext(3)ClusterManager
Movle·2023-04-16 04:03

spark分布式计算框架

它是默认倾向于抢占资源的，他会在sparkContext（）这个函数执行的时候，直接根据下面textFile（）代码逻辑抢占所有资源，任务以JVM线程的级别泡在Excutor里面目前已知的：每一个Exc
代码健身摩托gucci上海·2023-04-15 20:23

实验手册 - 第5周Pair RDD与分区

目录标题实验1实验2实验3实验4实验5importfindsparkfindspark.init()frompysparkimportSparkContextsc=SparkContext()实验1实验
桑榆嗯·2023-04-15 10:26

Spark是如何读取大量小文件的

在实际项目中，有时往往处理的数据文件属于小文件（每个文件数据数据量很小，比如KB,几十MB等），文件数量又很大，如果一个个文件读取为RDD的一个个分区，计算数据时很耗时性能低下，使用SparkContext
javaisGod_s·2023-04-15 01:56

大数据之Spark（七）：Spark 任务调度

它们负责将用户提交的计算任务按照DAG划分为不同的阶段并且将不同阶段的计算任务提交到集群进行最终的计算，整个过程如下图所示：任务调度逻辑视图在Spark应用启动时，会初始化SparkContext对象。
Oak-Komorebi·2023-04-14 15:24

spark-submit 错误： ava.lang.ClassNotFoundException: WordCount

上编了个简单Scala程序，code如下packagespark.wordcountimportorg.apache.spark.SparkContextimportorg.apache.spark.SparkContext
飞鸿踏雪Ben归来·2023-04-13 04:56

Spark源码：初始化SparkContext

程序入口varconf:SparkConf=newSparkConf().setAppName("SparkJob_Demo").setMaster("local[*]")valsparkContext:SparkContext
Jorvi·2023-04-12 02:13

黑猴子的家：Spark Streaming 消费 kafka topic

{SparkConf,SparkContext
黑猴子的家·2023-04-11 19:46

SparkContext

sparkcontext：Spark功能的主要入口。SparkContext表示与Spark集群的连接，可以用来在该集群上创建rdd、accumulator和broadcast变量。
wandy0211·2023-04-11 17:18

mapValues

{HashPartitioner,Partitioner,SparkConf,SparkContext}objectTrans{defmain(args:Array[String]):Unit={va
比格肖·2023-04-09 20:45

Spark 任务调度介绍

任务调度在Spark的任务中，由Driver进行调度，这个工作包含：逻辑DAG产生、分区DAG产生、Task划分、将Task分配给Executor并监控其工作Driver被构建出来构建执行环境入口对象SparkContext
不忘初欣丶·2023-04-09 06:16

Python开发Spark步骤以及如何提交Spark应用，PythonOnSpark原理

1.Python开发Spark程序步骤主要是获取SparkContext对象，基于SparkContext对象作为执行环境入口2.如何提交Spark应用将程序代码上传到服务器上，通过spark-submit
半觞盛夏半觞秋·2023-04-09 04:47

spark1.6 WordCount排序取Top 10

废话不多说，先列举网上最多的一种实现：valdataRDD=sparkContext.textFile("data")dataRDD.flatMap(_.split(",")).map((_,1L)).
凡尔Issac·2023-04-09 02:49

高铁需求

{SparkConf,SparkContext}importorg.apache.spark.sql.{Da
大数据一叶扁舟·2023-04-09 02:35

详解Spark Sql在UDF中如何引用外部数据

在特定场景下定义UDF可能需要用到SparkContext以外的资源或数据。比如从List或Map中取值，或是通过连接池从外部的数据源中读取数据，然后再参与Column的运算。
·2023-04-08 01:06

Spark累加器与广播变量

reduce的操作，结果发现结果为0valconf:SparkConf=newSparkConf().setMaster("local[*]").setAppName("wordcount")valsc:SparkContext
Xsqone·2023-04-07 19:10

pyspark 对RDD的相关api

1、aggregate，可以用来求平均值如下示例rdd2=spark.sparkContext.parallelize([1,2,3,4,5,6,7,8,9,10])seqop=(lambdax,y:(
maketubu7·2023-04-07 05:10

PySpark基础之RDD的创建

文章目录1.并行化创建2.读取文件创建SparkRDD编程的程序入口对象是SparkContext对象(不论何种编程语言)，只有构建出SparkContext，基于它才能执行后续的API调用和计算。
不忘初欣丶·2023-04-06 14:59

Spark总体架构和运行流程

Driver是运行SparkApplicaion的main()函数，它会创建SparkContext。SparkContext负责和ClusterMa
zkyCoder·2023-04-05 20:29

四, Spark运行架构

执行时的基本结构,Driver表示master:负责管理整个集群中的作业任务调度Executor是slave:负责实际执行任务SparkApllication的运行架构由两部分组成:Driverprogram(SparkContext
菜菜的大数据开发之路·2023-04-05 19:23

Spark源码：启动TaskScheduler

源码目录初始化SparkContext时，会创建TaskScheduler，现在来看看TaskScheduler启动过程。
Jorvi·2023-04-03 18:16

PySpark实战一之入门

1、PySpark的编程模型分三个模块：数据输入：通过SparkContext对象，完成数据输入数据处理计算：输入数据后得到RDD对象，对RDD对象的成员方法进行迭代计算数据输出：最后通过RDD对象的成员方法
Younger成·2023-04-03 07:01

spark报错illegal cyclic reference involving object InterfaceAudience

代码中使用了两次1.第一次使用valfs=FileSystem.get(sparkSession.sparkContext.hadoopConfiguration)第二次使用2.sparkSession.sparkContext.parallelize
荣晓·2023-04-03 03:13

Azkaban调度Spark任务

{SparkConf,SparkContext}objectAzkabanTestextendsApp{valconf=newSparkConf().setMaster("local[2]").setAppName
__元昊__·2023-04-02 11:46

Spark运行架构及流程 第1关：Spark运行架构及流程检测

Driver：Spark中的Driver即运行上述Application的main函数并创建SparkContext，创建SparkContext的目的是为了准备Spark应用程序的运行环境，在Spark
是草莓熊吖·2023-04-02 02:25

Spark任务执行流程与运行架构

1.Spark的执行流程1、说明(1)构建SparkApplication的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN
52fighting·2023-04-02 02:15

Spark从入门到精通5 -- Spark运行架构及流程

Driver：程序中执行main方法的进程，创建SparkContext为Spark应用程序提供运行环境，负责与ClusterManager的通信，进行资源申请、任务的分配和监控等，当Executor部分运行完毕后
开着小马奔腾哟·2023-04-02 02:37

Spark On YARN启动流程源码分析

[TOC]本章将针对yarn-cluster（--masteryarn–deploy-modecluster）模式下全面进行讲解：1）什么时候初始化SparkContext；2）如何实现ApplicationMaster
tracy_668·2023-04-02 01:51

2.1 SparkContext 的概述

SparkContext历史使命我们写Spark程序时各种用到的sc是也,可以说是产品经理的灵魂所在.作为产品经理,管理各种各样的任务和数据,汇总团队情报然后分发.裁掉那些摸鱼的搬砖工,然后把活分给新来的
GongMeng·2023-04-01 13:36

Spark SQL实战(04)-API编程之DataFrame

1SparkSessionSparkCore:SparkContextSparkSQL:难道就没有SparkContext？
JavaEdge.·2023-03-31 11:43

Spark的RDD转换算子-flatMap、glom、groupBy

](f:T=>TraversableOnce[U]):RDD[U]就是扁平映射处理，将处理的数据进行扁平化之后再进行映射处理比如对于一个二维列表的操作，使其打散之后在变为一个列表valdataRDD=sparkContext.makeRDD
牧码文·2023-03-31 00:57

Spark中RDD常见的算子：Value 类型、双 Value 类型、Key - Value 类型

valdataRDD:RDD[Int]=sparkContext.makeRDD(List(1,2
万里长江横渡·2023-03-31 00:26

Spark On Yarn 源码分析

概述首先说明下AppMaster与Driver的区别，每个运行在yarn上的服务都需要有一个AppMaster,而Driver是一个Spark任务特有的，Driver会负责创建SparkContext对象
ThomasgGx·2023-03-30 13:25

《Spark技术内幕》阅读笔记1

执行的几个阶段Driver是用户编写的数据处理逻辑，包含用户创建的SparkContext。SparkContext是用户逻辑与Spark集群主要的交互接口，会和ClusterManager交互。
w未然·2023-03-29 22:18

Spark Shell简单介绍

初始化Spark编写一个Spark程序第一步要做的事情就是创建一个SparkContext对象，SparkContext对象告诉Spark如何连接到集群。
阿雅Yage·2023-03-24 02:41

Spark ShutdownHook

按照优先级在关闭时执行一系列操作，在spark内用途很广泛，主要是释放资源，删除文件等使用//SparkContext在初始化时注册，设定优先级和要调用的函数_shutdownHookRef=ShutdownHookManager.addShutdownHook
wangdy12·2023-03-23 20:11

dataframe 数据统计可视化---spark scala 应用

{Logging,SparkConf,SparkContext}importorg.apache.spark.sql.
Yobhel·2023-03-22 15:29

PySpark库

导入库frompysparkimportSparkConf,SparkContextsc=SparkContext.getOrCreate()创建RDDdata=sc.parallelize([('Amber
JUNjianshuZHU·2023-03-22 03:27

spark任务调度详解

在使用spark-summit或者spark-shell提交spark程序后，根据提交时指定（deploy-mode）的位置，创建driver进程，driver进程根据sparkconf中的配置，初始化sparkcontext
愤怒的谜团·2023-03-21 07:16

Spark系列——作业原理详解

当然如果你阅读过源码，那么读起来应该会比较舒服，否则可能会有一定不适，因为本文写的不是那么有逻辑~~~1.任务提交过程首先，我们知道，一个action算子是触发一个job生成的地方，当遇见action算子，会执行sparkcontext
code_solve·2023-03-21 03:15

Spark学习笔记02-Spark 分别使用Java和Scala实现wordcount案例

二、使用Java实现importorg.apache.spark.SparkConf;importorg.apache.spark.SparkContext;importorg.apache.spark.api.java
数据蝉·2023-03-14 23:48
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他