sparkcontext

PageRank&ConnectedComponents&Pregel

{SparkConf,SparkContext}importorg.apache.spark.graphx._objectpa
大数据00·2023-08-19 05:15

SparkContext did not initialize after waiting for 100000 ms

如果“相关程序”做了很多其他事情处理之后才运行sparkContext的初始化语句（如valsc=SparkSession.builder().enableHiveSupport().getOrCreate
Code_LT·2023-08-18 22:33

浅学实战：探索PySpark实践，解锁大数据魔法！

文章目录Spark和PySpark概述1.1Spark简介1.2PySpark简介二基础准备2.1PySpark库的安装2.2构建SparkContext对象2.3SparkContext和SparkSession2.4
缘友一世·2023-08-16 19:36

Standalone模式下_taskScheduler和executor运行原理解密

taskScheduler和executor运行的代码调用流程，如下图所示：将上述过程，整理简图如下：下面进行具体说明：一：SparkExecutor工作原理：1.创建并启动TaskScheduler在SparkContext
ustbxyls·2023-08-12 16:34

Spark RDD中map与flatMap

{SparkConf,SparkContext}objectMapAndFlatMap{defmain(args:Array[String]):Unit={valsc=newSparkContext(newSparkConf
拾荒路上的开拓者·2023-08-12 12:50

Spark源码之SparkContext

Spark源码之SparkContext介绍篇SparkContext介绍SparkContext作为spark的主入口类，SparkContext表示一个spark集群的链接,它会用在创建RDD,计数器以及广播变量在
小狼星I·2023-08-09 12:30

RDD基本操作（Python）

RDD基本转换运算创建RDD最简单的方式是使用SparkContext的parallelize方法intRDD=sc.parallelize([3,1,2,5,5])intRDD.collect()由于
老肥码码码·2023-08-09 09:28

pyspark报错:FileNotFoundError: [WinError 2] 系统找不到指定的文件。

问题:写了一个简单的pyspark小程执行到sc=SparkContext("local","test")报错:FileNotFoundError:[WinError2]系统找不到指定的文件。
丑图高手·2023-08-09 04:24

使用ReduceByKey在Spark中进行词频统计

{SparkConf,SparkContext}objectReduceByKey{defmain(args:Array[String]):Unit={//创建SparkConf并设置相关配置valconf
程序终结者·2023-08-08 06:48

Spark中使用RDD算子GroupBy做词频统计的方法

{SparkConf,SparkContext}objectG
程序终结者·2023-08-08 06:17

Apache Hudi初探(十一)(与spark的结合)--hudi的markers机制

分析为什么会存在Marker文件这得从SparkDataSourceV2说起，引入了DataSourceV2以后，hudi的写入文件主要就是V2TableWriteExec类：sparkContext.runJob
鸿乃江边鸟·2023-08-06 19:22

2023-3-12：PySpark常用数据计算算子

PySpark相关SparkContext构建包安装pipinstallpysparkSparkContext是PySpark程序运行入口，首先构建SparkContext对象frompysparkimportSparkConf
椒盐猕猴桃·2023-08-06 16:27

关于Python中pyspark的使用

frompysparkimportSparkConf,SparkContextconf=SparkConf().setMaster("local[*]").setAppName("test_spark")sc=SparkContext
我有一只小柴犬！·2023-08-06 16:26

pyspark--RDD基本操作

SparkContext直接使用SparkContext类创建一个spark上下文，主要参数是指定master和appName。fro
FTDdata·2023-08-06 16:55

PySpark - RDD基础

1、初始化SparkfrompysparkimportSparkContextsc=SparkContext(master='local[2]')2、核查SparkContextsc.version#获取
Rnan-prince·2023-08-06 10:26

Spark提交流程

客户端通过脚本将任务提交到yarn执行，yarn启动APPMaster，APPMaster启动Driver线程，Driver负责初始化SparkContext并进行任务的切分和分配任务，交给Executor
青云游子·2023-08-05 19:38

pyspark学习笔记——RDD

目录1.程序执行入口SparkContext对象2.RDD的创建2.1通过并行化集合创建（本地对象转分布式RDD）2.2读取外部数据源（读取文件）2.2.1使用textFileAPI2.2.2wholeTextFileAPI2.3RDD
千层肚·2023-08-04 18:33

PySpark大数据分析(3)：使用Python操作RDD

使用Python编写Spark代码在Python中使用Spark，首先需要导入PySpark，然后创建一个SparkConf对象配置你的应用，再基于这个SparkConf创建一个SparkContext
唐犁·2023-08-03 11:15

Python---pyspark的安装，执行入口，编程模型、RDD对象、数据输入

pipinstallpyspark或使用国内代理镜像网站（清华大学源）pipinstall-ihttps://pypi.tuna.tsinghua.edu.cn/simplepyspark2.pyspark的执行入口要构建SparkContext
三月七（爱看动漫的程序员）·2023-08-02 05:51

Spark-任务怎么切分

（1）Application：初始化一个SparkContext即生成一个Application；（2）Job：一个Action算子就会生成一个Job；（3）Stage：Stage等于宽依赖的个数加1；
青云游子·2023-08-02 05:12

『pyspark』三：RDD数据处理

Pyspark1.1LinkingwithSparkfrompysparkimportSparkContext,SparkConf1.2InitializingSparkconf=SparkConf().setAppName(appName).setMaster(master)sc=SparkContext
简之·2023-08-01 19:45

spark aggregate & treeAggregate

aggregate首先来看这个方法的签名abstractclassRDD[T:ClassTag](@transientprivatevar_sc:SparkContext,@transientprivatevardeps
_zzzZzzz_·2023-07-27 05:31

foldByKey

{HashPartitioner,Partitioner,SparkConf,SparkContext}objectTrans{defmain(
比格肖·2023-07-26 16:44

spark - rdd/df/ds 性能测试

有的文章的说Dataset{Log10(UUID.randomUUID().toString,num)}})valcount=rdd.count()}elseif(typ==1){valrdd=spark.sparkContext.parallelize
大猪大猪·2023-07-26 14:47

python_day12_map

SparkContextimportos为pyspark指向python解释器os.environ['PYSPARK_PYTHON']="D:\\dev\\python\\python3.10.4\\python.exe"创建SparkContext
Yel10w_·2023-07-22 13:23

python_day12_pyspark

安装pyspark库frompysparkimportSparkConf,SparkContext创建sparkconf类对象，链式调用conf=SparkConf().setMaster("local
Yel10w_·2023-07-22 13:23

Spark整理：spark 任务调度

Driver线程主要是初始化SparkContext对象，准备运行所需的上下文，然后一方面保持与ApplicationMaster的RPC连接，通过ApplicationMaster申请资源，另一方面根据用户业务逻辑开始调度任务
stay_running·2023-07-19 04:37

SparkCore系列-9、共享变量

大数据系列文章目录官方网址：http://spark.apache.org/、https://databricks.com/spark/about目录回顾介绍广播变量累加器案例演示下回分解回顾上篇文章介绍了如何使用SparkContext
技术武器库·2023-07-18 15:39

Spark RDD练习 算子函数操作

importsysimportosimporttimefrompysparkimportSparkContext,SparkConfconf=SparkConf().setMaster("spark://node1.itcast.cn:7077").setAppName("testcluster")#构建一个SparkContext
ZhaoXiangmoStu·2023-07-18 15:36

spark_core根据IP地址计算访问日志中每一个归属地的出现的次数

#根据IP地址计算访问日志中每一个归属地的出现的次数（用累计器实现各个省份的访问次数）##实现object_09_IP{defmain(args:Array[String]):Unit={valsc:SparkContext
undo_try·2023-07-18 13:41

Spark简明笔记

一、Spark结构1542185452899.png使用java、scala、python任意一种语言编写的Spark应用叫DriverDriver程序一般负责初始SparkContext，然后通过SparkContext
西北偏北·2023-07-18 02:26

Spark编程-RDD

第二种：调用SparkContext的paral
Matrix70·2023-07-14 22:31

黑猴子的家：IDEA 配置 之 总结

1、Maven父子项目的使用在简述maven中会有详细描述2、spark程序的编写1）新建一个maven项目，并将该项目配置成scala2）编写spark项目（1）创建sparkconf配置（2）创建sparkContext
黑猴子的家·2023-07-13 19:02

Spark 4/5

.启动SparkShell编程4.1什么是SparkShellsparkshell是spark中的交互式命令行客户端，可以在sparkshell中使用scala编写spark程序，启动后默认已经创建了SparkContext
All996·2023-06-22 15:29

Spark操作 对json复杂和嵌套数据结构的操作

{SPARK_REVISION,SparkConf,SparkContext}importorg.ap
难以言喻wyy·2023-06-22 01:02

SedonaSQL 构造函数使用说明

varspatialRDD=newSpatialRDD[Geometry]spatialRDD.rawSpatialRDD=ShapefileReader.readToGeometryRDD(sparkSession.sparkContext
松果仁·2023-06-20 14:18

SKIL/工作流程/分布式ETL

使用Spark集群要使分布式ETL工作，你需要在后端有一个Spark集群，并且需要一个客户机，一个包含“SparkContext
hello风一样的男子·2023-06-20 03:23

Spark-核心常见面试题集锦(RDD、shuffle类型、数据倾斜优化、小文件问题、性能调优、streaming流程、checkpoint机制)

1Spark的任务执行流程第一种standalone模式整体：driver中有sparkcontext，RDDDAG和DAGScheduler和taskscheduler，master是资源管理，worker
:Concerto·2023-06-19 14:48

Spark任务执行流程

SparkContextSparkContext向资源管理器注册，并向资源管理器申请运行Executor资源管理器分配资源，然后资源管理器启动ExecutorExecutor发送心跳至资源管理器Executor向Driver注册自己SparkContext
小刘新鲜事儿·2023-06-18 11:03

spark高频面试题

具体运行流程如下：当一个spark任务提交的时候，根据提交参数创建驱动进程（driver），驱动器根据参数创建SparkContext对象，即Spark运行环境。
李大寶·2023-06-16 22:43

Sparkcore----三层架构模型

{SparkConf,SparkContext}objectWordCountAp
梦痕长情·2023-06-16 06:44

6.2.1 Spark Core(Spark概述、RDD编程【特点、RDD创建、Transformation（常见算子）、Key-ValueRDD操作】)

1.4Spark集群部署模式1.5相关术语第3节RDD编程3.1什么是RDD3.2RDD的特点**1、分区****2、只读**3、依赖4、缓存5、checkpoint3.3Spark编程模型3.4RDD的创建1、SparkContext2
weixin_47134119·2023-06-16 02:46

2.3 Spark运行架构与原理

（二）Task（任务）运行main()方法并创建SparkContext的进程。（三）Job（作业）一个并行计算作业，由一组任务组成，并由Spark的行动算子（如：save、collect）触发启动。
不喜欢编程的我·2023-06-15 20:24

Spark内部机制学习笔记

1总体框架结构图由上图我们可以看到Spark应用程序架构主要由DriverProgram和Executor构成，Driver负责运行main()和创建SparkContext，Executor主要负责执行
_和·2023-06-12 23:11

两万字笔记快速掌握Spark大数据处理平台

@foxmail.com文章目录两万字笔记快速掌握Spark大数据处理平台1简介1.1Spark集群1.2RDD1.3Spark高级功能2开始运行独立应用2.1应用配置：方法2.2应用配置：内容2.3SparkContext2.4
O_1CxH·2023-06-12 23:38

2.3 Spark运行架构与原理

（二）Task（任务）运行main()方法并创建SparkContext的进程。（三）Job（作业）一个并行计算作业，由一组任务组成，并由Spark的行动算子（如：save、collect）触发启动。
zl202111·2023-06-12 00:30

spark入门 textFile 分区（七)

{SparkConf,SparkContext}objectSpark02_RDD_File_Par{defmain(args:Array[String]):Unit={//准备连接valconf=newSparkCo
Long long ago.·2023-06-10 11:45

spark 运行原理

sparkcontext：一个线程只有一个spark的job都是jvm的进程在spark2.0之前，SparkContext是所有spark任务的入口，无论spark集群有多少个节点做并行处理，每个程序只可以有唯一的
JackLi_csdn·2023-06-09 10:18

Spark

1.Spark任务架构1.1架构组件1.1.1Driver是一个JVM进程，负责执行Spark任务的main方法执行用户提交的代码，创建SparkContext或者SparkSession将用户代码转化为
不会编程的小小怪·2023-06-08 05:03

Java使用Spark入门级非常详细的总结

目录Java使用Spark入门环境准备安装JDK安装Spark编写Spark应用程序创建SparkContext读取文本文件计算单词出现次数运行Spark应用程序总结Java使用Spark入门本文将介绍如何使用
AcerMr·2023-06-07 04:20
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他