SparkConf

Spark 内核架构深度剖析

{SparkConf,SparkContext}objectWordCount{defmain(args:Array[String]):Unit={//给应
周尚千寻·2023-10-17 07:58

spark DStream从不同数据源采集数据（RDD 队列、文件、diy 采集器、kafka）（scala 编程）

队列a、使用场景：测试b、实现方式:通过ssc.queueStream(queueOfRDDs)创建DStream，每一个推送这个队列的RDD，都会作为一个DStream处理valsparkconf:SparkConf
超爱慢·2023-10-16 11:54

Spark---数据计算

flatmap算子：#flatmap算子:对rdd执行map操作,然后进行解除嵌套操作frompysparkimportSparkConf,SparkContextconf=SparkConf().setMaster
velpro_!·2023-10-16 06:31

Spark 名词解释

程序外名词Application：应用程序应用程序就是用户编写的代码打包之后的jar包和相关的依赖Application=Driver+Executor(分布在集群中多个节点)Driver部分的代码:SparkConf
他与理想国·2023-10-14 00:07

PythonRDD[1] at RDD at PythonRDD.scala:53

程序时出现以下错误PythonRDD[1]atRDDatPythonRDD.scala:53解决方法原程序代码:frompysparkimportSparkConf,SparkContextconf=SparkConf
阿龙的代码在报错·2023-10-12 21:07

本地运行报错 java.lang.ClassNotFoundException: org.apache.spark.SparkConf

报错1:本地运行scala，报如下错误：java.lang.ClassNotFoundException:org.apache.spark.SparkConf，或调试：在pom文件中注掉红色字体一行org.apache.sparkspark-core
小白学习指南·2023-10-11 10:45

Spark参数详解 （Spark1.6）

注意，只有通过spark-defaults.conf,SparkConf,或者commandline配置过的属性才会出现。
lonely玩世不恭·2023-10-04 01:03

spark常用操作

frompysparkimportSparkConf,SparkContext,SQLContextfrompyspark.sqlimportRowconf=SparkConf()sc=SparkContext
行走于无形之中·2023-09-25 21:54

Spark 【分区与并行度】

RDD并行度和分区SparkConfsetMaster("local[*]")我们在创建SparkContext对象时通常会指定SparkConf参数，它包含了我们运行时的配置信息。
让线程再跑一会·2023-09-23 06:21

Spark SQL【电商购买数据分析】

{SparkConf,SparkContext}importjava.io.{File,PrintWriter}objectTaobao{caseclassIn
让线程再跑一会·2023-09-23 06:18

spark报错：SparkContext: Error initializing SparkContext

1.valconfig:SparkConf=newSparkConf().setMaster(
啊帅和和。·2023-09-22 12:49

Spark经典入门程序:统计单词个数

{SparkConf,SparkContext}classT1_WordCount{}objectT1WordCount{defapply:T1WordCount=newT1_WordCount()defmain
weixin_34187862·2023-09-20 05:52

pyspark入门系列 - 01 统计文档中单词个数

导入SparkConf和SparkContext模块，任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark
铁甲大宝·2023-09-20 05:49

pyspark练习（学习笔记）

单词统计importfindsparkfindspark.init()frompysparkimportSparkConf,SparkContextif__name__=='__main__':conf=SparkConf
梦痕长情·2023-09-20 05:48

pyspark(一)：常用术语及环境搭建

SparkConf().setMaster("local[2]")local里面的参数2表示启动的核数，如果是*，就表示将PC中的所有核数用尽。
吾系司机·2023-09-11 17:41

countByKey()

{SparkConf,SparkContext}objectAction{defmain(args:Array[String]):Unit={valconf:SparkConf=newSparkConf
比格肖·2023-09-09 01:34

19 | spark 统计 每列的数据非缺失值

importorg.apache.spark.SparkConf;importorg.apache.s
小 森·2023-09-07 07:51

PySpark简单使用(四)——filter、disctinct、sortBy 方法的使用

SparkContextimportos#1.让PySpark知道Python的解释器位置os.environ['PYSPARK_PYTHON']="C:/Python310/python.exe"conf=SparkConf
FuzhouJiang·2023-09-06 00:55

4 | Java Spark实现 WordCount

代码packagecom.bigdata;importorg.apache.spark.SparkConf;importorg.apac
小 森·2023-09-05 06:37

5 | Java Spark WordCount打成Jar 包测试

packagecom.bigdata;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.
小 森·2023-09-02 07:11

spark.SparkException: Python worker failed to connect back.执行 spark 操作时 Python 工作线程无法连接回

spark.SparkException:Pythonworkerfailedtoconnectback.问问题当我尝试在pyspark执行此命令行时frompysparkimportSparkConf,SparkContext#创建SparkConf
云发·2023-09-01 22:35

Spark_Exception in thread main java.lang.NoClassDefFoundError: org/apache/spark/SparkConf

敲黑板，引入的依赖一定要“compile”或则“runtime”，否则sparkconf无法初始化，这辈子也运行不了，千万不要是“provided".          
高达一号·2023-09-01 07:22

Spark_Union 算子与 Shuffle 流程

{SparkConf,SparkContext}/***Createdbyszhon2020/5/28.*/objectTestUnion{defmain(args:Array[String]):U
高达一号·2023-09-01 07:22

pyspark | 数据处理基本操作

importpandasaspdfrompyspark.sqlimportSparkSessionfrompyspark.confimportSparkConffrompyspark.sql.typesimport*frompyspark.sqlimportfunctionsasF,Window初始化与配置环境#配置集群config=SparkConf
小哲嗨数·2023-08-31 03:40

1、Spark_RDD算子——Map

{SparkConf,SparkContext}objectSparkUtils{/***默认的masterurl路径*/valDEFAULT_MASTER="local[*]"/***默认master
天下第一黑鬼_Big Data·2023-08-28 09:30

pyspark中RDD常用操作

准备工作：importpysparkfrompysparkimportSparkContextfrompysparkimportSparkConfconf=SparkConf().setAppName(
zhuzuwei·2023-08-26 17:25

PySpark-RDD Basics

导包importnumpyasnpimportpandasaspsfrompysparkimportSparkContext,SparkConf%configZMQInteractiveShell.ast_node_interactivity
云飞Ran·2023-08-23 23:27

pyspark 之 rdd操作

官网举例如下：##构建包含应用信息的SparkConf对象conf=SparkConf().setAppName(appName).setMaster(master
天天~·2023-08-20 16:41

pyspark中map模型&&flatmap模型

frompysparkimportSparkConf,SparkContextimportosos.environ["PYSPARK_PYTHON"]="D:/python_set/py_run/python.exe"conf=SparkConf
「已注销」·2023-08-20 02:20

scala运行异常Exception in thread “main“ java.lang.NoSuchMethodError: scala.Predef$

{SparkConf,SparkContext}importorg.apache.spark.mllib.fpm.FPGrowthobjectFP{defmain(args:Array[String])
阿巴阿巴..·2023-08-19 09:28

PageRank&ConnectedComponents&Pregel

{SparkConf,SparkContext}importorg.apache.spark.graphx._objectpa
大数据00·2023-08-19 05:15

pyspark中reduceBykey算子

frompysparkimportSparkConf,SparkContextimportosos.environ["PYSPARK_PYTHON"]="D:/python_set/py_run/python.exe"conf=SparkConf
「已注销」·2023-08-18 12:49

Spark RDD中map与flatMap

{SparkConf,SparkContext}objectMapAndFlatMap{defmain(args:Array[String]):Unit={valsc=newSparkContext(newSparkConf
拾荒路上的开拓者·2023-08-12 12:50

Spark中RDD flatMap的示例

packageexamples;importconstant.Constants;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaRDD
anoperA·2023-08-12 12:50

使用ReduceByKey在Spark中进行词频统计

{SparkConf,SparkContext}objectReduceByKey{defmain(args:Array[String]):Unit={//创建SparkConf并设置相关配置valconf
程序终结者·2023-08-08 06:48

Spark中使用RDD算子GroupBy做词频统计的方法

{SparkConf,SparkContext}objectG
程序终结者·2023-08-08 06:17

spark SQLHadoopMapReduceCommitProtocol中mapreduce.fileoutputcommitter.algorithm.version选择1还是2

mapreduce.fileoutputcommitter.algorithm.version是1这个在SparkHadoopUtil.scala代码中可以看到：privatedefappendSparkHadoopConfigs(conf:SparkConf
鸿乃江边鸟·2023-08-06 19:22

2023-3-12：PySpark常用数据计算算子

pipinstallpysparkSparkContext是PySpark程序运行入口，首先构建SparkContext对象frompysparkimportSparkConf,SparkContext#构建SparkConf
椒盐猕猴桃·2023-08-06 16:27

关于Python中pyspark的使用

pyspark数据的输入frompysparkimportSparkConf,SparkContextconf=SparkConf().setMaster("local[*]").setAppName(
我有一只小柴犬！·2023-08-06 16:26

Spark RDD操作之ReduceByKey

importjava.util.Arrays;importjava.util.List;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.Java
dong_lxkm·2023-08-03 18:45

PySpark大数据分析(3)：使用Python操作RDD

使用Python编写Spark代码在Python中使用Spark，首先需要导入PySpark，然后创建一个SparkConf对象配置你的应用，再基于这个SparkConf创建一个SparkContext
唐犁·2023-08-03 11:15

『pyspark』三：RDD数据处理

1、使用Pyspark1.1LinkingwithSparkfrompysparkimportSparkContext,SparkConf1.2InitializingSparkconf=SparkConf
简之·2023-08-01 19:45

python_day14_综合案例

PYSPARK_PYTHON"]="D:/dev/python/python3.10.4/python.exe"os.environ["HADOOP_HOME"]="D:/dev/hadoop-3.0.0"conf=SparkConf
Yel10w_·2023-07-29 12:11

foldByKey

{HashPartitioner,Partitioner,SparkConf,SparkContext}objectTrans{defmain(
比格肖·2023-07-26 16:44

hudi-hive-sync

有两种方式:在hudi写时同步使用run_sync_tool.sh脚本进行同步1.代码同步改方法最终会同步元数据，但是会抛出异常valspark=SparkSession.builder().config(sparkConf
地球人是我哈·2023-07-26 06:31

python_day12_map

python解释器os.environ['PYSPARK_PYTHON']="D:\\dev\\python\\python3.10.4\\python.exe"创建SparkContext对象conf=SparkConf
Yel10w_·2023-07-22 13:23

python_day12_flatMap

frompysparkimportSparkConf,SparkContextimportosos.environ['PYSPARK_PYTHON']="D:/dev/python/python3.10.4/python.exe"conf=SparkConf
Yel10w_·2023-07-22 13:23

python_day12_pyspark

安装pyspark库frompysparkimportSparkConf,SparkContext创建sparkconf类对象，链式调用conf=SparkConf().setMaster("local
Yel10w_·2023-07-22 13:23

spark 2.2.0 共享变量使用方法 java版

*;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaRDD;importorg.apache.spark.api.java.JavaSparkContext
豆筱豆1993·2023-07-18 15:14

Spark RDD练习 算子函数操作

#coding=utf-8#导包importsysimportosimporttimefrompysparkimportSparkContext,SparkConfconf=SparkConf().setMaster
ZhaoXiangmoStu·2023-07-18 15:36
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他