sparkcontext 第14页

SPARK转换算子简单的实现示例（map,filter,flatmap,groupByKey）

{SparkConf,SparkContext}classMyTransformation_scala{//使用map对集合中的每一个元素乘2defmyMap(sc:SparkContext):Unit

WJN不忘初心·2020-08-03 08:51

Spark错误集锦(一)——spark.SparkContext: Created broadcast 0 from textFile at WordCount.scala:16

Spark错误集锦(一)——spark.SparkContext:Createdbroadcast0fromtextFileatWordCount.scala:16yarn模式下运行spark提交任务：

Scaler Wu·2020-08-03 08:40

Spark广播变量

而不是传递给每一个Task一个副本.所以在需要跨多个Stage的多个Task中使用相同数据的情况下,广播特别的有用二:广播变量的API三:广播变量的使用classdemo04{privatevalsc:SparkContext

是谁注册了我的2052·2020-08-03 08:51

Spark：常用算子总结大全

2）Action行动算子：这类算子会触发SparkContext提交Job作业。

花和尚也有春天·2020-08-03 07:13

scala打印error，debug，info

{SparkConf,SparkContext}objectword{privatevallogger=org.slf4j.LoggerFactory.getLogger

weixin_34274029·2020-08-03 07:40

【机器学习】pyspark中RDD的若干操作

1，读取文件frompysparkimportSparkContextsc=SparkContext('local','pyspark')a，text=sc.textFile(“file:///d:/test.txt

huaibei_北·2020-08-03 06:22

spring boot 集成spark-streaming-kafka

主要思路：SparkContext由spring容器管理，在spring容器启动完毕后，执行spark-streaming-kafka，获取数据并处理。

river_rock·2020-08-03 04:08

报错:It appears that you are attempting to reference SparkContext from a broadcast variable, action

报错_pickle.PicklingError:Couldnotserializeobject:Exception:ItappearsthatyouareattemptingtoreferenceSparkContextfromabroadcastvariable,action,ortransformation.SparkContextcanonlybeusedonthedriver,notinc

qq_40285736·2020-08-03 03:20

Spark DataSet介绍

在Spark2.0之前，使用Spark必须先创建SparkConf和SparkContext，不过在Spark2.0中只要创建一个Spar

象在舞·2020-08-03 00:59

mapPartition方法与map方法的区别(转载)

中每个元素mapPartitions应用于每个分区根据[2]mapPartitions更容易OOM代码如下://生成10个元素3个分区的rdda，元素值为1~10的整数（12345678910），sc为SparkContext

Applied Sciences·2020-08-02 22:35

Spark 2.0介绍：从RDD API迁移到DataSet API

1、加载文件RDDvalrdd=sparkContext.textFile("

李国冬·2020-08-02 20:32

Spark Broadcast广播变量

Broadcast广播变量使用规则如下：（1）可以使用SparkContext.broadcast([初始值])创建（2）使用.valuse来读取广播变量的值（3）Broadcast广播变量被创建后不能修改例子

大鱼-瓶邪·2020-08-02 20:15

机器学习系列--KNN分类算法例子

{SparkConf,SparkContext}objectknntest{/***欧式距离*计算两点间的距离*@paramrsasr1,r2,...,rd*@paramssass1,s2,...,sd

李孟lm·2020-08-01 14:12

Spark源码分析之BlockManager

在应用程序启动的时候，SparkContext会创建Driver端的SpakEnv，在该SparkEnv中实例化BlockManager和BlockManagerMaster，在其内部创建消息通信

happy19870612·2020-08-01 08:22

SparkOnYarn与StandAlone模式的区别

SparkonYarn是如何运行起来的：从SparkContext的启动开始看进去。

淡定一生2333·2020-08-01 08:24

BroadcastManager

Broadcast一般用于处理共享的配置文件、通用Dataset、常用数据结构1.1、创建通过SparkContext.broadcast广播一个Broadcast,实际调用的是SparkEnv的BroadManager

chbxw·2020-08-01 07:58

Spark Core源码精读计划7 | Spark执行环境的初始化

大数据技术与架构·2020-08-01 02:42

Spark Core源码精读计划17 | 上下文清理器ContextCleaner

run_bigdata·2020-07-31 23:47

Spark Core源码精读计划16 | 通过ExecutorAllocationManager实现动态Executor分配

run_bigdata·2020-07-31 23:47

Spark Core源码精读计划4 | SparkContext提供的其他功能

目录前言SparkContext提供的其他功能生成RDD广播变量累加器运行JobSparkContext伴生对象伴生对象中的属性markPartiallyConstructed()方法setActiveContext

run_bigdata·2020-07-31 23:16

Spark Core源码精读计划15 | 心跳接收器HeartbeatReceiver

HeartbeatReceiver类声明和构造部分成员属性的含义HeartbeatReceiver提供的方法启动监听Executor添加和移除消息处理与回复处理Executor心跳清理超时的Executor总结前言按照SparkContext

run_bigdata·2020-07-31 23:16

Spark Core源码精读计划 | SparkContext组件初始化

目录前言SparkContext类的构造方法SparkContext初始化的组件SparkConfLiveListenerBusAppStatusStoreSparkEnvSparkStatusTrackerConsoleProgressBarSparkUI

run_bigdata·2020-07-31 23:16

Spark Core源码精读计划8 | SparkEnv中RPC环境的基础构建

端点及其引用RpcEndpointRpcEndpoint继承体系RpcEndpointRefNettyRpcEnv概况创建NettyRpcEnvNettyRpcEnv中的属性成员总结前言在之前的文章中，我们由SparkContext

run_bigdata·2020-07-31 23:15

Spark Core源码精读计划5 | 事件总线及ListenerBus

()方法doPostEvent()方法postToAll()方法SparkListenerBus特征SparkListenerInterface与SparkListenerEvent特征总结前言在讲解SparkContext

run_bigdata·2020-07-31 23:15

spark入门WordCount代码解读

spark的运行模式，这里指定为本地运行//local[1]：指定线程数valconf=newSparkConf().setMaster("local[1]").setAppName("WC")//创建SparkContext

一路狂飚飚·2020-07-31 22:16

RDD工作原理详解

驱动器程序通过一个SparkContext对象来访问Spark。这个对象代表对计算集群的一个连接。shell启动时已经自动创建了一个SparkContext对象，是一个叫作

一路狂飚飚·2020-07-31 22:16

ERROR SparkContext:无法指定请求的地址: bind: Service 'sparkDriver' failed after 16 retries!

18/10/2513:07:58WARNUtils:Service'sparkDriver'couldnotbindonport0.Attemptingport1.18/10/2513:07:58WARNUtils:Service'sparkDriver'couldnotbindonport0.Attemptingport1.18/10/2513:07:58WARNUtils:Service'sp

lvtula·2020-07-31 20:24

【Spark内核源码】SparkContext中的组件和初始化

目录SparkContext概述SparkContext组件概述SparkContext初始化过程第一步：确保当前线程中没有SparkContext在运行第二步：版本反馈第三步：真正的初始化第四步：确认启动成功

lazy_moon·2020-07-31 19:54

Spark Core源码分析: RDD基础

RDDRDD初始参数：上下文和一组依赖abstractclassRDD[T:ClassTag](@transientprivatevarsc:SparkContext,@transientprivatevardeps

iteye_13202·2020-07-31 18:11

Spark Core源码精读计划3 | SparkContext辅助属性及后初始化

大数据技术与架构·2020-07-31 12:25

【Pyspark】Map、FlatMap、filter、union等常用

参考https://www.iteblog.com/archives/1395.html#map[Map]#map#sc=sparkcontext,parallelizecreatesanRDDfromthepassedobjectx

chongjiapi1753·2020-07-30 19:07

Spark-编程执行Spark SQL查询

{SparkConf,SparkContext}importorg.apache.spark.sql.SQLContextobjectInferringSchema{

绛门人·2020-07-30 18:57

SparkStreaming读取Kafka Json格式数据

handleMessage2CaseClass(record.value())).foreachRDD(rdd=>{valspark=SparkSession.builder().config(rdd.sparkContext.getConf

weixin_jumery·2020-07-30 18:01

SparkContext详解

官方解释：SparkContext是spark功能的主要入口。其代表与spark集群的连接，能够用来在集群上创建RDD、累加器、广播变量。

初心江湖路·2020-07-30 18:22

Spark Checkpoint 的使用、具体内容及读写过程

的写过程4、Streamingcheckpoint5、checkpoint的读过程一、checkpoint的使用checkpoint的使用很简单1、对于普通应用，首先要设置checkpoint目录，使用SparkContext

初心江湖路·2020-07-30 18:50

使用 Spark 跨集群同步HDFS数据

{SparkConf,SparkContext}importorg.apache.spark.rdd.RDDimportorg.apache.spark.sql.SparkSessionobjectTestFileCopy

storm_fury·2020-07-30 17:31

SparkStreaming 写入数据到mysql

{SparkConf,SparkContext}objectSvaeToMysql{defmain(args:Array[Strin

weixin_30773135·2020-07-30 17:44

Scala版RDD基本操作

开始学习用scala写spark啦，首先当然是介绍一下RDD的操作啦：1、创建SparkSession在Spark2.1中，SparkSession包括了SparkContext，若想使用SparkContext

文哥的学习日记·2020-07-30 16:03

Spark-Streaming 采集Kafka数据源中的数据

{SparkConf,SparkContext}importorg.apache.spark.sql.

Kotlin20180728·2020-07-30 16:23

spark-spark核心概念简介

驱动器程序通过一个SparkContext对象来访问Spark。这个对象代表对计算集群的一个连接。shell启动时已经自动创建了一个SparkContext对象，是一个叫作sc的变量。

lisery_nj·2020-07-30 15:35

SparkStream的两种经典使用方式:

{SparkConf,SparkContext}importorg.apache.spark.streaming.{Seconds,Str

善若止水·2020-07-30 06:19

spark core 入门实战之一

sc.textFile("/home/hadoop/test/data/test1.txt").flatMap(_.split("")).map((_,1)).reduceByKey(_+_).collectsc是sparkcontext

_Wanananan·2020-07-30 06:11

本地连接hadoop集群问题汇总

valspark=SparkSession.builder().appName("SparkStatFormatData").master("*").getOrCreate()valdata=spark.sparkContext.textFile

weixin_44641024·2020-07-30 05:57

Spark Core 操作

创建一个SparkContext对象初始化SparkSpark程序必须做的第一件事是创建一个SparkContext对象，该对象告诉Spark如何访问集群。

oifengo·2020-07-30 04:50

【Pyspark】Spark导入zip文件/上传zip文件

"#启动sparkspark=SparkSession.builder.appName("space_name").enableHiveSupport().getOrCreate()sc=spark.sparkContext

sunflower_sara·2020-07-30 00:06

spark 数据写入到 hbase

hbase需要用到：PairRddFunctions的saveAsHadoopDataset方法，这里用到了implicitconversion，需要我们引入importorg.apache.spark.SparkContext

匿名啊啊啊·2020-07-29 23:22

2018-05-18

第一篇讲Spark中最重要的SparkContext，他是Spark的核心，虽说在Spark2中已经用SparkSession来作为我们初始化的对象，但是最最核心核心的还是SparkContext。

是我_7b3f·2020-07-29 20:44

spark 任务详解

，在这个方法中通过反射的方式创建我们编写的主类的实例对象，然后调用main方法，开始执行我们的代码（注意，我们的spark程序中的driver就运行在sparkSubmit进程中）4、当代码运行到创建SparkContext

lxc950318·2020-07-29 20:58

SparkContext初始化流程

SparkContext的初始化，包括事件总线(LiveListenerBus)，UI界面，心跳，JobProcessListner，ExecutorAllocationManager(资源动态分配管理

淡定一生2333·2020-07-29 02:27

关于spark中dataframe数据处理

这里拿二值化操作举例，frompysparkimportSparkContextfrompysparkimportSQLContextfrompyspark.ml.featureimportBinarizersc=SparkContext

yaoqsm·2020-07-29 01:03

推荐频道

sparkcontext

SPARK转换算子简单的实现示例（map,filter,flatmap,groupByKey）

Spark错误集锦(一)——spark.SparkContext: Created broadcast 0 from textFile at WordCount.scala:16

Spark广播变量

Spark：常用算子总结大全

scala打印error，debug，info

【机器学习】pyspark中RDD的若干操作

spring boot 集成spark-streaming-kafka

报错:It appears that you are attempting to reference SparkContext from a broadcast variable, action

Spark DataSet介绍

mapPartition方法与map方法的区别(转载)

Spark 2.0介绍：从RDD API迁移到DataSet API

Spark Broadcast广播变量

机器学习系列--KNN分类算法例子

Spark源码分析之BlockManager

SparkOnYarn与StandAlone模式的区别

BroadcastManager

Spark Core源码精读计划7 | Spark执行环境的初始化

Spark Core源码精读计划17 | 上下文清理器ContextCleaner

Spark Core源码精读计划16 | 通过ExecutorAllocationManager实现动态Executor分配

Spark Core源码精读计划4 | SparkContext提供的其他功能

Spark Core源码精读计划15 | 心跳接收器HeartbeatReceiver

Spark Core源码精读计划 | SparkContext组件初始化

Spark Core源码精读计划8 | SparkEnv中RPC环境的基础构建

Spark Core源码精读计划5 | 事件总线及ListenerBus

spark入门WordCount代码解读

RDD工作原理详解

ERROR SparkContext:无法指定请求的地址: bind: Service 'sparkDriver' failed after 16 retries!

【Spark内核源码】SparkContext中的组件和初始化

Spark Core源码分析: RDD基础

Spark Core源码精读计划3 | SparkContext辅助属性及后初始化

【Pyspark】Map、FlatMap、filter、union等常用

Spark-编程执行Spark SQL查询

SparkStreaming读取Kafka Json格式数据

SparkContext详解

Spark Checkpoint 的使用、具体内容及读写过程

使用 Spark 跨集群同步HDFS数据

SparkStreaming 写入数据到mysql

Scala版RDD基本操作

Spark-Streaming 采集Kafka数据源中的数据

spark-spark核心概念简介

SparkStream的两种经典使用方式:

spark core 入门实战之一

本地连接hadoop集群问题汇总

Spark Core 操作

【Pyspark】Spark导入zip文件/上传zip文件

spark 数据写入到 hbase

2018-05-18

spark 任务详解

SparkContext初始化流程

关于spark中dataframe数据处理