E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
sparkcontext
Spark Core 的核心理论增强
(编写的spark代码) (2)Driverprogram Spark中的Driver即运行上述Application的main()函数并且创建
SparkContext
,其中创建
SparkContext
原生zzy
·
2019-01-03 14:42
Spark
Core
核心理论
spark
【大数据】【Spark】 RDD
一RDD基础1
sparkContext
每个Spark应用都由一个驱动器程序来发起集群上的各种并行操作,驱动器程序通过一个
SparkContext
对象访问Spark。
菜丸子
·
2019-01-03 00:48
hadoop
Spark Core 的核心理论
1.SparkCore的核心功能 (1)
SparkContext
: 通常而言,DriverApplication的执行与输出都是通过
SparkContext
完成的,在正式提交Application之前
原生zzy
·
2019-01-02 21:13
Spark
Core
的核心理论
spark
Spark 内核设计的艺术架构与实现 第二章Spark模型设计
1Spark编程模型用户使用
SparkContext
提供的API编写Driver段程序(常用的textFilesequenceFilerunjob等)Spark2.4Spark基本架构从集群部署的角度来看
chixushuchu
·
2018-12-30 17:04
实战
spark
spark1.6源码-----任务提交与执行之任务提交
*///调用了
sparkContext
的runJob//返回一个Array集合defcollect():Array[T]=withScope{valresults=sc.runJob(this,(iter
qq_33872191
·
2018-12-23 09:16
spark
spark-core 综合练习(广播变量,join的使用)
{SparkConf,
SparkContext
} /** *Desc: *数据说明: *users.dat---UserID::Gender::Age::Occupation:
LJ2415
·
2018-12-20 00:00
Spark-core
Spark 运行架构
这些模式的主要组成部分都可以看成
SparkContext
,ClusterManager,Executor三个部分,其中
SparkContext
负责管理Application的执行,与Cl
fate_killer_liu_jie
·
2018-12-18 23:06
Spark
scala-wordcount详解
{SparkConf,
SparkContext
}/***@Date:2018/12/179:03*/objectwc_scala{defmain(args:Array[String]):Unit={valconf
S_Running_snail
·
2018-12-18 15:45
spark
Spark 内存管理 以及oom处理
Spark内存管理Spark执行应用程序时,Spark集群会启动Driver和Executor两种JVM进程,Driver负责创建
SparkContext
上下文,提交任务,task的分发等。
chixushuchu
·
2018-12-17 17:41
实战
Spark 存储模型
Driver应用启动时,
SparkContext
会在Driver端创建SparkEnv,在SparkEnv中创建B
fate_killer_liu_jie
·
2018-12-14 17:21
Spark
Spark RDD编程基础(Scala版)
最简单的创建RDD的方法就是讲程序中已有的一个集合传给
SparkContext
的paral
数据山谷
·
2018-12-13 18:34
Scala
Spark
scala
RDD编程
Spark
统计每个学科最受欢迎的老师前N名
{Partitioner,SparkConf,
SparkContext
}importscala.collection.mutable/***统计每个学科最受欢迎的老师前N名**利用TreeSet进行数据优化
LJ2415
·
2018-12-11 22:19
Spark-core
pyspark学习笔记(一):Spark Web UI的使用
SparkContext
是Spark应用程序的入口。所有的Sparkjob都从SparkCo
Never-Giveup
·
2018-12-04 11:36
大数据PySpark学习笔记
Scala入门案例---Wordcount
{SparkConf,
SparkContext
}objectScalaWordCount{defmain(args:Array[String]):Unit={if(args.size!
码动乾坤
·
2018-12-04 01:03
Scala
用spark实现单词统计
{SparkConf,
SparkContext
}/***用spark实现单词统计*/objectSparkWordCount{defmain(args:Array[String]):Unit={/***
哪有天生的学霸,一切都是厚积薄发
·
2018-12-03 20:59
Spark
Spark学习(肆)- 从Hive平滑过渡到Spark SQL
spark-shellspark-sqlthriftserver&beeline的使用jdbc方式编程访问SQLContext的使用Spark1.x中SparkSQL的入口点:SQLContextvalsc:
SparkContext
-无妄-
·
2018-12-03 15:52
Spark学习笔记
【Spark内核源码】
SparkContext
一些方法的解读
目录创建SchedulerBackend的TaskScheduler方法设置并启动事件总线发布环境更新的方法发布应用程序系统的方法在【Spark内核源码】
SparkContext
中的组件和初始化已经介绍了
lazy_moon
·
2018-12-03 12:51
Spark内核源码
pyspark学习之自定义分区
frompysparkimportSparkContext,SparkConfconf=SparkConf()sc=
SparkContext
(conf=conf)defMyPartition(x):s
植与恋恋
·
2018-12-02 14:56
spark
Spark的累加器(Accumulator)的使用要点
1、累加器的创建 在驱动器节点中,调用
SparkContext
.accumulator(initialValue)方法,创建出存有初始值的累加器。
jikuibu
·
2018-11-28 00:00
spark
SparkSession的使用
简单的来说,SparkSession是Spark2.0版本中
SparkContext
更好用的接口packagecom.imooc.sparkimportorg.apache.spark.sql.SparkSession
翰文不是瀚
·
2018-11-22 23:17
spark
SparkContext
任务本地开发与服务器运行
正确启动spark的本地模式与standalone模式之后,我们进入spark项目的开发。1.本地开发:在IDEA中新建一个maven工程:1)maven基础坐标如下:com.imooc.sparksql1.02)项目名称:ImoocSparkSqlProject3)在pom文件中修改scala与spark的版本信息org.scala-langscala-library${scala.versio
翰文不是瀚
·
2018-11-20 22:16
spark
spark源码解读
SparkContext
初始化操作privatevalcreationSite:CallSite=Utils.getCallSite()private[spark]vallistenerBus=newLiveListenerBus
hochoy
·
2018-11-16 11:12
spark
spark入门
DriverProgram就是程序员所设计的Spark程序,在Spark程序中必须定义
SparkContext
,它是开发Spark应用程序的入口。
匪_3f3e
·
2018-11-15 21:52
sbt構建一個spark工程(scala+spark+sbt)
_importorg.apache.spark.
SparkContext
.
李固言
·
2018-11-12 13:17
Scala与Spark
Spark2.1.0——
SparkContext
概述
SparkDriver的初始化始终围绕着
SparkContext
的初始化。
SparkContext
可以算得上是Spark应用程序的发动机引擎,轿车要想跑起来,发动机首先要启动。SparkConte
泰山不老生
·
2018-11-12 10:23
大数据
Spark
Scala
Java
Hadoop
深入理解Spark
Caused by: java.io.NotSerializableException: org.apache.spark.
SparkContext
Userclassthrewexception:org.apache.spark.SparkException:Tasknotserializableatorg.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:298)atorg.apache.spark.util.ClosureCleaner$.o
很吵请安青争
·
2018-11-08 20:52
Spark
黑猴子的家:Spark Streaming 消费 kafka topic
{SparkConf,
SparkContext
黑猴子的家
·
2018-11-07 09:00
Spark
大数据之Spark(三)--- Spark核心API,Spark术语,Spark三级调度流程源码分析
一、Spark核心API-----------------------------------------------[
SparkContext
]连接到spark集群,入口点.
葛红富
·
2018-11-06 17:59
大数据
Spark
基于spark streaming的流数据处理和分析
Streamcontext相当于
sparkcontext
做实时处理就得用到setup之后如果close你需要重新创建一个,重启是不行的词频统计,streamcontextssc.start()执行之后,
null_水金admin
·
2018-11-06 14:15
大数据的点点滴滴
2 、SparkSQL编程入口SparkSession
1.要编写SparkSQL程序,必须通SparkSession对象pyspark.sql.SparkSession(
sparkContext
,jsparkSession=None)在spark1.x之前的版本中
风中一叶(Liko)
·
2018-11-04 18:41
Spark
ERROR
SparkContext
:无法指定请求的地址: bind: Service 'sparkDriver' failed after 16 retries!
18/10/2513:07:58WARNUtils:Service'sparkDriver'couldnotbindonport0.Attemptingport1.18/10/2513:07:58WARNUtils:Service'sparkDriver'couldnotbindonport0.Attemptingport1.18/10/2513:07:58WARNUtils:Service'sp
aweiy0515
·
2018-10-25 13:15
大数据spark
SparkStreaming 数据实时处理
SparkStreaming1、创建一个SparkConf()2、新建
SparkContext
3、新建StreamingContext(
SparkContext
,time间隔)4、|->socketTextStream
Round_Yuan
·
2018-10-25 09:56
大数据开发
spark中map与flatMap的区别
{SparkConf,
SparkContext
}objectMapAndFlatMap{defmain(args:Array[String]):Unit={valsc=newSparkCon
wubinghuan
·
2018-10-24 21:00
spark中广播变量的使用
{SparkConf,
SparkContext
} /** *Createdbyzx
李泽辰
·
2018-10-22 00:00
hadoop
Spark源码之连接簇
SparkContext
这就是我要说的
SparkContext
。在源码中对它有这样的描述MainentrypointforSparkfunctionality.AS
机器不能学习
·
2018-10-18 16:26
Spark源码之DAGScheduler
Spark源码之DAGScheduler介绍篇SparkApplication中的RDD经过一系列的Transformation操作后由Action算子导致了
SparkContext
.runjob的执行
小狼星I
·
2018-10-17 16:17
spark api学习之Dataset
_valsourceRdd=sparkSession.
sparkContext
.makeRDD(Seq(1,2,3,4))valsourceDF=sourceRdd.toDF("num")as[U:Encoder
仙人雨
·
2018-10-16 19:00
spark
api
【Spark内核源码】SparkConf,Spark的配置管控
我们编写Spark应用程序时,也会先创建SparkConf,并配置一些参数,再传递给
SparkContext
。下面试对SparkConf的源码进行的分析。
lazy_moon
·
2018-10-15 20:55
Spark内核源码
spark 如何防止内存溢出
在Spark程序中,
SparkContext
,DAGScheduler都是运行在Driver端的。
老子天下最美
·
2018-10-14 20:16
spark类知识
Spark Streaming执行流程源码剖析
一、StreamingContext初始化过程在SparkStreaming中使用StreamingContext来操作DStream,这也好比SparkCore中
SparkContext
对于RDD,DStream
不清不慎
·
2018-10-06 11:22
Spark
Spark源码剖析与调优
sparkSql demo I (sql方式)
{SparkConf,
SparkContext
}/***sparksql版本1.1x*sparksql第一个demo*/objectSparkSqlDe
念念不忘_
·
2018-10-05 18:48
spark
SparkSQL(3)——Spark SQL DataFrame操作
读取数据源创建DataFrame在spark2.0之后,SparkSession封装了
SparkContext
,SqlContext,通过SparkSession可以获取到SparkConetxt,SqlContext
Fenggms
·
2018-09-30 21:36
Spark
大数据学习之路85-spark2.0中的DataSet和DataFrame简介
DataSet是spark2.0提出来的新东西,我们来玩一下:这次我们就不用
SparkContext
了,所以我们也不需要SparkConf了。
爱米酱
·
2018-09-29 21:44
大数据
DAGScheduler 和 TaskScheduler 的关系
[Job==>1]在
SparkContext
的创建过程中,sc会创建DAGScheduler和TaskScheduler,DAGScheduler主要对application划分stage,创建一批task
Joseph25
·
2018-09-28 16:21
spark 通过 scala 读取数据 并且存入 mysql
{SparkConf,
SparkContext
}//把每个jsp的访问量,直接保存到Oracle数据中//spark-submit--masterlocal--classSaveMySQLSaveSQL
李景山-编程者
·
2018-09-27 10:37
spark
SparkStreaming
{SparkConf,
SparkContext
}objectStreamingWC{defmain(args:Array[String]):Unit={//StreamingContextvalconf
Cookie_fzx
·
2018-09-26 22:36
Spark
Spark操作数据库API
{SparkConf,
SparkContext
}objectIPLocation{valdata2MySQL=(iterator:Iterator[(String,Int)])=>{varconn:Conn
Cookie_fzx
·
2018-09-18 21:49
Spark
24-SparkSQL04
Functionfunctions.scalahobbies.txtalicejogging,Coding,cooking3linatravel,dance2caseclassLikes(name:String,likes:String)vallikes=spark.
sparkContext
.textFile
CrUelAnGElPG
·
2018-09-10 02:10
24-SparkSQL04
Functionfunctions.scalahobbies.txtalicejogging,Coding,cooking3linatravel,dance2caseclassLikes(name:String,likes:String)vallikes=spark.
sparkContext
.textFile
CrUelAnGElPG
·
2018-09-10 02:10
spark学习-30-spark2.2.0的
SparkContext
初始化
Spark源代码该怎么看,那就是看
SparkContext
类,只要你看懂了
SparkContext
,就懂得了Spark,因为这个是Spark程序的入口,也是最基础的。
九师兄-梁川川
·
2018-09-06 15:13
大数据-spark
上一页
19
20
21
22
23
24
25
26
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他