E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
sparkcontext
PySpark on Yarn的相关依赖的解决方式
SparkonYarn分为client/cluster模式：对于client模式，Spark程序的Driver/
SparkContext
实例用户提交机上，该机器可以位于yarn集群之内或之外，只需要起能正常与
Kent_Yao
·
2020-04-04 23:30
Spark批量从HBase读出记录
hbase记录读出到RDDimportorg.apache.spark.SparkContextimportorg.apache.spark.SparkConfimportorg.apache.spark.
SparkContext
DeepMine
·
2020-04-04 01:39
4. Hadoop之旅——使用篇
SparkA.小文件过多解决方法：使用
SparkContext
下newAPIHadoopFile完成数据输入，指定org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormatB
zoyanhui
·
2020-04-03 16:26
Spark监控
Web界面每个
SparkContext
都会启动一个WebUI，默认端口为4040，显示有关应用程序的有用信息。
盗梦者_56f2
·
2020-04-03 08:40
Spark篇运行时消息通信
Spark运行时消息通信这里主要说明一下，当你launch一个Application之后，启动Main方法时，初始化
SparkContext
到注册Application,注册Executor以及TaskSchedulerImpl
kason_zhang
·
2020-04-03 01:39
Spark从入门到精通8：Spark客户端之Spark Shell的使用
这两种客户端相同点都是维护一个
SparkContext
对象，来向Spark集群提交任务；不同点是SparkSubmit只能提交任务，不能交互，而SparkShell是一个命令行工具，即可以提交任务，还可以人机交互
金字塔下的小蜗牛
·
2020-04-02 08:53
Spark从入门到精通7：Spark客户端之Spark Submit的使用
这两种客户端相同点都是维护一个
SparkContext
对象，来向Spark集群提交任务；不同点是SparkSubmit只能提交任务，不能交互，而SparkShell是一个命令行工具，即可以提交任务，还可以人机交互
金字塔下的小蜗牛
·
2020-04-02 08:47
spark创建rdd,DataFrame,Spark SQL
SparkContextfrompyspark.sqlimportSparkSession,Row'''基本RDD“转换”运算'''conf=SparkConf().setMaster("local").setAppName("MyApp")sc=
SparkContext
BlueCat2016
·
2020-03-30 09:54
RDD常见算子
转换(transformations)和行动(action)转换算子:将一个RDD转换为另一个RDD,这种变换并不触发提交作业,完成作业中间过程处理行动算子:将一个RDD进行求值或者输出,这类算子会触发
SparkContext
终生学习丶
·
2020-03-30 05:51
Spark Job运行（下）
SparkJob执行流程大体如下：用户提交Job后会生成
SparkContext
对象，
SparkContext
向ClusterManager（在Standalone模式下是SparkMaster）申请Executor
雨果等夏天
·
2020-03-30 01:25
SparkContext
组件之SparkEnv
在
sparkContext
中会创建该对象。
简陋的小屋
·
2020-03-29 21:07
SparkContex源码解读（二）
前一篇内容为：SparkContex源码解读（一）http://www.jianshu.com/p/9e75c11a50815.
SparkContext
如何在三种部署模式Standalone、YARN、
lehi
·
2020-03-27 21:57
Spark算子总结版
2）Action行动算子：这类算子会触发
SparkContext
提交Jo
姚兴泉
·
2020-03-25 23:32
Spark启动时的master参数以及Spark的部署方式
SparkConf时，或者提交Spark任务时，都会有master参数需要设置，如下：conf=SparkConf().setAppName(appName).setMaster(master)sc=
SparkContext
geekpy
·
2020-03-21 11:47
Spark 任务调度之 Driver 发送 Task 到 Executor
Driver发送Task到ExecutorSparkContext初始化完毕后，执行用户编写代码SparkPi中调用RDD的reduce，reduce中调用
SparkContext
.runJob方法提交任务
博弈史密斯
·
2020-03-19 21:26
Spark菜鸟的进阶之路之RDD编程二
1、创建RDDSpark提供了两种创建RDD的方式：（1）读取外部数据集（2）在驱动程序中对一个集合进行并行化创建RDD最简单的方式就是把程序中一个已有的集合传给
SparkContext
的parallelize
独行者独行者
·
2020-03-19 09:33
Spark Python API Docs(part three)
pyspark.streamingmoduleModulecontentsclasspyspark.streaming.StreamingContext(
sparkContext
,batchDuration
盗梦者_56f2
·
2020-03-17 10:50
spark:
SparkContext
原理
1.创建
SparkContext
会createTaskScheduler()，DAGScheduler,SparkUI.createTaskScheduler在里面会创建3个对象，TaskSchedulerImpl
过江小卒
·
2020-03-17 08:40
When Spark WEB UI Fails Your Application
相关配置ConfigurationDefaultValueMeaningspark.ui.port4040每个
SparkContext
都会启动一个WebUI，默认端口为4040；如果多个SparkContexts
Kent_Yao
·
2020-03-17 03:49
Spark经典案之求最大最小值
{SparkConf,
SparkContext
}/***业务场景：求最大最小值*CreatedbyYJon2017/2/8.*/objectcase5{defmain(args:Arra
__豆约翰__
·
2020-03-16 16:12
RDD如何设置分区数
{SparkConf,
SparkContext
}objectInterview{de
chenyanlong_v
·
2020-03-15 14:10
Spark
spark的groupByKey、reduceByKey的算子简单使用
{Partition,Partitioner,SparkConf,
SparkContext
}importscala.collection.mutable.ArrayBu
閫嗛
·
2020-03-14 06:57
案例实现-求用户访问学科的子网页top3-chache
{HashPartitioner,Partitioner,SparkConf,
SparkContext
}importscala.collection.mutable/***缓存机制*自定义一个分区
lehuai
·
2020-03-13 12:48
提交任务到集群
{SparkConf,
SparkContext
}objectWordCount{defmain(args:Array[String]):Unit={valconf=newSparkConf().setAppNam
14142135623731
·
2020-03-12 19:40
spark初试牛刀（python）
frompysparkimportSparkConf,SparkContextconf=SparkConf().setMaster("local[*]").setAppName("First_App")#配置环境sc=
SparkContext
志明S
·
2020-03-06 17:43
CS190 Scalable Machine Learning Spark -Spark Tutorial
sparkML参考文档:ApacheSparkSpark'sPythonAPIPythonSparkContext创建
SparkContext
后，向master要资源，master分配资源给sc。
简简单单书写
·
2020-03-03 17:17
GraphX图的创建
如何构建图GraphX构建图的方式很简单，分为3步：构建边RDD构建顶点RDD生成Graph对象valmyVertices:RDD[(Long,String)]=spark.
sparkContext
.makeRDD
AGUILLER
·
2020-03-03 07:15
graph
3.2 Spark调度机制
3.2.1Application的调度Spark中，每个Application对应一个
SparkContext
。
SparkContext
之间的调度关系取决于Spark的运行模式。
Albert陈凯
·
2020-03-02 06:05
案例需求-求用户在某基站停留的时间
{SparkConf,
SparkContext
}/***统计用户对每个学科的各个模块访问的次数的top3*/objectObjectCount1{defmain(args:Array[String]
lehuai
·
2020-02-27 15:42
spark2.0-executor分配机制源码学习
跟踪这一块的源代码应该从
SparkContext
类开始。当用户newSparkContext时，会执行该类中定义在classbody中的代码。
疯狂的轻骑兵
·
2020-02-27 12:37
spark常见转换算子（transformation）的操作
{SparkConf,
SparkContext
}importorg.apache.spark.rdd.RDDimportscala.collection.mutable.ArrayBuffer//常见转换算子
閫嗛
·
2020-02-26 18:28
Parquet元数据合并
{SparkConf,
SparkContext
}importorg.apache.spark.sql.{SQ
不圆的石头
·
2020-02-25 13:21
spark RDD 编程
Spark也可以支持文本文件，SequenceFile文件和其他符合HadoopInputFormat格式的文件2：调用
SparkContext
的parallelize方法，在Driver中一个已经存在的集合
起个什么呢称呢
·
2020-02-24 23:43
spark-源码-action算子触发
基于spark1.6创建完
SparkContext
，然后执行Action算子当RDD执行Action算子时（形成一个job），会将代码提交到Master上运行，例如wordcount的action算子collect
scandly
·
2020-02-22 10:51
spark-shell读写HBase,RDD方法,HFile写入
亲测有效spark-shell--jars/home/wsy/jars/hbase-spark-1.2.0-cdh5.7.1.jardefreadHbase(sc:org.apache.spark.
SparkContext
HUAWEIMate20
·
2020-02-21 04:02
Spark Job调度
这种情况很常见，
sparkContext
提供了一种公平调度的机制。spark程序间的调度
frmark
·
2020-02-20 07:10
Spark wordcount开发并提交到单机(伪分布式)运行
{SparkConf,
SparkContext
}/***CreatedbyJuvenileon2017/2/24.
fengshunli
·
2020-02-18 22:11
spark中删除文件夹
hadoopfs-rmpath2.通过设置可直接覆盖文件路径，此方法我没有测试yourSparkConf.set("spark.hadoop.validateOutputSpecs","false")valsc=
SparkContext
刘凯歌
·
2020-02-18 14:21
Apache Spark 2.2.0 中文文档 - 集群模式概述 | ApacheCN
组件Spark应用在集群上作为独立的进程组来运行，在您的main程序中通过
SparkContext
来协调（称之为driver程序）。
片刻_ApacheCN
·
2020-02-17 00:40
spark-广播变量
{SparkConf,
SparkContext
}importorg.apache.spark.rdd.RDDobjectSharedVariab
閫嗛
·
2020-02-15 16:59
Spark 第三天
{SparkConf,
SparkContext
}//TODO统计某一时间段或时间点内每个模块的被访问此处，取出前三个次数最多的模块作为参考//2016112310152
想报复我就点我头像
·
2020-02-15 06:09
GraphX，GraphSON格式转换工具
摘要转换器实现了：1.根据用户输入的
SparkContext
，和文件路径，读取GraphSON格式文件，转换为GraphX所接受的graphRDD；2.用户输入GraphX的graphRDD，在指定文件路径输出
ljh_77ef
·
2020-02-15 05:18
Spark-Core源码精读(8)、TaskScheduler和SchedulerBackend
我们从
SparkContext
中的源码开始：val(sched,ts)=
SparkContext
.createTaskScheduler(this,master)追踪到
SparkContext
的createTaskScheduler
sun4lower
·
2020-02-15 01:36
RDD编程实践2-编写独立应用程序实现数据去重，实现求平均值问题
{SparkConf,
SparkContext
}objectcase2{defmain(args:Array[String]):Unit={valconf=newSparkConf().setMaster
宥宁
·
2020-02-14 19:00
Spark源码分析：
SparkContext
初始化
Spark源码分析：
SparkContext
初始化1.Spark怎么运行？
raincoffee
·
2020-02-14 08:43
Spark-Core源码精读(6)、
SparkContext
和SparkEnv
本文我们将详细分析
SparkContext
的源码。
sun4lower
·
2020-02-13 16:12
Spark 优化GroupByKey产生RDD[(K, Iterable[V])]
RDD触发机制在spark中,RDDAction操作,是由
SparkContext
来触发的.通过scalaIterator来实现.
wangqiaoshi
·
2020-02-13 07:45
spark 广播变量
创建广播变量的方式：valbc=
sparkContext
.broadCast()里面是传入一个变量。valvb=bc.value(
流砂月歌
·
2020-02-12 12:23
Spark实例-操作关系型数据库数据
{SparkConf,
SparkContext
}/***
不圆的石头
·
2020-02-07 05:18
SparkStreaming基础
在SparkCore中，我们操作的数据都在RDD中，是Spark的一个抽象概念，也是一个抽象类，是由
SparkContext
对象sc转换得到的。
Z尽际
·
2020-02-06 21:19
上一页
15
16
17
18
19
20
21
22
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他