spark-submit

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2020-04-01 08:02

Spark常见调优，以及错误整理

以下是我提交任务常用的shell脚本SPARK_HOME=/opt/spark${SPARK_HOME}/bin/spark-submit\--verbose\#verbose选项来生成更详细的运行信息以做参考
wong小尧·2020-03-29 15:31

Spark 性能调优--资源调优

Spark的资源参数，基本都可以在spark-submit命令中作为参数设置Spark作业基本运行原理Spark作业基本运行原理spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的
Alex90·2020-03-29 15:18

1.5.1.3 spark-submit命令参数详解与调优

子目录：https://www.jianshu.com/p/9428e443b7fdspark-submit参数详解"[root@masterpyspark]$spark-submit-hUsage:spark-submit
寒暄_HX·2020-03-28 21:18

Spark - 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
大猪大猪·2020-03-23 11:27

【一小步】spark的first try，用intellij打包并spark-submit

记录常用脚本scp-r~/opt/hadoop-2.6.3/etc/hadoopspark@slave01:~/opt/hadoop-2.6.3/etc/scp-r~/opt/spark-1.6.0-bin-hadoop2.6/confspark@slave01:~/opt/spark-1.6.0-bin-hadoop2.6/du-sh./*|sort-rnintellij打包newscalapr
丁不想被任何狗咬·2020-03-23 08:45

Spark源码 —— 从 SparkSubmit 到 Driver启动

读完本文可以学到：当你用shell命令执行spark-submit之后，到你的代码开始正式运行的一些列知识和细节，恩...粗略的，要看的更细，可以按照流程自己撸源码哈~~~~SparkSubmitSpark-Submit
code_solve·2020-03-23 07:55

spark提交过程分析（standalone模式）

一、构造SparkContextPaste_Image.png1.1.在shell下，通过spark-submit命令将Application提交到集群,此时spark会通过反射的方式，创建和构造一个DriverActor
nicklbx·2020-03-22 11:44

Spark启动时的master参数以及Spark的部署方式

master参数需要设置，如下：conf=SparkConf().setAppName(appName).setMaster(master)sc=SparkContext(conf=conf)/bin/spark-submit
geekpy·2020-03-21 11:47

在集群上运行spark

/bin/spark-submit\--class--master\--deploy-mode\--conf=\...
lmem·2020-03-18 05:52

Hive on Spark调优

我们使用spark-submit提交
Jeffbond·2020-03-17 01:41

【Spark实战】SparkSQL实战

1实战环境使用Spark-Shell进行练习，Spark-Shell就是一种特殊的SparkSubmit，所以如果你想要使用Spark-Submit的话就需要使用IDE开发打成jar上传到节点上运行2数据格式格式如下
_和_·2020-03-11 14:11

Spark - 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2020-03-09 04:07

Kerberos集群下SPARK任务的用户代理测试

隶属于文章系列：大数据安全实战https://www.jianshu.com/p/76627fd8399c在参数中传入testyarn-nopwd的Kerberos凭证，使用集群上有的用户提交bin/spark-submit
xuefly·2020-03-05 06:58

spark从入门到放弃十一: 内核架构深度剖析之执行流程

图解：这里写图片描述说明：1.首先会将编写的程序jar包上传到有spark客户端的机器上通过spark-submit提交到集群上面取运行。这个jar在spark中
意浅离殇·2020-03-03 21:05

Spark内核架构深度剖析

内核架构剖析.png流程详解使用Standalone提交模式，将我们编写好的Application打成jar包上传到某Spark节点上，通过spark-submit提交Application，该命令运行后在该节点会通过反射的方式
SunnyMore·2020-03-02 09:31

Spark Streaming Failed to read checkpoint from directory ...

现象使用spark-submit提交一个SparkStreamingApplication至yarn集群,报错Causedby:java.lang.ClassNotFoundException:XXXStartup
牛肉圆粉不加葱·2020-03-02 07:16

spark-submit yarn错误解决

Spark集群提交模式Spark一般常用三种提交模式，local、独立集群、yarn1.提交配置优先级应用里面set的优先级>spark_submit参考：http://blog.csdn.net/xiaolang85/article/details/513642592.独立集群(前提是应用程序里没有配置setMaster或者将该值设置为master)Spark-submit--materspar
玄月府的小妖在debug·2020-02-25 09:30

Spark内核源码深度剖析：基于Yarn的两种提交模式深度剖析

4、如果，你要切换到第二种和第三种模式，很简单，将我们之前用于提交spark应用程序的spark-submit脚本，加上--master参数
凉意先生·2020-02-24 00:52

基于mesos集群中spark是如何提交任务的

首先看下command是怎么玩起来的我们通常情况下调用spark-submit提交任务，spark-submit脚本如下：ex
沈颖·2020-02-22 13:12

Oozie Kerberos环境下提交Spark-Sql任务

spark-sqlOozie暂时没有像hiveAction那样调用HiveCli实现类似的原生Action，sparkAction实现的是基于spark-submit提交自定义的Jar包，实现Spark-Sql
拔刺的少年·2020-02-22 09:26

pyspark 如何在 Spark on Yarn 中使用多个 .py 文件

Solution对于main.py依赖的util.py,module1.py,module2.py，需要先压缩成一个.zip文件，再通过spark-submit的--py--files选项上传到yarn
紫菜包饭哟嘻·2020-02-21 07:49

Spark 提交任务于参数解释

/bin/spark-submit\--classspark_streaming.SparkStreaming_first\--masterspark://master:7077\--deploy-modeclient
大数据在说话·2020-02-20 03:42

提交Spark作业，科学设定spark-submit参数

bin/spark-submit\--classcom.xyz.bigdata.calendar.PeriodCalculator\--masteryarn\--deploy-modecluster\-
LittleMagic·2020-02-12 20:15

Spark 源码阅读 2

pyspark扒开看下，实际作用语句是：exec"${SPARK_HOME}"/bin/spark-submitpyspark-shell-main--name"PySparkShell""$@"跟看/bin/spark-submit
Avanpourm·2020-02-12 04:53

pycharm + spark 的实现

在Windows上跑主要是为了测试，脚本没问题了，我们就需要把脚本上传到spark集群上并提交(spark-submit)运行。
盗梦者_56f2·2020-02-07 09:20

spark优化技巧(一)

#在生产环境中，提交spark作业时，用的spark-submitshell脚本，里面调整对应的参数：/usr/local/spark/bin/spark-submit\--classcn.spark.spar
Frank_8942·2020-02-05 20:51

利用Akka获取Spark任务的返回结果

通过spark-submit提交的任务都需要指定Main类作为程序的入口，Main类执行结束即Spark任务终结。如果需要通过外部程序实时向Spark任务提交数据并获取结果又该如何呢？
SamHxm·2020-02-05 17:03

Effective PySpark(PySpark 常见问题)

其实如果通过spark-submit提交程序，并不会需要额外安装pyspark,这里通过pip安装的主
祝威廉·2020-02-05 00:37

134、Spark核心编程进阶之spark-submit基础及例子

基础参数wordcount.sh/usr/local/spark/bin/spark-submit\--classcom.zj.spark.core.WordCountCluster\--masterspark
ZFH__ZJ·2020-02-02 00:15

idea使用project stucture，spark-submit时，Exception in thread "main" java.lang.SecurityException: Invalid

今天改用IDEA打包Spark代码，spark-submit时报：Exceptioninthread"main"java.lang.SecurityException:InvalidsignaturefiledigestforManifestmainattributes
zhanghuang·2020-02-01 02:00

spark-submit提交任务到集群，分发虚拟环境和第三方包

spark-submit提交任务的参数很多：Usage:spark-submit[options][apparguments]Usage:spark-submit--kill[submissionID]
落日峡谷·2020-01-15 22:00

spark-submit 说明

spark-submit任务提交spark-submit\--classsparksql.Oracle_Sqs_Hive\--masteryarn\--deploy-modecluster\/home/
鱼丸河粉·2020-01-10 17:00

135、Spark核心编程进阶之SparkConf、spark-submit以及spark-defaults.conf

默认的配置属性spark-submit脚本会自动加载conf/spark-defaults.conf文件中的配置属性，并传递给我们的spark应用程序加载默认的配置属性，一大好处就在于，我们不需要在spark-submit
ZFH__ZJ·2020-01-07 15:46

Spark#转#核心编程进阶-spark工程打包以及spark-submit详解

spark工程打包与spark-submit的关系我们在eclipse编写代码，基于sparkapi开发自己的大数据计算和处理程序将我们写好的spark工程打包，比如说java开发环境中，就使用mavenassembly
lyoungzzz·2020-01-06 06:48

Spark性能优化指南——初级篇

原文来我的公众号：Spark性能优化指南——初级篇一.Spark作业原理我们使用spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。
骑着龙的羊·2019-12-26 20:00

Spark系列——Spark On Yarn 资源申请流程

SparkOnYarn资源申请流程Client模式因为是Client模式，所以当我们Spark-Submit提交Spark任务的时候，会直接走到我们的main方法，进行SparkContext的初始化,
code_solve·2019-12-23 15:04

[spark] 从spark-submit开始解析整个任务调度流程

本文在spark2.1以StandaloneCluster模式下解析概述spark应用程序可以以Client模式和Cluster启动，区别在于Client模式下的Driver是在执行spark-submit
BIGUFO·2019-12-23 03:13

#转#Spark核心编程进阶-spark-submit示例以及基础参数讲解

使用spark-submit提交spark应用将我们的spark工程打包好之后，就可以使用spark-submit脚本提交工程中的spark应用了spark-submit脚本会设置好spark的classpath
lyoungzzz·2019-12-20 10:21

Spark-Core源码精读(3)、spark-shell(spark-submit)流程详解

本文将解读使用spark-shell的方式进入REPL的具体流程。注：本专题的文章皆使用Spark-1.6.3版本的源码为参考，如果Spark-2.1.0版本有重大改进的地方也会进行说明。shell部分下面我们来看一下当我们输入spark-shell--masterspark://master:7077时具体的执行流程，首先当然是看一下spark-shell.sh的源码，我们只选取了相对比较重要的
sun4lower·2019-12-20 09:12

Spark作业基本运行原理

当我们使用spark-submit提交一个Spark任务后，这个任务就会启动一个对应的Driver进程，然后根据你设置的部署模式（deploy-mode）的不同，Driver进程可能在本地启动，也可能在集群的某个工作节点上启动
简书生活2017·2019-12-19 15:26

【Spark 2.1.1 原理】Spark原理① spark-submit 源码级 2019_12_17

spark-submit命令完整解析图形化流程全流程命令重点摘要bin/spark-submitshell命令文件内容bin/spark-class文件内容↑↑↑↑↑↑Shell脚本部分总结↓↓↓↓↓↓
今心木目·2019-12-18 15:05

大数据学习十八：Spark调度流程

/bin/spark-submit会主动创建SparkContext】
RacyFu·2019-12-15 22:03

Spark性能调优-资源调优

Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。
数据萌新·2019-12-14 10:52

2 Spark独立应用程序编程

使用Scala编写的程序需要使用sbt进行编译打包，相应的，Java程序使用Maven编译打包，而Python程序通过spark-submit直接提交。
Silly_N_Fool·2019-12-14 07:39

Spark内核系列(一)Spark内核架构

架构流程图说明1.SparkContext初始化(Standalone模式)1.首先spark-submit提交Spark应用程序Application.2.提交之后spark会通过反射的方式创建和构造一个
再无风雨也无情_·2019-12-13 10:36

#转#Spark核心编程进阶-SparkConf、spark-submit以及spark-defaults.conf

默认的配置属性spark-submit脚本会自动加载conf/spark-defaults.conf文件中的配置属性，并传递给我们的spark应用程序加载默认的配置属性，一大好处就在于，我们不需要在spark-submit
lyoungzzz·2019-12-07 01:39

Windows上的PyCharm 远程连接调试pyspark

在实验室配置了一个Spark集群，传统的方法就是在Windows本地开发项目，完了后打包，然后上传到Linux服务器上，最后执行spark-submit。
Michaelhbjian·2019-12-06 17:42

Spark：Dynamic Resource Allocation【动态资源分配】

2.1Executor生命周期2.2ExecutorAllocationManager上下游调用关系3.总结与反思4.CommunityFeedback1.问题背景用户提交Spark应用到Yarn上时，可以通过spark-submit
TopGun_Viper·2019-12-02 05:19

SPARK优化

在生产环境中，提交spark作业时，用的spark-submitshell脚本，里面调整对应的参数：/usr/local/spark/bin/spark-submit\--classcn.spar
miss幸运·2019-12-01 22:55
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他