spark-submit

通过 spark.files 传入spark任务依赖的文件源码分析

版本：spak2.3相关源码：org.apache.spark.SparkContext在创建spark任务时候，往往会指定一些依赖文件，通常我们可以在spark-submit脚本使用--files/path
diaoxie5099·2020-07-01 22:51

spark-submit 提交源码过程研究

/bin/spark-submit\--classorg.apache.spark.examples.SparkPi\--masterspark://207.184.161.138:7077\--executor-memory20G
scottzcw·2020-07-01 17:43

Spark - 资源动态释放

>通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。##版本如下!
kikiki4·2020-06-30 19:43

Spark 应用使用spark laucher提交应用 替代spark-submit脚本提交应用

使用Packageorg.apache.spark.launcher来提交spark应用接口摘要接口描述SparkAppHandle运行Spark应用的句柄SparkAppHandle.Listener获得句柄状态更新的监听器类摘要类描述AbstractLauncher启动器实现的基础类InProcessLauncherSpark应用的同进程（In-process）启动器SparkLauncher
上海菁数信息技术·2020-06-30 04:32

关于spark-submit之后，报错NoClassDefFoundError

NoClassDefFoundError：org.apache.hadoop.hdfs.server.namenode.NameNode这个问题，困扰了我五天时间，之前使用Eclispe打包之后，在云服务器上面运行。首先报错java.lang.NoClassDefFoundError:org/apache/hadoop/hbase/HBaseConfiguration。随之采取的操作是：将$HBA
Hiwes·2020-06-30 03:48

spark性能调优与数据倾斜

1.1分配资源资源包括：executor、cpuperexecutor、memoryperexecutor、drivermemory提交作业的时候采取如下方式/usr/local/spark/bin/spark-submit
豹变·2020-06-29 22:30

3种方式帮你完成J2EE业务系统根据taskID启动对应spark应用

1.根据taskID启动对应spark应用的方式1.1调用本地的shell脚步来启动spark的应用Java程序中调用本地的shell脚步来启动spark的应用shell脚步中是spark-submit
pomelorange·2020-06-29 18:19

【Python3实战Spark大数据分析及调度】第5章 Spark运行模式

第五章Spark运行模式PySpark实战之运行模式官方submit文档：SubmittingApplicationspyspark与spark-submit中的参数列表是一样的local模式下执行py
Melo丶·2020-06-28 21:46

spark-submit启动参数说明

启动参数/bin/spark-submit--masteryarn-cluster--num-executors100--executor-memory6G--executor-cores4--driver-memory1G--confspark.default.parallelism=1000--confspark.storage.memoryFraction=0.5--confspark.sh
谜碌小孩·2020-06-28 07:13

spark调优（二）：调节并行度

假设，现在已经在spark-submit脚本里面，给我们的spark作业分配了足够多的资源，比如50个executor，每个executor有10G内存，每个executor有3个cpucore。
weixin_33854644·2020-06-28 06:43

spark

模式下运行spark作业（1）如果想让spark作业可以运行在yarn上，那么首先必须在配置文件spark-env.sh文件中，配置HADOOP_CONF_DIR或者YARN_CONF_DIR属性，因为再使用spark-submit
weixin_30488313·2020-06-27 20:09

《二》spark并行度 调优

假设，现在已经在spark-submit脚本里面，给我们的spark作业分配了足够多的资源，比如50个executor，每个executor有10G内存，每个executor有3个cpucore。
MahatmaChen·2020-06-27 01:18

Spark 任务提交

提交的应用程序Spark的bin目录中的Spark-submit脚本用于在集群上启动应用程序。它可以通过一个统一的接口使用所有Spark支持的集群管理器，这样您就不必为每一个都配置您的应用程序。
利伊奥克儿·2020-06-26 21:55

Hive on Spark调优

我们使用spark-submit提交
听见下雨的声音hb·2020-06-26 21:34

spark-submit 提示错误java.lang.IllegalArgumentException: System memory 468189184 must be at least 4.7185

在运行spark-submit时会报错，是因为内存不足导致的，但是配置了driver-memory和executor-memory时都不行，报错：ERRORSparkContext:ErrorinitializingSparkContext.java.lang.IllegalArgumentException
sfm1314620·2020-06-26 08:38

spark提交方式总结

参考传送门：https://blog.csdn.net/zpf336/article/details/82152286spark入门之提交任务方式篇，spark的部署方式如下图：当用/bin/spark-submit
泛音青年·2020-06-26 07:24

Spark - 资源动态释放

>通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。##版本如下!
kikiki4·2020-06-26 03:39

Spark - 资源动态释放

>通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。##版本如下!
kikiki4·2020-06-25 17:19

python语言spark弹性分布式数据集-RDD（Spark快速大数据分析）（上）

官方文档：http://spark.apache.org/1.开始：Linux命令：spark-submit加py文件名py文件开始：importpysparkconf=pyspark.SparkConf
MeKa·2020-06-25 14:24

性能调优之在实际项目中调节并行度

假设，现在已经在spark-submit脚本里面，给我们的spark作业分配了足够多的资源，比如50个executor，每个executor有10G内存，每个executor有3个cpucore。
qq_25617289·2020-06-25 02:30

spark-submit 碰到 Spark-submit:System memory 466092032 must be at least 471859200

spark-2.4.0-bin-hadoop2.7/bin/spark-submit--master=yarnALS.py以上代码是在centos7，利用spark集群运行ALS.py代码，结果出现报错：Spark-submit
飘的心·2020-06-24 20:25

spark调优，调节并行度

假设，现在已经在spark-submit脚本中给我们的spark作业分配了足够的资源，比如50个executor,每个executor有10G内存，每个executor有3个cpucore.基本已经
mn_kw·2020-06-24 15:24

Spark - 资源动态释放

>通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。##版本如下!
kikiki4·2020-06-24 11:43

spark-submit介绍

文章作者：Tyan博客：noahsnail.com|CSDN|1.spark-submit介绍spark-submit脚本通常位于/usr/local/spark/bin目录下，可以用whichspark-submit
SnailTyan·2020-06-24 10:18

Spark 性能调优--资源调优

Spark的资源参数，基本都可以在spark-submit命令中作为参数设置**Spark作业基本运行原理**1.spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver
jacker_剑客·2020-06-24 07:54

Spark 应用程序两种java编程提交方式

/spark-submit提交自定义的spark应用程序。但是很多时候我们需要通过程序的方式提交spark应用程序。
bluebelfast·2020-06-24 05:24

spark参考

spark-submit参数:https://blog.csdn.net/englishsname/article/details/72864537Scalaapidoc:http://www.scala-lang.org
lianzhouxiaowu·2020-06-24 04:23

Spark 通过submit作业启动流程源码分析

/bin/spark-submit\--class\--master\--deploy-mode\--conf=\...
冬瓜螺旋雪碧·2020-06-24 02:55

spark性能调优之提高并行度

假设，现在已经在spark-submit脚本里面，给我们的spark作业分配了足够多的资源，比如50个executor，每个executor有10G内存，每个executor有3个cpucore。
淘之夭夭2016·2020-06-23 16:29

Spark spark-submit 提交的几种模式

local模式代码packagecom.imooc.spark.Testimportorg.apache.spark.sql.types.{StringType,StructField,StructType}importorg.apache.spark.sql.{Row,SaveMode,SparkSession}/***测试sparkContext案例*/objectTestOfSparkCon
huo_火力全开·2020-06-23 16:24

spark-submit提交python脚本过程记录

最近刚学习spark，用spark-submit命令提交一个python脚本，一开始老报错，所以打算好好整理一下用spark-submit命令提交python脚本的过程。
hgz_dm·2020-06-23 16:43

[Yarn基础]-- Yarn资源分配

背景在2018年11月的某一天，我发现spark-submit设置的资源参数未生效（–executor-cores10），仔细排查后定位是Yarn的分配策略使用有误，由于我们集群是使用Ambari安装的
highfei2011·2020-06-23 14:37

spark1.63升级到spark2.3.1环境变量配置

由于spark2.3需要jdk1.8的支持，因此spark-submit与spark-sql需要指定jdk版本，具体方式见测试用例1.修改个人用户配置文件.bashrc，注释以前的spark环境与java
cjlion·2020-06-22 23:08

Local模式下Spark程序只输出关键信息

使用spark-submit提交local任务时，会输出很多Info信息：-------------------------------------------Time:1495788633000ms-
an7800666·2020-06-22 14:08

spark的性能优化boss版

1.分配资源提交spark作业时，用的spark-submitshell脚本，里面调整对应的参数/usr/local/spark/bin/spark-submit\--classcn.spark.sparktest.core.WordCountCluster
吃胖点儿·2020-06-22 13:21

spark-submit 命令使用详解

spark-submit命令使用详解spark-submit用户打包Spark应用程序并部署到Spark支持的集群管理气上，命令语法如下：spark-submit[options][apparguments
XnCSD·2020-06-22 08:04

spark性能优化

executor-memory、executor-cores、num-executor1.2、在哪里设置这些资源在生成环境中，提交spark任务时，使用spark-submitshell脚本，可以调整对应的参数提交任务的脚本spark-submit
Imflash·2020-06-21 22:11

Spark程序流程，以及stage的划分原理，以WordCount为例

先上代码：以standalone模式任务提交脚本：spark-submit\--masterspark://node01:7077,node02:7077\--classcom.leox.wordcount
夏_a495·2020-04-22 16:20

详解spark提交流程(一)

详解spark提交流程（一）1.spark应用程序的机器2.shell中spark-submit脚本提交程序3.根据选择的提交方式决定driver进程所启动节点4.spark-submit方式为sparkstandalone
于颖超·2020-04-14 00:16

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2020-04-12 12:44

Spark（二十六）算子调优之使用repartition解决Spark SQL低并行度的性能问题

官网有推荐的设置方式，你的spark-submit脚本中，会指定你的application总共要启动多少个executor，
文子轩·2020-04-11 04:16

Spark运行原理

使用spark-submit提交一个作业之后，这个作业就会启动一个Driver来执行（cluster模式下Driver在集群中某个节点启动，client
蠟筆小噺没有烦恼·2020-04-10 13:26

接触spark可能会遇到的问题

可能会对你有所帮助，也可能对你一点帮助也没有Noconfigurationsettingfoundforkey'akka.version'spark的jar包不能通过java-jarxxx.jar来执行，需通过spark-submit
冬天只爱早晨·2020-04-09 22:59

Spark - 资源动态释放

>通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。##版本如下!
kikiki4·2020-04-09 10:48

Spark配置管理

二.Spark程序配置加载过程Spark程序一般都是由脚本bin/spark-submit来提交的，交互式编程bin/spark-shell其实也是通过它来提交的。
云山之巅·2020-04-08 20:00

spark history server配置使用

问题描述在Spark安装成功后，无论是通过spark-submit工具还是通过IntellijIDEA提交任务，只要在Spark应用程序运行期间，都可以通过WebUI控制台页面来查看具体的运行细节，在浏览器中通过地址
__豆约翰__·2020-04-08 00:20

pyspark 出现pyspark.sql.utils.IllegalArgumentException: 'requirement failed: Column prediction must be of type double but was actually float.'异常

在pyspark的交互式环境下调用pysark.ml中的MulticlassClassificationEvaluator执行下列命令做评估时会出现下面那个问题，但在代码中通过spark-submit提交时则可以正常运行
秋夜花开·2020-04-05 21:00

Spark实战（2）_Spark内核架构剖析

Standalone模式Spark内核架构剖析_Standalone模式提交Spark应用的机器，Application（自己的Spark程序），spark-submit（shell）提交Application
padluo·2020-04-03 15:09

Spark从入门到精通35：在eclipse中直接使用spark-submit提交Spark任务

本节就来介绍一种直接在EclipseIDE中通过调用外部工具spark-submit来直接提交spark任务的简便方法。这里以提交Python任务为例进行说明环境搭建。
金字塔下的小蜗牛·2020-04-02 09:04

Spark on Yarn 部分一原理及使用

SparkonYarn首先这部分分为源码部分以及实例部分，例子中包括最基本的通过spark-submit提交以及程序中提交yarn这里仅仅说明SparkonYarn的第一部分，分为三块：原理spark-submit
kason_zhang·2020-04-01 16:45
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他