spark-submit

Spark应用不能使用crontab启动问题的解决

问题我希望定时执行一个spark任务，来做数据同步在crontab中设定了定时启动spark-submit，到时间后，只有脚本的日志，并没有执行spark任务，尝试了脚本中的路径全部替换为绝对路径，依然不行原因
祗談風月·2022-02-16 19:14

Spark On Yarn环境原理

二、SparkOnYarn本质将Spark任务的pyspark文件，经过Py4J转换，提交到Yarn的JVM中去运行三、SparkONYARN需要的东西Yarn集群提交工具：spark-submit命令被提交的
EuropeanSheik·2022-02-11 11:14

Spark on k8s: 调试Driver Pod的方法

相关文章1.Sparkonk8s:调试客户端spark-submit进程通过前一篇博客的学习，已经学会了客户端spark-submit这个进程的调试方式，由于是本地进程整个过程还是比较方便的。
Kent_Yao·2022-02-11 08:33

spark-submit解读

本文基于spark1.6-CDH5.7.2讨论当执行spark-submit时，会产出如下操作：1、设置HADOOP_HOME=/opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2
凡尔Issac·2022-02-08 22:56

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2022-02-03 17:44

Spark整合Hive

spark-sql写代码方式1、idea里面将代码编写好打包上传到集群中运行，上线使用spark-submit提交2、sparkshell(repl)里面使用sqlContext测试使用，简单任务使用spark-shell
糟糟张·2021-11-13 22:00

Spark 架构，计算

2、spark-submit:通过程序脚本，提交相关的代码、依赖等来操作spark作业。最多见的提交任务的交互方式，简单易用、参数齐全。3、spark-sql:通过sql的方式操作spark作业。
JIE_ling8·2021-11-12 00:10

Spark中的两种模式

两种模式client-了解cluster模式-开发使用操作1.需要Yarn集群2.历史服务器3.提交任务的的客户端工具-spark-submit命令4.待提交的spark任务/程序的字节码--可以使用示例程序
lmandcc·2021-11-09 22:00

解析spark源码yarn-cluster模式任务提交

一，运行命令bin/spark-submit\--master
·2021-09-25 07:48

spark-submit 命令行参数学习

配置参数spark.driver.maxResultSize在yarn模式下spark的executor执行完action以后需要将结果数据传回给driver节点，参数限制了单个executor可以的最大结果大小，这样是为了保证driver的安全，防止因为数据量过大导致的driver端的oom问题，默认值为1G，最小值为1M，如果设置参数为0的话，即对文件不做任何限制。spark.deault.p
·2021-09-16 13:41

Spark学习记录之SparkCore核心属性

包含的模块有，SparkCore，SparkSQL，SparkStreaming，SparkMLib，SparkGraphXSparkSubmit例子Standalonebin/spark-submit
·2021-08-25 10:10

Spark - Standalone部署模式

client某个可以连Spark集群的服务器，通过spark-submit的shell脚本，启动SparkSubmit的时候，就会创建一个Application。
·2021-08-06 00:41

Spark - Application注册

SparkSubmit使用中提到了在standalone模式下，通过spark-submit提交集群中的应用程序的案例，这里就讲讲这个应用程序的注册到集群的过程。
·2021-08-02 21:03

Spark - Spark Submit使用

/bin/spark-submit\--class\--master\--deploy-mode\--conf=\...
·2021-07-27 19:46

【Spark系列】spark-submit提交参数调优

1.num-executors参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行速度是非常慢的。参数调优建议：每个S
木亦汐·2021-06-25 23:19

Spark on k8s: 调试客户端spark-submit进程

SparkonK8S模块的代码又臭又长，离我们上生产环境，也就一个debug的距离。干干巴巴，麻麻咧咧，盘它。。。前置条件你有一个可以提交Sparkonk8s作业的k8s集群，可以参考https://spark.apache.org/docs/latest/running-on-kubernetes.html，自己搭一个玩玩理论上没有也没关系，因为我们客户端进程只是一个本地的java程序，只是如果
Kent_Yao·2021-06-23 18:07

spark submit脚本指定传递给main方法的参数

为了方便调试，经常需要向main方法传递参数，但是目前很多博文介绍的大多都是关于spark-submit参数调优方面的。那么如何在sparksubmit脚本中向m
alexlee666·2021-06-20 00:28

Spark3.0源码解读----环境准备源码(Yarn集群)

Spark提交一个计算是调用spark-submit。
·2021-06-18 22:53

Spark-sql与hive整合运行在Yarn上，经典错误解决方案！

1.版本spark2.3.0hive1.2.12.错误现象jar通过spark-submit提交到yarn运行时报错如下：org.apache.hadoop.hive.ql.metadata.HiveException
文儿哥·2021-06-13 20:42

Spark on k8s: 调试Executor Pod的方法

相关文章1.Sparkonk8s:调试客户端spark-submit进程Sparkonk8s:调试DriverPod的方法前两篇博客已经将Sparkonk8s模块中涉及到的Client以及DriverPod
Kent_Yao·2021-06-09 21:39

Spark部署模式与作业提交

Spark所有模式均用spark-submit命令提交作业，其格式如下：.
N_S_R·2021-06-09 15:03

Spark - 资源动态释放

>通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。##版本如下!
kikiki4·2021-06-08 09:05

ERROR cluster.StandaloneSchedulerBackend: Application has been killed. Reason: Master removed app...

hadoop集群搭建完毕，spark-standalone集群搭建结束后，能正常启动bin/spark-submit\--classorg.apache.spark.examples.SparkPi\-
心之若涯·2021-05-19 16:17

Spark作业提交模式说明

Spark-Submit进程（在数据开发模块中为启动器Launcher）是Spark的作业提交命令，用于提交Spark作业，一般占用600MB以上内存，可以设置Launcher的内存配额。
sparkle123·2021-05-15 22:18

Spark学习笔记4

任务的提交以及Standalone集群模式的部署spark-submit首先需要打包代码，如果你的代码需要依赖其他的包环境则需要单独的打包这些依赖，应为cluster会将所有依赖的jar包分发到各个节点上进行使用
wangmin·2021-05-14 10:53

[源码剖析]Spark读取配置

以配置executor的memory为例，有以下三种方式：spark-submit的--executor-memory选项spark-defaults.conf的spark.executor.memory
牛肉圆粉不加葱·2021-05-12 13:23

Spark - 资源动态释放

>通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。##版本如下!
kikiki4·2021-05-10 21:04

集群上运行spark

2.独立集群管理器（1）spark-submit(jar)向独立集群管理器提交应用，需要把spark：//master:7077作为主节点参数递给spark-submit。
d33911380280·2021-05-03 08:23

[第二章] spark-yarn原理分析

spark在yarn上执行分两种：1：sparkyarn-cluster2：sparkyarn-client我们先说下yarn-cluster,1:我们把写好的程序打包在yarn集群的某一个客户端操作spark-submit
cariya·2021-04-25 13:57

Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream

Causedby:java.lang.ClassNotFoundException:org.apache.hadoop.fs.FSDataInputStreamCDH5.16.2执行spark-submit
怒上王者·2021-03-09 15:03

Spark-submit执行流程，了解一下

摘要：本文主要是通过Spark代码走读来了解spark-submit的流程。
华为云开发者社区·2020-12-14 14:51

Spark-submit执行流程，了解一下

摘要：本文主要是通过Spark代码走读来了解spark-submit的流程。
华为云开发者社区·2020-12-11 21:24

Spark：作业提交流程以及提交方式

上传到Spark机器，使用spark-submit提交作业。根据提交作业的模式启动Driver，并请求ClusterManager分配资源启动Executor线程。
厨艺养成中·2020-11-29 13:46

Spark - 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
大猪大猪·2020-10-11 00:00

Spark代码在集群上执行过程理解

总体上可以概述为4步：写DataFrame/Dataset/SQL代码（通过console或spark-submit提交代码）如果代码有效，Spark将此转成逻辑计划(LogicalPlan)Spark
Just Jump·2020-10-10 22:13

/spark-shell: line 44: 6609 Killed "${SPARK_HOME}"/bin/spark-submit --class

./spark-shell:line44:6609Killed"${SPARK_HOME}"/bin/spark-submit--class今天一直遇到spark异常，从来没有见到过这种异常，百度搜索也总是搜索不到，只能一个一个改配置文件，我以前的配置文件是配置了HADOOP_CONF_DIR=/root/hadoop-2.7.3/etc/hadoopexportJAVA_HOME=/root/l
天心有情·2020-09-17 13:21

spark-submit 提交任务报错 java.lang.ClassNotFoundException: Demo02

案例：把sparksql的程序提交到spark的单机模式下执行packagedemo01importorg.apache.spark.SparkContextimportorg.apache.spark.sql.SQLContextimportorg.apache.spark.SparkConfobjectDemo02{defmain(args:Array[String]):Unit={//创建配
Bonyin·2020-09-16 23:55

Spark提交应用读取配置信息的顺序

通过SparkConf对象配置的属性优先级最高；其次是对spark-submit或spark-shell通过flags配置；最后是spark-defaults.conf文件中的配置。
lcyGo·2020-09-15 21:18

windows安装Spark单机开发测试环境

每次都要打包上传jar包到服务器，提交spark-submit任务？难道不能直接在windows的IDE中直接右键运行？当然可以！
wingooom·2020-09-15 15:14

Spark修炼之道（高级篇）——Spark源码阅读：第一节 Spark应用程序提交流程

作者：摇摆少年梦微信号：zhouzhihubeyondspark-submit脚本应用程序提交流程在运行Spar应用程序时，会将spark应用程序打包后使用spark-submit脚本提交到Spark中运行
weixin_34113237·2020-09-15 03:29

spark on yarn-消除警告

DEBUG,consoleexportHADOOP_CONF_DIR=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop$SPARK_HOME/bin/spark-submit
Deng_huakai·2020-09-15 03:38

spark-submit 传递系统变量 或 自定义属性 的方法

现有Spark任务需要配置一些系统变量（注：并非环境变量）。在程序中可以通过在代码中进行配置：System.setProperty("prop","value");但是如果一些实际的生产环境，改动代码的话涉及到重新的测试和部署上线。这样就很麻烦了。java普通程序可以通过java-Dprop=value的参数来设置。hadoop的MapReduce程序也可以通过用ToolRunner来动态加载系统
Yano阳·2020-09-15 02:06

Spark修炼之道（高级篇）——Spark源码阅读：第一节 Spark应用程序提交流程

spark-submit脚本应用程序提交流程在运行Spar应用程序时，会将spark应用程序打包后使用spark-submit脚本提交到Spark中运行，执行提交命令如下：root@sparkmaster
五柳-先生·2020-09-15 02:27

SparkSQL toDF() java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/la

=sc.textFile(args(1)).map(_.split("")).map(x=>Order(x(0),x(1),x(2).toInt,x(3).toInt,x(4))).toDF()当使用Spark-submit
the_Chain_Warden·2020-09-15 02:19

Spark-submit 时出现java.lang.ClassNotFoundException

File=>ProjectStructure=>Modules将该类所在的包设置为Sources
the_Chain_Warden·2020-09-15 02:48

【源码分析】Spark on Yarn应用提交流程

本文直接从SparkSubmit说起，脚本提交过程在之前的《spark-submit脚本执行过程》文章中已经说明。
初心江湖路·2020-09-14 11:48

Spark Yarn 提交作业

之后将测试代码打包成jar包，上传到服务器，使用spark-submit提交作业。
yahuikiki·2020-09-14 01:46

Container exited with a non-zero exit code 15

仔细检查后发现是代码中创建sparkConf有setMaster("local[*]")定位到问题代码处：在平时开发中难免会本地测试一下然后提交集群验证，一定要注意提交到集群注释掉这个local，大多都会在spark-submit
初冬听雪·2020-09-13 11:24

Spark基础使用、配置总结

spark上传附件、加载py文件1.第一种方式：在spark-submit中加载spark-submit\--queuexxx\--archivesch_cut.zip#ch_cut\--py-fileslabel.py
nlpming·2020-09-13 10:23

Spark通信--client、master、worker间的通信

DAGScheduler3、构建TASKScheduler4、提交到worker、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、1.首先通过Spark-shell提交任务的时候，启动Spark-Submit
小码哥_6·2020-09-13 07:29
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他