spark-submit

远程运行pyspark程序报错的解决

先前已经测试过远程服务器上pyspark交互式环境和spark-submit命令均可正常运行。1.问题一报错：JAVA_HOMEnotset.最
狮子王123·2022-12-24 11:07

spark提交任务时出错

错误：1.运行：spark-submit\--masteryarn\--deploy-modeclient\--num-executors3\--executor-memory2G\--classcn.itcast.conversion.PageConversion
weixin_52822128·2022-12-15 11:41

Spark任务提交时报错bad substitution

Spark任务提交时报错badsubstitution问题描述在集群中使用spark-submit提交spark任务时，报错Exceptionmessage:/hadoop/yarn/local/usercache
Dennis985·2022-12-15 11:28

Spark独立集群安装

Spark独立集群安装配置并启动Spark集群配置免密登录配置环境变量配置workers配置spark-default.conf配置spark-env.sh启动Spark独立集群使用spark-submit
wux_labs·2022-12-14 22:22

Spark本地模式安装

Spark本地模式安装Spark软件安装使用交互式pyspark运行代码使用spark-submit提交代码Spark软件安装Spark本地模式即单机模式，以一个独立的进程，通过其内部的多个线程来模拟整个
wux_labs·2022-12-14 22:52

spark-submit 文件名、目录名或卷标语法不正确。 好像是 py 不能有空格，加了下划线可以了

spark-submit文件名、目录名或卷标语法不正确。
Jonathan Star·2022-12-14 14:11

spark-submit 高频可选参数及作用

目录前言常用可选参数例子前言在向集群提交任务时，通常会遇到内存不足、hive表中文乱码等情况，需要在submit时配置可选参数来解决相应的问题。本文对部分可选参数做一个小结。常用可选参数参考:Spark官方文档-SubmittingApplicationsspark-submit脚本位于Spark的bin目录中，用于在集群上启动applications。对于Python，可以使用spark-sub
November丶Chopin·2022-12-02 16:47

(已解决)执行spark-submit报错ERROR MapOutputTracker:70 - Missing an output location for shuffle 176

问题执行spark-submit报错ERRORMapOutputTracker:70-Missinganoutputlocationforshuffle176和Jobabortedduetostagefailure
我先润了·2022-11-22 11:30

PySpark 单机版(含spark-submit)

PySpark单机版(含spark-submit)前提条件JDK1.8Python3.7下载Spark2https://spark.apache.org/downloads.htmlhttps://archive.apache.org
yoshubom·2022-11-20 10:17

spark本地提交任务到远程集群报错:file does not exist

安装好以后使用spark-submit命令提交example中的SparkPi程序到集群：./spark-submit--clas
iFence·2022-11-17 10:11

Spark机器学习实战-问题汇总[持续更新]

问题问题1：mml.Lightgbm进行fit操作的过程中TypeError:‘JavaPackage’objectisnotcallable解决方法：这类问题一般都是在spark-submit或者sparkconfig
纯洁の小黄瓜·2022-05-03 07:44

Spark性能优化

Spark配置介绍Spark中的配置选项在四个地方可以进行配置，其中优先级如下：SparkConf（代码）>spark-submit或spark-shell命令行参数>spark-defaults.conf
Zhenng·2022-04-09 20:00

(超详细) Spark环境搭建（Local模式、 StandAlone模式、Spark On Yarn模式）

软件准备2、Hadoop集群搭建3、Anaconda环境搭建二、SparkLocal模式搭建1、Spark下载、上传和解压2、配置环境变量3、配置Spark配置文件4、测试5、补充：spark-shell、spark-submit
IT路上的军哥·2022-03-31 10:36

window安装python3后怎么用pyspark_Windows上的PyCharm 远程连接调试pyspark

在实验室配置了一个Spark集群，传统的方法就是在Windows本地开发项目，完了后打包，然后上传到Linux服务器上，最后执行spark-submit。
胡老师聊自考·2022-03-18 05:20

Spark应用不能使用crontab启动问题的解决

问题我希望定时执行一个spark任务，来做数据同步在crontab中设定了定时启动spark-submit，到时间后，只有脚本的日志，并没有执行spark任务，尝试了脚本中的路径全部替换为绝对路径，依然不行原因
祗談風月·2022-02-16 19:14

Spark On Yarn环境原理

二、SparkOnYarn本质将Spark任务的pyspark文件，经过Py4J转换，提交到Yarn的JVM中去运行三、SparkONYARN需要的东西Yarn集群提交工具：spark-submit命令被提交的
EuropeanSheik·2022-02-11 11:14

Spark on k8s: 调试Driver Pod的方法

相关文章1.Sparkonk8s:调试客户端spark-submit进程通过前一篇博客的学习，已经学会了客户端spark-submit这个进程的调试方式，由于是本地进程整个过程还是比较方便的。
Kent_Yao·2022-02-11 08:33

spark-submit解读

本文基于spark1.6-CDH5.7.2讨论当执行spark-submit时，会产出如下操作：1、设置HADOOP_HOME=/opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2
凡尔Issac·2022-02-08 22:56

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2022-02-03 17:44

Spark整合Hive

spark-sql写代码方式1、idea里面将代码编写好打包上传到集群中运行，上线使用spark-submit提交2、sparkshell(repl)里面使用sqlContext测试使用，简单任务使用spark-shell
糟糟张·2021-11-13 22:00

Spark 架构，计算

2、spark-submit:通过程序脚本，提交相关的代码、依赖等来操作spark作业。最多见的提交任务的交互方式，简单易用、参数齐全。3、spark-sql:通过sql的方式操作spark作业。
JIE_ling8·2021-11-12 00:10

Spark中的两种模式

两种模式client-了解cluster模式-开发使用操作1.需要Yarn集群2.历史服务器3.提交任务的的客户端工具-spark-submit命令4.待提交的spark任务/程序的字节码--可以使用示例程序
lmandcc·2021-11-09 22:00

解析spark源码yarn-cluster模式任务提交

一，运行命令bin/spark-submit\--master
·2021-09-25 07:48

spark-submit 命令行参数学习

配置参数spark.driver.maxResultSize在yarn模式下spark的executor执行完action以后需要将结果数据传回给driver节点，参数限制了单个executor可以的最大结果大小，这样是为了保证driver的安全，防止因为数据量过大导致的driver端的oom问题，默认值为1G，最小值为1M，如果设置参数为0的话，即对文件不做任何限制。spark.deault.p
·2021-09-16 13:41

Spark学习记录之SparkCore核心属性

包含的模块有，SparkCore，SparkSQL，SparkStreaming，SparkMLib，SparkGraphXSparkSubmit例子Standalonebin/spark-submit
·2021-08-25 10:10

Spark - Standalone部署模式

client某个可以连Spark集群的服务器，通过spark-submit的shell脚本，启动SparkSubmit的时候，就会创建一个Application。
·2021-08-06 00:41

Spark - Application注册

SparkSubmit使用中提到了在standalone模式下，通过spark-submit提交集群中的应用程序的案例，这里就讲讲这个应用程序的注册到集群的过程。
·2021-08-02 21:03

Spark - Spark Submit使用

/bin/spark-submit\--class\--master\--deploy-mode\--conf=\...
·2021-07-27 19:46

【Spark系列】spark-submit提交参数调优

1.num-executors参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行速度是非常慢的。参数调优建议：每个S
木亦汐·2021-06-25 23:19

Spark on k8s: 调试客户端spark-submit进程

SparkonK8S模块的代码又臭又长，离我们上生产环境，也就一个debug的距离。干干巴巴，麻麻咧咧，盘它。。。前置条件你有一个可以提交Sparkonk8s作业的k8s集群，可以参考https://spark.apache.org/docs/latest/running-on-kubernetes.html，自己搭一个玩玩理论上没有也没关系，因为我们客户端进程只是一个本地的java程序，只是如果
Kent_Yao·2021-06-23 18:07

spark submit脚本指定传递给main方法的参数

为了方便调试，经常需要向main方法传递参数，但是目前很多博文介绍的大多都是关于spark-submit参数调优方面的。那么如何在sparksubmit脚本中向m
alexlee666·2021-06-20 00:28

Spark3.0源码解读----环境准备源码(Yarn集群)

Spark提交一个计算是调用spark-submit。
·2021-06-18 22:53

Spark-sql与hive整合运行在Yarn上，经典错误解决方案！

1.版本spark2.3.0hive1.2.12.错误现象jar通过spark-submit提交到yarn运行时报错如下：org.apache.hadoop.hive.ql.metadata.HiveException
文儿哥·2021-06-13 20:42

Spark on k8s: 调试Executor Pod的方法

相关文章1.Sparkonk8s:调试客户端spark-submit进程Sparkonk8s:调试DriverPod的方法前两篇博客已经将Sparkonk8s模块中涉及到的Client以及DriverPod
Kent_Yao·2021-06-09 21:39

Spark部署模式与作业提交

Spark所有模式均用spark-submit命令提交作业，其格式如下：.
N_S_R·2021-06-09 15:03

Spark - 资源动态释放

>通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。##版本如下!
kikiki4·2021-06-08 09:05

ERROR cluster.StandaloneSchedulerBackend: Application has been killed. Reason: Master removed app...

hadoop集群搭建完毕，spark-standalone集群搭建结束后，能正常启动bin/spark-submit\--classorg.apache.spark.examples.SparkPi\-
心之若涯·2021-05-19 16:17

Spark作业提交模式说明

Spark-Submit进程（在数据开发模块中为启动器Launcher）是Spark的作业提交命令，用于提交Spark作业，一般占用600MB以上内存，可以设置Launcher的内存配额。
sparkle123·2021-05-15 22:18

Spark学习笔记4

任务的提交以及Standalone集群模式的部署spark-submit首先需要打包代码，如果你的代码需要依赖其他的包环境则需要单独的打包这些依赖，应为cluster会将所有依赖的jar包分发到各个节点上进行使用
wangmin·2021-05-14 10:53

[源码剖析]Spark读取配置

以配置executor的memory为例，有以下三种方式：spark-submit的--executor-memory选项spark-defaults.conf的spark.executor.memory
牛肉圆粉不加葱·2021-05-12 13:23

Spark - 资源动态释放

>通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。##版本如下!
kikiki4·2021-05-10 21:04

集群上运行spark

2.独立集群管理器（1）spark-submit(jar)向独立集群管理器提交应用，需要把spark：//master:7077作为主节点参数递给spark-submit。
d33911380280·2021-05-03 08:23

[第二章] spark-yarn原理分析

spark在yarn上执行分两种：1：sparkyarn-cluster2：sparkyarn-client我们先说下yarn-cluster,1:我们把写好的程序打包在yarn集群的某一个客户端操作spark-submit
cariya·2021-04-25 13:57

Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream

Causedby:java.lang.ClassNotFoundException:org.apache.hadoop.fs.FSDataInputStreamCDH5.16.2执行spark-submit
怒上王者·2021-03-09 15:03

Spark-submit执行流程，了解一下

摘要：本文主要是通过Spark代码走读来了解spark-submit的流程。
华为云开发者社区·2020-12-14 14:51

Spark-submit执行流程，了解一下

摘要：本文主要是通过Spark代码走读来了解spark-submit的流程。
华为云开发者社区·2020-12-11 21:24

Spark：作业提交流程以及提交方式

上传到Spark机器，使用spark-submit提交作业。根据提交作业的模式启动Driver，并请求ClusterManager分配资源启动Executor线程。
厨艺养成中·2020-11-29 13:46

Spark - 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
大猪大猪·2020-10-11 00:00

Spark代码在集群上执行过程理解

总体上可以概述为4步：写DataFrame/Dataset/SQL代码（通过console或spark-submit提交代码）如果代码有效，Spark将此转成逻辑计划(LogicalPlan)Spark
Just Jump·2020-10-10 22:13

/spark-shell: line 44: 6609 Killed "${SPARK_HOME}"/bin/spark-submit --class

./spark-shell:line44:6609Killed"${SPARK_HOME}"/bin/spark-submit--class今天一直遇到spark异常，从来没有见到过这种异常，百度搜索也总是搜索不到，只能一个一个改配置文件，我以前的配置文件是配置了HADOOP_CONF_DIR=/root/hadoop-2.7.3/etc/hadoopexportJAVA_HOME=/root/l
天心有情·2020-09-17 13:21
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他