spark-submit

大数据技术，Spark任务调度原理 四种集群部署模式介绍

一、spark-submit任务提交机制spark-submit\--classorg.apache.spark.examples.SparkPi\--masterspark://ns1.hadoop:
喵感数据·2023-11-24 06:01

Spark YARN Cluster和Client两种不同提交模式区别：

SparkYARNCluster和Client两种不同提交模式区别文章目录SparkYARNCluster和Client两种不同提交模式区别Spark使用spark-submit启动应用程序deploy-mode
wang2leee·2023-11-23 21:48

Educoder中Spark任务提交

第1关：spark-submit提交#!
小施没烦恼·2023-11-23 20:19

spark launcher解读

本文主要承接上篇spark-submit解读后，来说说在spark-class.sh中调用org.apache.spark.launcher.Main，最后sparklauncher进行了怎样的操作。
凡尔Issac·2023-11-21 14:25

Spark 性能调优之并行度设置

stage中task数量，就称为这个stage上的并行度；为什么要设置并行度如果你按照集群能给的最大资源给当前Spark应用分配资源，但是你的并行度却没有达到你分配的资源，没有充分利用资源;假设：现在已经在spark-submit
fffalconer·2023-11-19 18:04

Spark 性能调优总结

/usr/local/spark/bin/spark-submit\--classcn.spark.sparktest.
星空下的那个人影·2023-11-17 10:09

Spark.示例

/bin/spark-submit\--classorg.apache.spark.examples.SparkPi\--masterlocal[2]\--deploy-modeclient\.
zhixingheyi_tian·2023-11-09 20:48

Spark源码解析之org.apache.spark.deploy.SparkSubmit源码解析

前面解读launch.main的时候已经了解了spark-submit的提交流程，这里大概看下流程。
南宫紫攸·2023-11-09 20:17

7. Spark源码解析之org.apache.spark.deploy.SparkSubmit源码解析

前面解读launch.main的时候已经了解了spark-submit的提交流程，这里大概看下流程。
訾零·2023-11-09 20:15

SparkML

提交spark任务bin/spark-submit\--classSparkML_lr_train\--maste
program chef·2023-11-08 20:46

大数据技术之 Spark 优化

资源的分配在使用脚本提交Spark任务时进行指定，标准的Spark任务提交脚本如下所示：bin/spark-submit\--classcom.a
大数据翻身·2023-11-08 06:38

3.使用spark开发第一个程序WordCount程序及多方式运行代码

目前在企业中大部分公司都是使用scala进行开发，后序的flink是基于java开发的，这与官网的引导有关，flink的源码在去scala化，基于此，将要实现以下几个目标：WordCount程序任务提交使用idea使用spark-submit
流月up·2023-11-04 09:51

spark源码之任务提交过程

一般在命令行我们会以spark-submit来提交自己的代码，并会以这个形式提交.
机器不能学习·2023-11-02 09:19

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2023-10-19 08:55

【Spark源码】spark-submit和Spark-class

首先从启动脚本开始看：bin/spark-submit\--classorg.apache.spark.examples.SparkPi\--masteryarn\--deploy-modecluster
陈小哥cw·2023-10-19 08:53

Spark-Submit参数设置说明

集群配置软件配置Hadoop2.6.0Spark2.2.0硬件配置三台服务器，32核64G500G总资源：32核64Gx3=48核192GYarn可分配总资源：48核60Gx3=144核180G默认情况下，yarn可分配核=机器核x1.5，yarn可分配内存=机器内存x0.8。提交作业:直接使用了Spark官方的example包，所以不需要自己上传jar包。参数列表如下所示：--classorg.
我在北国不背锅·2023-10-16 06:33

基于CentOS7、Hadoop2.7.7搭建Spark2.4.7、Zookeeper3.6.3并开启spark高可用模式

将Spark作业跑在Yarn上，首先需要启动Yarn集群，然后通过spark-shell或spark-submit的方式将作业提交到Yarn上
sirLateautumn·2023-10-13 15:56

对Spark中Driver的小研究

先说结论：1.Standalone模式中：client模式下，driver是spark-submit进程中开启的一个线程，然后通过反射执行driver代码的main方法。
程研板·2023-10-12 20:17

spark调优指南 面试专用

所分配的内存量driver端分配的内存数量二、在哪里分配这些资源在生产环凌晨中，提交spark作业时，用spark-submitshell脚本，里面调整对应的参数：/user/local/spark/bin/spark-submit
半_调_子·2023-10-12 07:42

Spark-submit 提交 报错 org.apache.spark.sql.execution.datasources.orc.OrcFileFormat could not be instant

e.commfromempejoindeptdone.deptno=d.deptno").filter("commisnotnull").write.parquet("/demp");spark-shell可以跑的通，spark-submit
路飞DD·2023-10-11 10:53

Spark_on_k8s开发说明文档

Sparkonk8s架构图提交任务的方式spark-submit介绍提交机制：①Spark创建一个SparkDriver运行在一个Kubernetespod容器里；②SparkDriver再去创建executors
YF_raaiiid·2023-10-10 01:27

Spark sql 从hive中读取数据

这种方式只适用在服务器上提交spark-submit时读取本集群hive中的数据valspark=SparkSession.builder()//项目名字，任意取.appName("five")//从hive
The_Boy_le·2023-10-09 05:02

Spark部署模式与作业提交

1.作业提交1.1spark-submitSpark所有模式均使用`spark-submit`命令提交作业，其格式如下：.
shangjg3·2023-10-05 05:20

[spark 之master HA]

资源调度结论验证（1）提交时，没有指定资源，$\color{red}{会占用每台机器(2台worker)的所有资源}$(每台机器会启动一个executor，每个executor会使用2个cores+1g内存)spark-submit
我去图书馆了·2023-10-04 21:59

Spark 调优 — 资源调优&参数调优

spark-submit参数具体如下：spark-submit\--queue${1}\#指定资源队列，否则默认default--masteryarn--deploy-mode${2}\#clientorcluster
daoxu_hjl·2023-10-03 02:50

【博学谷学习记录】超强总结，用心分享|狂野大数据课程【Spark On Yarn环境配置】的总结分析

/spark-submit\--masteryarn\--conf"spark.pyspark.driver.python
ZLWQ·2023-09-26 14:17

Spark on YARN 部署搭建详细图文教程

三、配置sparkonyarn环境3.1spark-env.sh3.2连接到YARN中3.2.1bin/pyspark3.2.2bin/spark-shell3.2.3bin/spark-submit(
Stars.Sky·2023-09-16 02:30

SPARK提交任务到Yarn集群的过程

/spark/bin/spark-submit\--masteryarn\//提交模式--deploy-modecluster\//运行的模式--classorg.apache.spark.demo\/
一个懒散的人·2023-09-13 10:30

Spark——Spark读写Oracle

Maven依赖本地IDEA执行Spark应用程序读取Oracle需要在pom.xml文件中添加如下依赖：com.oracle.database.jdbcojdbc812.2.0.1在集群上使用spark-submit
aof_·2023-09-12 00:20

spark history server配置使用

问题描述在Spark安装成功后，无论是通过spark-submit工具还是通过IntellijIDEA提交任务，只要在Spark应用程序运行期间，都可以通过WebUI控制台页面来查看具体的运行细节，在浏览器中通过地址
数据萌新·2023-09-11 05:26

Spark基础-任务提交相关参数

整理一下用过的spark相关的参数spark应用提交命令spark-submit的常用参数（使用spark-submit--help可以查看所有参数，有一些参数在下面的spark配置属性定义了，也没有额外列出
chencjiajy·2023-09-09 19:21

spark-submit的一些参数

–masterspark://masterhost:7077#指定主服务器名称和端口–executor-memory1G每个executor内存1G(Xmx=1G)，该参数和物理资源有关，设置过小运行内存就少,不够程序开销，设置过大，会造成内存浪费，导至实际使用的物理CPU核数会减少，速度反而慢。–executor-cores4启动4个核–driver-memory1G每个driver1G内存,因
walk walk·2023-09-09 06:51

Spark - 资源动态释放

>通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。##版本如下!
kikiki4·2023-09-07 16:06

pyspark基础入门demo

存在一些迷惑因此本文将详细的对一个入门demo讲述各个部分的作用1.基础操作启动spark任务#python脚本里spark=SparkSession.builder.appName(job_name).getOrCreate()-spark-submit
欧呆哈哈哈·2023-09-02 20:04

Spark有两种常见的提交方式：client 模式和 cluster 模式对机器 CPU 的影响

这两种方式对机器CPU的影响略有不同，请参考以下说明Client模式：在Client模式下，SparkDriver运行在提交任务的客户端节点上（即运行spark-submit命令的机器）。
墨卿风竹·2023-08-31 03:18

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2023-08-25 06:59

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2023-08-25 03:17

解决执行 spark.sql 时版本不兼容的一种方式

场景描述hive数据表的导入导出功能部分代码如下所示，使用assemble将Java程序和spark相关依赖一起打成jar包，最后spark-submit提交jar到集群执行。
骑着蜗牛向前跑·2023-08-19 17:17

pyspark资源配置

pyhton中，想像scala一样，对spark使用资源做指定，如：spark-submit\--principal$principal\--keytab$keytab\--nameTest\--masteryarn
Code_LT·2023-08-18 22:34

spark 带文件上集群，获取外部文件，--files 使用说明

本文讨论yarnclient和cluster模式spark-submit提交任务时添加文件spark-submit--filesfile_paths其中file_paths可为多种方式：file:,hdfs
Code_LT·2023-08-18 22:33

001 从 spark-submit 说起

所有脚本和代码以Spark3.0.1为准，Scala版本为2.12~（作为一个强迫症患者，为什么不选3.0.0，因为3.0.1是稳定版本）从spark-submit说起Spark应用程序通常是用spark-submit
Whaatfor·2023-08-16 19:15

pyspark使用anaconda后spark-submit方法

在使用pyspark提交任务到集群时，经常会遇到服务器中python库不全或者版本不对的问题。此时可以使用参数–archives，从而使用自己的python包来解决。实验步骤如下：测试代码使用jieba做分词，但服务器上面没有此库：importjiebajieba.initialize()frompyspark.contextimportSparkContextfrompyspark.confim
crookie·2023-08-14 09:23

spark-submit脚本

此spark-submit脚本可以配合定时任务，定时任务做定时5分钟（时间随你定，建议大于1分钟），用于监控spark实时任务，若spark实时任务挂掉，5分钟后会重新启动spark-submit脚本：
gofun·2023-08-07 07:37

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2023-08-01 23:41

spark-submit --files

一、原理  spark-submit--files通常用来加载外部资源文件，在driver和executor进程中进行访问  –files和–jars基本相同二、使用步骤2.1添加文件  spark-submit--filesfile_paths  其中file_paths可为多种方式：file:|hdfs://|http://|ftp://|local:（多个路径用逗号隔开）spark-subm
满床清梦覆星河·2023-07-26 17:18

Spark history server配置使用

问题描述在Spark安装成功后，无论是通过spark-submit工具还是通过IntellijIDEA提交任务，只要在Spark应用程序运行期间，都可以通过WebUI控制台页面来查看具体的运行细节，在浏览器中通过地址
小猪Harry·2023-07-24 20:01

Spark常规性能调优一：最优资源配置

资源的分配在使用脚本提交Spark任务时指定，标准的Spark任务提交脚本如下所示/usr/opt/modules/spark/bin/spark-submit\--classcom.star.spark.Stars
我是星星我会发光i·2023-07-20 11:08

126、Spark核心编程进阶之standalone cluster模式提交spark作业

,因为这种模式，会由master在集群中，某个节点上，来启动driver，然后driver会进行频繁的作业调度,此时driver跟集群在一起，那么是性能比较高的standaloneclient模式，在spark-submit
ZFH__ZJ·2023-07-18 17:13

Spark本地/集群执行wordcount程序

[在sparkshell中编写WordCount程序.执行步骤将spark.txt文件上传到hdfs上/usr/localhadoopfs-put打包maven项目将打包后的jar包上传到机器编写spark-submit
FantJ·2023-06-22 14:47

Spark任务中的log4j简单配置方法

这时可以在spark-submit的driverJVM参数中，打开log4j的调试开关：bin/spa
LittleMagic·2023-06-22 07:14
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他