spark-submit

Spark 实践 - 客户端使用spark-submit提交Spark应用程序及注意事项

二、spark-submit提交程序语法使用spark-submit工具提交Spark应用程序的语法：.
13157330443·2019-11-27 21:07

使用 Livy Rest API 提交 spark 批量任务 （jar，Python， streaming）

image.pngLivy封装了spark-submit并支持远端执行。启动服务器执行以下命令，启动livy服务器。.
nummy·2019-11-08 06:19

《Spark指南》三、 提交应用程序

位于bin目录的spark-submit脚本用来在集群中运行应用程序，它以统一的接口支持所有类型的clustermanagers（包括独立模式、ApacheMesos模式和HadoopYARN模式）。
Flowaway·2019-11-07 18:27

sparkstreaming 筆記

是一种“一到多”（one-to-many）的映射算子，它可以将源DStream中每一条记录映射成多条记录扁平化ssc.start()//启动流式计算不应该将master参数硬编码到代码里，而是应用通过spark-submit
时待吾·2019-11-07 07:02

一次诡异的Spark作业卡住问题

今天在一个集群上通过spark-submit方式提交作业，但发现作业在运行不久后，控制台的日志就停住不变了，一直到CRT的session超时也没有变化，截图如下：!
橋声·2019-11-06 18:20

[语法]spark-submit常见问题及其解决

ApacheSpark技术实战之6--spark-submit常见问题及其解决-徽沪一郎-博客园http://www.cnblogs.com/hseagle/p/4052572.html?utm_source=tuicool&utm_medium=referral问题1由于Spark在计算的时候会将中间结果存储到/tmp目录，而目前linux又都支持tmpfs，其实说白了就是将/tmp目录挂载到内
葡萄喃喃呓语·2019-11-02 15:16

Spark性能调优

1.分配更多的资源--性能调优的王道真实项目里的脚本：bin/spark-submit\--classcom.xx.xx\--num-executors80\--driver-memory6g\--executor-cores3
evan_355e·2019-11-02 05:25

Spark之一：Spark任务运行的基本流程

Spark任务运行的基本流程客户端spark-submit指定任务提交给Master，Driver就会向Master注册Application（附带相关需要的资源）客户端提交任务spark-submit
qq_27241383·2019-10-16 20:15

[spark 之webUi的入门知识-1]

1、spark-shell与spark-submit的区别：就spark提交程序来说，最终都是通过spark-submit命令来实现的，不同的是spark-shell在运行时，会先进行一些初始参数的设置
我去图书馆了·2019-10-05 10:09

Spark On Yarn 提交后VCore显示错误

/bin/spark-submit\--classcom.jyn.secondtime.Seconds\--masteryarn\--deploy-modecluster\--driver-memory4g
我在北国不背锅·2019-09-21 12:33

Spark 系列（五）—— Spark 运行模式与作业提交

一、作业提交1.1spark-submitSpark所有模式均使用spark-submit命令提交作业，其格式如下：.
heibaiying·2019-09-21 10:29

yarn的clinet和cluster模式区别

1、你要切换到yarn-cluster或者yarn-client模式，很简单，将我们之前用于提交spark应用程序的spark-submit脚本，加上--master参数，设置为yarn-cluster
hulifang·2019-09-19 17:00

spark07

spark07spark运行原理：RDDObjectdriver提交代码，spark-submit运行main方法。
lilixia·2019-09-16 17:00

spark-submit提交报错: java.sql.SQLException: No suitable driver解决方法

一、问题出现背景：spark-submit提交程序运行时报错Userclassthrewexception:java.sql.SQLException:Nosuitabledriver，写入oracle
微步229·2019-08-21 16:08

记一次解决spark-submit写入oracle报错问题

先上代码：//结果数据临时写入odsresult.write.mode("append").format("jdbc").option("url",KlaAppEnv.ODSURL).option("dbtable",KlaAppEnv.ODSDB).option("user",KlaAppEnv.ODSUSER).option("password",KlaAppEnv.ODSPASSWORD).
珉辰·2019-08-20 10:38

Spark学习-2.4.0-源码分析-3-Spark 核心篇-Spark Submit任务提交

文章目录1.概述2.Spark应用程序执行流程简介3.SparkSubmit任务提交流程详解3.1第一步，编写用户脚本并用Spark-Submit提交3.1.1用户脚本内容3.1.2命令行日志3.1.3Spark-Submit
pre_tender·2019-08-18 15:51

spark提交scala代码

目的：通过spark-submit提交scala代码scala代码需要先编译才能在spark上跑工具：sbt下载地址sbt正式开始假设现在的地址是/home/sparknode/scalacode，则需要先
donger__chen·2019-08-11 22:04

Spark 系列（五）—— Spark 运行模式与作业提交

一、作业提交1.1spark-submitSpark所有模式均使用spark-submit命令提交作业，其格式如下：.
黑白影·2019-08-09 17:00

IDEA开发Spark项目sbt引入依赖

问题说明spark中运行项目有两种方式在spark-shell中导入依赖，编写代码，执行和在idea中写好应用，使用spark-submit方式提交到spark运行在使用idea开发spark应用时，引入依赖总是失败
cheyun8561·2019-08-08 09:00

大数据——Spark任务执行流程

Spark任务的执行流程文字详细描述通过对比和阅读源码，我们大致将Spark任务提交到运行分为以下20步进行描述，具体过程如下：1.将我们编写的程序打成jar包2、调用spark-submit脚本提交任务到集群上运行
kiss火葱花·2019-07-12 14:04

Spark系列 —— 本地Spark连接远程集群Hive(Scala/Python)

背景    很多时候，我们在编写好Spark应用程序之后，想要读取Hive表测试一下，但又不想操作(打jar包——>上传集群——>spark-submit)这些步骤时，那我们就可以在本地直连Hive，直接运行你的
A&F·2019-07-03 21:47

Spark-submit 测试任务提交

Spark-submit测试任务提交.
枫叶云·2019-07-02 10:47

Spark-submit参数说明

spark-submit[--options][apparguments]参数名称含义--masterMASTER_URL可设置模式如：spark://host:portmesos://host:portyarnyarn-clusteryarn-clientlocal
心有余力·2019-06-25 11:22

Tensorflowonspark 示例MNIST 提交到spark集群上运行的脚本

在官方示例中给出的模型存储路径是hdfs路径，但是在个人运行本示例时，脚本运行阻塞，最终超时报错解决办法有两种一将模型的存储路径设置为本地路径/usr/local/app/spark-2.3.1/bin/spark-submit
枫隐_5f5f·2019-06-24 10:24

Spark程序运行方式

Spark程序运行方式本文主要介绍Spark上传集群运行的过程及shell脚本的编写脚本文件编写参数介绍在linux环境下spark-submit指令打印如下[hadoop@hadoop01MyShell
大数据容器·2019-06-19 23:13

spark参数详解

spark的配置参数可以在多个地方配置，以executor的memory为例，有三个地方可以配置(1)spark-submit的--executor-memory选项(2)spark-defaults.conf
cxy1991xm·2019-06-15 14:31

Spark任务提交jar包依赖解决方案（开发阶段多次上传jar包比较慢，怎么办?）

通常我们将spark任务编写后打包成jar包，使用spark-submit进行提交，因为spark是分布式任务，如果运行机器上没有对应的依赖jar文件就会报ClassNotFound的错误。
爱上在路上的小破孩·2019-06-05 11:51

Futures timed out after [10 seconds]. This timeout is controlled by spark.executor.heartbeatInterva

问题描述：提交spark-submit时，在ssh终端提交没有问题，但是在代码中ssh登陆后，再提交命令就出现以下问题了，开始怀疑是用户问题，但是如果是用户问题，那么我在ssh终端同一个用户执行又执行正确
gucapg·2019-05-31 13:07

spark submit参数调优

Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。
kdy·2019-05-29 14:00

大数据学习（五）：如何使用 Livy提交spark批量任务

Livy封装了spark-submit并支持远端执行。启动服务器执行以下命令，启动livy服务器。.
猪笨是念来过倒·2019-05-21 15:15

SparkStreaming读写kerberos Hive（Yarn Cluster）

yarnCluster模式也可适用于从集群外部提交（接口机）提交命令spark-submit的最后一行为args参数，经多次尝试发现yarncluster模式通过该方式传入kerberos文件可行krb5
雾幻·2019-05-15 14:02

SparkStreaming读写kerberos HBase（Yarn Cluster）

yarnCluster模式也可适用于从集群外部提交（接口机）提交命令spark-submit的最后一行为args参数，经多次尝试发现yarncluster模式通过该方式传入kerberos文件可行krb5
雾幻·2019-05-15 14:54

SparkStreaming读写kerberos HDFS（Yarn Cluster）

yarnCluster模式也可适用于从集群外部提交（接口机）提交命令spark-submit的最后一行为args参数，经多次尝试发现yarncluster模式通过该方式传入kerberos文件可行krb5
雾幻·2019-05-15 14:17

log4j日志设置

前言Spark有多种方式设置日志级别，这次主要记录一下如何在spark-submit设置Spark的日志级别。
JackLeeLive·2019-05-10 10:25

Spark学习—— (4) 基本使用（Python）

Spark支持Java、Python、Scala、R语法，可以通过spark-shell（Scala）或pyspark（Python）进行交互式的操作，也可以用spark-submit提交用Java、Python
zhierzyc·2019-04-26 09:58

Spark配置——Spark Application的executor数的设定

我们通常都使用spark-submit来提交任务，对于不同的部署模式，需要使用不同的参数来指定executor数，实际生产环境中最常使用的部署模式就是
看得出的就是·2019-04-09 21:42

Spark Application执行流程

application（应用）其实就是spark-submit提交的spark应用程序。
蓝莓果粒茶·2019-04-08 22:29

SparkSubmit到YarnClient入门

Spark-Submit分析https://www.cnblogs.com/liangjf/p/8134645.html抛开spark-submit脚本提交spark程序https://blog.csdn.net
李月鹏·2019-03-21 21:18

【Spark调优】提交job资源参数调优

/bin/spark-submit\--classcom.ww.rdd.wordcount\--masteryarn\--deploy-mode
wwcom123·2019-03-19 22:00

使用spark-submit 提交第一个 spark 应用到集群中 & 使用 spark-shell 接口 运行spark 程序

/bin/spark-submit\--class\--master\--deploy-mode\--conf=\...
hellozhouq·2019-03-13 16:43

4.Spark环境搭建-spark history server配置使用

问题描述在Spark安装成功后，无论是通过spark-submit工具还是通过IntellijIDEA提交任务，只要在Spark应用程序运行期间，都可以通过WebUI控制台页面来查看具体的运行细节，在浏览器中通过地址
__元昊__·2019-03-10 15:38

spark history server配置使用

问题描述在Spark安装成功后，无论是通过spark-submit工具还是通过IntellijIDEA提交任务，只要在Spark应用程序运行期间，都可以通过WebUI控制台页面来查看具体的运行细节，在浏览器中通过地址
张明洋_4b13·2019-03-10 11:44

Spark2.4+Hive使用现有Hive仓库中的数据

hive-site.xml复制到$SPARK_HOME/conf目录下hive连接mysql的jar包(mysql-connector-java-8.0.13.jar)也要复制到$SPARK_HOME/jars目录下或者在spark-submit
lzw2016·2019-03-06 10:24

Spark 异常总结及解决办法

1、之前的几篇spark-submit报错:Exceptionin
董可伦·2019-02-28 08:04

[Spark基础]-- Spark sql使用(编程和 cli)

、使用编程方式举例：https://spark.apache.org/docs/2.2.0/sql-programming-guide.html#getting-started2、使用命令行可以理解为spark-submit
highfei2011·2019-02-25 14:38

spark 第一个简单实例wordcount

1.因为是采用idea开发，直接在maven项目上新建一个文件夹SparkWordCount和文件SparkWordCount.scala，利用maven打包后，spark-submit提交任务后，一直报错
a627082796·2019-02-21 10:44

基于standalone Spark内核架构深度剖析

基于standaloneSpark内核架构深度剖析编写spark应用程序打包成jar使用spark-submit模式提交集群上,通过反射方式,创建一个Driver(进程)一个Driver(进程)--执行我们的
有一束阳光叫温暖·2019-02-18 17:36

spark-submit 提交python外部依赖包

需求：使用pyspark的过程中，发现集群的python并没有安装自己需要的包，比如elasticsearch包等，这样就只能靠自己把包打上，然后才能被分发到集群的各台节点机器上，然后被执行，这里举个例子，如何加载自己的外部包1.创建模块构建spark_submit.py#-*-coding:utf-8-*-defspark_submit_test(key):return'executedata:
哈士奇说喵·2019-02-01 12:42

Error: Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster

今天搭建了一个sparkOnYarn的集群，我想测试一下集群是否正常，使用spark自带蒙特卡罗求圆周率的算法包，但是执行报错执行命令：bin/spark-submit\--classorg.apache.spark.examples.SparkPi
Alex_Sheng_Sea·2019-01-29 14:17

记一次HDFS Delegation Token失效问题（续）

在上篇讲到了，HDFSDelegationToken问题的解决方法是Spark-Submit方式可以进行解决，经过了一段时间的反思和查看Livy和Spark-Submit两者日志之后，有了一点新发现，并且测试认证了
迹_Jason·2019-01-22 00:00
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他