spark-submit

Spark中文手册10：spark部署：提交应用程序及独立部署模式

1.提交应用程序在Sparkbin目录下的spark-submit可以用来在集群上启动应用程序。它可以通过统一的接口使用Spark支持的所有集群管理器 ，所有你不必为每一个管理器做相应的配置。
wanmeilingdu·2016-05-09 21:00

spark读取oracle的

在spark中使用jdbc：在Spark-env.sh文件中加入:exportSPARK_CLASSPATH=任务提交时加入:spark-submit–masterspark://master:7077
九指码农·2016-05-05 15:18

spark读取oracle的

在spark中使用jdbc：在Spark-env.sh文件中加入:exportSPARK_CLASSPATH=任务提交时加入:spark-submit–masterspark://master:7077
qq_14950717·2016-05-05 15:00

Spark资源参数调优参数

Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。
levy_cui·2016-05-03 18:00

spark源码分析之Executor启动与任务提交篇

接下继续执行的就是Worker上的Executor进程了，本文继续分析整个Executor的启动与任务提交流程Spark-submit提交一个任务到集群通过的是Spark-submit通过启动脚本的方式启动它的主类
张鱼猫·2016-04-28 21:19

Spark Standalone与Spark on YARN的几种提交方式

spark-shell用于调试，spark-submit用于生产。
光于前裕于后·2016-04-26 22:46

Spark Standalone与Spark on YARN的几种提交方式

SparkStandalone的几种提交方式spark-shell用于调试，spark-submit用于生产。
Dr_Guo·2016-04-26 22:00

Spark组件之SparkR学习3--使用spark-submit向集群提交R代码文件data-manipulation.R

更多代码请见：https://github.com/xubo245/SparkLearning1.数据准备：1.1下载数据文件wgethttp://s3-us-west-2.amazonaws.com/sparkr-data/flights.csv1.2上传到hdfs：hadoopfs-putflights.csv./ 2.运行2.1默认本地运行：spark-submit--packagescom
bob601450868·2016-04-20 13:00

Spark组件之SparkR学习2--使用spark-submit向集群提交R代码文件dataframe.R

更多代码请见：https://github.com/xubo245/SparkLearning环境：spark1.5.2，R-3.2.11.examples1  dataframe.R 1.1文件来源：参考【1】./bin/spark-submitexamples/src/main/r/dataframe.R中代码运行有问题：hadoop@Master:~/cloud/testByXubo/spa
bob601450868·2016-04-20 12:00

Intellij Idea搭建Spark开发环境

在Spark快速入门指南–Spark安装与基础使用中介绍了Spark的安装与配置，在那里还介绍了使用spark-submit提交应用，不过不能使用vim来开发Spark应用，放着IDE的方便不用。
Ezioooooo·2016-03-30 14:27

Intellij Idea搭建Spark开发环境

在Spark快速入门指南–Spark安装与基础使用中介绍了Spark的安装与配置，在那里还介绍了使用spark-submit提交应用，不过不能使用vim来开发Spark应用，放着IDE的方便不用。
u012877472·2016-03-30 14:00

spark-submit

一旦用户的应用打包后，就可以使用bin/spark-submit脚本来启动，此脚本就会为Spark和它的依赖安排配置环境变量，还支持不同的集群管理和部署模式：.
MOBIN-F·2016-03-17 23:00

spark,scala

  集群中提交scalajob命令：        spark-submit    --class scala.line    --num-executors40    --driver-memory6g
nywsp·2016-03-17 14:00

Spark Standalone模式下操作有kerberos保护的Hbase时出现挂死的问题

经过调试，非spark程序中使用没问题，进而确定了票据和配置方法没有问题，通过深入排查，发现spark-submit进程内也是没有问题的，只有当任务分发出去后，也就是在exec
xyhshen·2016-03-16 16:27

使用IntelliJ IDEA配置Spark应用开发环境及源码阅读环境（基础）

在本地搭建好Spark1.6.0后，除了使用官方文档中的sbt命令打包，spark-submit提交程序外，我们可以使用IntelliJIDEA这个IDE在本地进行开发调试，之后再将作业提交到集群生产环境中运行
鸡蛋大王·2016-03-04 00:00

使用PyCharm配置Spark的Python开发环境（基础）

在本地搭建好Spark1.6.0后，除了使用spark-submit提交Python程序外，我们可以使用PyCharm这个IDE在本地进行开发调试,提升我们的开发效率。
鸡蛋大王·2016-03-04 00:00

spark-submit提交任务时报错，Error initializing SparkContext

16/03/0400:21:09WARNSparkContext:UsingSPARK_MEMtosetamountofmemorytouseperexecutorprocessisdeprecated,pleaseusespark.executor.memoryinstead.16/03/0400:21:09ERRORSparkContext:ErrorinitializingSparkCont
北斗狼52cto·2016-03-03 16:06

spark-submit提交任务时报错，Error initializing SparkContext

16/03/0400:21:09WARNSparkContext:UsingSPARK_MEMtosetamountofmemorytouseperexecutorprocessisdeprecated,pleaseusespark.executor.memoryinstead.16/03/0400:21:09ERRORSparkContext:ErrorinitializingSparkCont
北斗狼52cto·2016-03-03 16:06

spark提交任务到集群

记录不会保存到master）spark-submit --class com.xx.ErrorCount --master spark://192.168.1.21:7077 --executor-memory
杰仪·2016-03-02 11:00

spark-submit提交应用程序的内部流程

我们经常通过spark-submit来提交spark应用程序，那么让我们一起看一下这里面到底发生了什么吧。
一路向前走·2016-02-27 18:00

Spark - ERROR Executor: Exception in tjava.lang.OutOfMemoryError: unable to create new native thread

Exceptionintaskxxxinstagexxx java.lang.OutOfMemoryError:unabletocreatenewnativethread 那么可能性非常大的原因是你当前通过spark-submit
bluishglc·2016-02-20 16:00

java.lang.NoSuchMethodError: com.google.common.collect.Sets.newConcurrentHashSet()异常解决思路

通过Spark-submit提交的任务抛出了java.lang.NoSuchMethodError:com.google.common.collect.Sets.newConcurrentHashSet
fengzheku·2016-02-18 19:51

大数据 IMF传奇 sparkpi 运行5万次

/spark-submit --classorg.apache.spark.examples.SparkPi --masterspark://master:7077  ..
duan_zhihua·2016-02-07 20:00

SparkStreaming运行出现 java.lang.NoClassDefFoundError: org/apache/htrace/Trace 错误

（2）运行spark-submit --class"com.yiban.datacenter.MyDat
ljy2013·2016-01-30 11:00

9.Spark之集群搭建4

6.运行Spark6.1使用spark-submit    spark-submit命令位于${SPARK_HOME}/bin目录下，用于提交spark程序。        
鞋底留个洞·2016-01-27 17:00

eclipse提交运行spark应用

  Spark应用提交的一般方式就是，将程序打包成jar包后，再使用spark-submit进行提交运行。  那么有没有可能直接用eclipse提交运行spark应用呢?  答案当然是可以的！  
莫问viva·2016-01-14 21:00

Invalid signature file digest for Manifest

在执行bin/spark-submit --master spark://192.168.22.110:7077 --class SimpleApp --executor-memory 1g firt_spark.jar
sucre·2016-01-13 14:00

spark 第三方jar包

/spark-submit–jars$LIBJARS–classtest.MyApp–masterlocalmyApp.jar在~/.bashrc加上foriin`ls/path/to/your/third
guotong1988·2016-01-08 12:46

spark 第三方jar包

/spark-submit–jars$LIBJARS–classtest.MyApp–masterlocalmyApp.jar在~/.bashrc加上foriin`ls/path/to/your/third
guotong1988·2016-01-08 12:00

Spark 报错: ERROR SparkUncaughtExceptionHandler rejected from java.util.concurrent.ThreadPoolExecutor

  最近在使用Spark做一些测试，将代码打包好后，使用Spark-Submit提交任务时，一直报错：16/01/0713:50:16INFOSparkContext:AddedJARfile:/root
dai451954706·2016-01-07 14:00

spark提交应用的全流程分析

spark提交应用的全流程分析@(博客文章)[spark]本文分析一下spark的应用通过spark-submit后，如何提交到集群中并开始运行。
lujinhong2·2015-12-17 16:00

方便调试spark参数的python脚本

utf-8 __author__='jwang' importos cmd_list=[] spark_submit='/usr/local/datacenter/spark/bin/spark-submit
softkf·2015-12-13 21:00

spark-submit提交任务到集群

1.参数选取当我们的代码写完，打好jar，就可以通过bin/spark-submit 提交到集群，命令如下：.
岁月留痕·2015-12-09 17:00

spark之5：配置文件

spark之5：配置文件@(博客文章)[spark]一、spark的参数设置方式1、spark配置文件加载顺序spark按以下优先级加载配置文件：（1）用户代码中显式调用set()方法设置的选项（2）通过spark-submit
lujinhong2·2015-12-04 10:00

spark java.lang.OutOfMemoryError: PermGen space

spark-submit时增加下面参数即可 --driver-java-options'-XX:MaxPermSize=8192M'
garbageaa·2015-12-03 07:00

spark-spawn a app via spark-shell VS spark-submit

 yep,ucansubmitaapptosparkensemblebyspark-submitcommand,e.g.spark-submit--masterspark://gzsw-02:7077--classorg.apache.spark.examples.JavaWordCount--verbose--deploy-modeclient~/spark/spark-1.4.1-bin-ha
leibnitz·2015-11-25 12:00

提交Python 代码到Spark

/spark-submit/usr/qy/test_pyspark.pytest_pyspark.py:#!
power0405hf·2015-11-21 15:00

spark-submit 提交Application

 在spark1.0中推出spark-submit来统一提交applicaiton .
·2015-11-13 02:46

spark1.0属性配置以及spark-submit简单使用

在spark1.0中属性支持三种配置方式： 1、代码 在代码中构造SparkConf时指定master、appname或者key-value等 val conf = new SparkConf(); conf.setAppName("WordCount").setMaster(" spark://hadoop000:7077") val sc =
·2015-11-12 23:06

Spark学习体系

安装部署 Spark安装简单介绍 Spark的源代码编译 Spark Standalone安装 Spark Standalone HA安装 Spark应用程序部署工具spark-submit
·2015-11-12 20:18

Spark1.0.0 应用程序部署工具spark-submit

从Spark1.0.0开始，Spark提供了一个容易上手的应用程序部署工具bin/spark-submit，可以完成S
·2015-11-11 19:02

spark-submit提交作业过程

/bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master local[8] \ /path/to
·2015-11-11 19:23

Spark目录

  Spark1.0.0 应用程序部署工具spark-submit 2.  Spark Streaming的编程模型 3.  使用java api操作HDFS文件 4.
·2015-11-11 13:03

Spark-1.5.1 on CDH-5.4.7

/bin/spark-submit #-HADOOP_CONF_
littlesuccess·2015-11-05 10:00

spark-submit简单操作

./spark-submit--masterjar包地址unzipsparkpi.jarrm-rf*.classbin./spark-submit--masterspark://master:7077--classSparkPi/root/IdeaProjects/sparkpi/out/artifacts/sparkpi_jar/sparkpi.jar ./spark-submit--maste
王上京小伙·2015-11-04 15:00

SparkStreaming+Flume出现ERROR ReceiverTracker: Deregistered receiver for stream 0: Error starting receiver 0 - org.jboss.netty.channel.ChannelException

hark0623/p/4204104.html ，转载请注明 我发现太多太多的坑要趟了… 向yarn提交sparkstreaming了，提交脚本如下，使用的是yarn-client spark-submit
·2015-10-31 12:32

Spark源码系列（七）Spark on yarn具体实现

在第一章《spark-submit提交作业过
·2015-10-26 15:17

Spark源码系列（一）spark-submit提交作业过程

前言 折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。     这个是Spark的App运行图，它通过一个Driver来和集群通信，集群负责作业的分配。今天我要讲的是如何创建这个Driver Program的过程。 作业提交方法以及参数 我们先看一下用Spark Submit提交的方法吧，下面是从官方上面摘抄的内容。 # R
·2015-10-26 15:13

spark 常用脚本

/bin/spark-submit\ --classorg.apache.spark.examples.SparkPi\ --masterspark://207.184.161.138:7077\
m635674608·2015-10-23 00:00

Spark学习笔记之-Spark 命令及程序入口

blog.csdn.net/lovehuangjiaju/article/details/48768371实际上可以看出spark各种脚本，spark-shell、spark-sql实现方式都是通过调用spark-submit
dandykang·2015-10-21 09:16
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他