spark-submit

spark-submit工具参数说明

执行时需要传入的参数说明Usage:spark-submit[options][appoptions]参数名称含义--masterMASTER_URL可以是spark
serenity·2015-10-20 16:00

Spark修炼之道（高级篇）——Spark源码阅读：第一节 Spark应用程序提交流程

作者：摇摆少年梦微信号：zhouzhihubeyondspark-submit脚本应用程序提交流程在运行Spar应用程序时，会将spark应用程序打包后使用spark-submit脚本提交到Spark中运行
lovehuangjiaju·2015-10-19 12:00

spark-submit常见问题及其解决

概要编写了独立运行的SparkApplication之后，需要将其提交到SparkCluster中运行，一般会采用spark-submit来进行应用的提交，在使用spark-submit的过程中，有哪些事情需要注意的呢
m635674608·2015-10-16 00:00

spark on yarn运行产生缺jar包错误及解决办法

/bin/spark-submit/--classorg.apache.spark.examples.mllib.JavaALS/-
javastart·2015-10-03 11:00

spark-submit使用及说明

/spark-submit --master spark://hadoop3:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi
cjun1990·2015-09-21 16:00

Spark里几个重要的概念及架构

在spark-submit提交时有2种模式，client和cluster。
cjun1990·2015-09-18 10:00

Spark Executor在YARN上的内存分配

也可以在spark-submit命令时用参数--executor-memory设置。用于缓存
hammertank·2015-09-10 17:55

Spark任务提交jar包依赖解决方案

通常我们将spark任务编写后打包成jar包，使用spark-submit进行提交，因为spark是分布式任务，如果运行机器上没有对应的依赖jar文件就会报ClassNotFound的错误。
奔奔强·2015-08-28 16:40

Spark任务提交jar包依赖解决方案

通常我们将spark任务编写后打包成jar包，使用spark-submit进行提交，因为spark是分布式任务，如果运行机器上没有对应的依赖jar文件就会报ClassNotFound的错误。
wzq294328238·2015-08-28 16:00

spark on yarn的两种提交方式

和yarn-cluster模式一样，整个程序也是通过spark-submit脚本提交的。
ctor·2015-08-19 17:00

spark提交命令详解

/bin/spark-submit\--class--master\--deploy-mode\--conf=\...
wangxiaotongfan·2015-07-16 16:00

Scala-IDE Eclipse（Windows)中开发Spark应用程序，在Ubuntu Spark集群上运行

在进行实际的Spark应用程序开发时，常常会利用Window环境进行程序开发，开发测试好之后提交到Spark集群中利用bin/spark-submit脚本进行程序的发布运行，本教程教将一步一步地教大家如何进行该操作
lovehuangjiaju·2015-07-11 18:00

Spark-Submit提交作业过程

1.spark-submit脚本exec$SPARK_HOME/bin/spark-classorg.apache.spark.deploy.SparkSubmit"${ORIG_ARGS[@]}"2.SparkSubmit中的main函数defmain(args:Array[String]):Unit={ valappArgs=newSparkSubmitArguments(args) if
cjt1991·2015-06-22 15:00

Spark-submit提交任务到集群

1IDEA打包示例代码参考AMPCamp2015之SparkSQL，开发环境使用idea。首先需要将程序打包成jar选择projectstructure--》artifacts，由于集群已经有了运行依赖的jar包，打包时可以将这些jar包排除出去，以减小打包后的jar包的大小。点击ok，然后选择build--》buildartifacts，SparkSQLTest--》build，然后在工程目录的
kaiseu·2015-06-19 16:26

Spark Streaming 基本概念

themicro-batcharchitectureofSparkStreamingExecutionofSparkStreamingwithinSpark’scomponentsJAVA代码示例执行方式1：修改log4j的日志级别为error,不然会打印太多的日志2：将如下两个类导出一个jar3:nc-lkipport3:使用spark-submit
cloud-coder·2015-06-18 10:00

Spark学习之14：Spark on Yarn

这两种模式的区别是：yarn-cluster模式下，Driver运行在集群的NodeManager中；而yarn-client模式下，Driver运行于启动spark-submit的客户端。
ktlinker1119·2015-05-28 16:03

spark集群参数配置理解

line9中如果不配置，在运行spark-submit的时候需要用--jars参数指定这个依赖的jar文件
shen_jz2012·2015-05-24 17:00

spark-submit

Spark的bin目录下的spark-submit脚本用来启动集群上的应用程序。通过统一的接口此脚本可以使用Spark的所有支持 集群管理 功能,所以你不需要为每一个应用程序专门进行配置。
newlife111·2015-05-13 16:00

spark-submit常用参数

yarn模式默认启动2个executor，无论你有多少的worker节点standalone模式每个worker一个executor，无法修改executor的数量partition是RDD中的一个dataset，一般默认都是2个executor中的task数量由partition数(最后一个stage的partition数)决定Options: --masterMASTER_URL       
lsshlsw·2015-05-11 15:00

Spark学习之3：SparkSubmit启动应用程序主类过程

本文主要讲述在standalone模式下，从bin/spark-submit脚本到SparkSubmit类启动应用程序主类的过程。
ktlinker1119·2015-04-22 11:41

蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验

一、所遇问题由于在IDEA下可以方便快捷地运行scala程序，所以先前并没有在终端下使用spark-submit提交打包好的jar任务包的习惯，但是其只能在local模式下执行，在网上搜了好多帖子设置VM
网埠头·2015-04-14 16:53

蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验

一、所遇问题      由于在IDEA下可以方便快捷地运行scala程序，所以先前并没有在终端下使用spark-submit提交打包好的jar任务包的习惯，但是其只能在local模式下执行，在网上搜了好多帖子设置
cafuc46wingw·2015-04-14 16:00

Apache Spark技术实战之6 -- spark-submit常见问题及其解决

概要编写了独立运行的SparkApplication之后，需要将其提交到SparkCluster中运行，一般会采用spark-submit来进行应用的提交，在使用spark-submit的过程中，有哪些事情需要注意的呢
javastart·2015-03-13 16:00

Apache Spark技术实战之6 -- spark-submit常见问题及其解决

概要编写了独立运行的SparkApplication之后，需要将其提交到SparkCluster中运行，一般会采用spark-submit来进行应用的提交，在使用spark-submit的过程中，有哪些事情需要注意的呢
javastart·2015-03-09 12:00

Spark源码系列（一）spark-submit提交作业过程

前言折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。 这个是Spark的App运行图，它通过一个Driver来和集群通信，集群负责作业的分配。今天我要讲的是如何创建这个DriverProgram的过程。作业提交方法以及参数我们先看一下用SparkSubmit提交的方法吧，下面是从官方上面摘抄的内容。#RunonaSparkstandalonecluster
wbj0110·2015-02-26 15:00

Spark源码系列（一）spark-submit提交作业过程

前言折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。 这个是Spark的App运行图，它通过一个Driver来和集群通信，集群负责作业的分配。今天我要讲的是如何创建这个DriverProgram的过程。作业提交方法以及参数我们先看一下用SparkSubmit提交的方法吧，下面是从官方上面摘抄的内容。#RunonaSparkstandalonecluster
wbj0110·2015-02-26 15:00

Spark源码系列（一）spark-submit提交作业过程

前言折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。 这个是Spark的App运行图，它通过一个Driver来和集群通信，集群负责作业的分配。今天我要讲的是如何创建这个DriverProgram的过程。作业提交方法以及参数我们先看一下用SparkSubmit提交的方法吧，下面是从官方上面摘抄的内容。#RunonaSparkstandalonecluster
wbj0110·2015-02-26 15:00

【Spark三十五】Standalone集群+Client部署模式下用户提交任务的执行流程

通过spark-sumbit提交Standalone集群+Clientr部署模式下的程序的流程 spark-submit提交程序SparkSubmit相应提交程序请求由于是standalone集群+部署模式
bit1129·2015-01-31 13:00

【Spark三十五】Standalone集群+Client部署模式下用户提交任务的执行流程

通过spark-sumbit提交Standalone集群+Clientr部署模式下的程序的流程 spark-submit提交程序SparkSubmit相应提交程序请求由于是standalone集群+部署模式
bit1129·2015-01-31 13:00

第一个Spark程序（编码+Spark-submit提交运行）

[size=xx-large]第一个程序[/size]将搜狗实验室的日志分析，分析出查询排行榜；需要先将txt文件传到HDFS上，然后分析；程序代码：packagemain.scalaimportorg.apache.spark.{SparkContext,SparkConf}importorg.apache.spark.SparkContext._objectSogouQA{defmain(ar
congliibm·2014-12-23 15:23

第一个Spark程序（编码+Spark-submit提交运行）

第一个程序将搜狗实验室的日志分析，分析出查询排行榜；需要先将txt文件传到HDFS上，然后分析；程序代码： packagemain.scala importorg.apache.spark.{SparkContext,SparkConf} importorg.apache.spark.SparkContext._ objectSogouQA{ defmain(args:Array[S
congli·2014-12-23 15:00

spark实例：用spark-submit运行spark程序

本文记录了使用intellijidea新建项目、开发应用程序、打包应用程序，并使用通过spark-submit运行应用程序的过程。
chx3515·2014-12-17 00:53

spark on yarn运行产生缺jar包错误及解决办法

/bin/spark-submit\--classorg.apache.spark.examples.mllib.JavaALS\--masterlocal[*]\/opt/cloudera/parcels
mach_learn·2014-12-09 15:05

Apache Spark技术实战之6 -- spark-submit常见问题及其解决

概要 编写了独立运行的Spark Application之后，需要将其提交到Spark Cluster中运行，一般会采用spark-submit来进行应用的提交，在使用spark-submit的过程中
·2014-10-26 20:00

【04】Spark-Submit

/bin/spark-submit \   --class    --master  \   --deploy-mode  \   ... # other options    \   [application-arguments
xixicat·2014-06-28 15:00

使用IntelliJ IDEA开发Spark1.0.0应用程序

Spark1.0.0开发环境快速搭建中关于客户端IDE部分的内容，将具体描述：如何安装scala开发插件如何创建项目和配置项目属性如何编写源代码如何将生成的程序包至于如何运行程序包，请参见应用程序部署工具spark-submit
mmicky20110730·2014-05-13 15:17

使用IntelliJ IDEA开发Spark1.0.0应用程序

Spark1.0.0开发环境快速搭建中关于客户端IDE部分的内容，将具体描述：如何安装scala开发插件如何创建项目和配置项目属性如何编写源代码如何将生成的程序包   至于如何运行程序包，请参见应用程序部署工具spark-submit
book_mmicky·2014-05-13 15:00

Spark1.0.0 应用程序部署工具spark-submit

从Spark1.0.0开始，Spark提供了一个容易上手的应用程序部署工具bin/spark-submit，可以完成Spark应用程序在local、Standalone、YARN、Mesos上的快捷部署
book_mmicky·2014-05-13 15:00
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他