spark-submit

spark-大表join优化方案

3~4T的大表进行Join拆分将任务数据分为多个结果RDD，将各个RDD的数据写入临时的hdfs目录，最后合并取所需的字段和数据，并去重，减少datashuffle的规模调整并行度和shuffle参数spark-submit
小蜗牛也有梦想·2017-06-09 14:03

spark-submit提交模式

/bin/spark-submit\--class\--master\--deploy-mode\--conf=\...
colossus_bigdata·2017-06-05 10:07

spark on yarn 异常记录二

通过spark-submit向集群提交任务时，–num-executors数量大于1即会出现异常，异常如下：17/06/0411:47:03WARNDefaultChannelPipeline:Anexception'java.lang.NoSuchMethodError
乄浅醉·2017-06-04 16:42

Spark性能优化：资源调优篇

Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。
m635674608·2017-06-03 16:00

Spark源码系列（一）spark-submit提交作业过程

http://www.cnblogs.com/cenyuhai/p/3775687.html前言折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。这个是Spark的App运行图，它通过一个Driver来和集群通信，集群负责作业的分配。今天我要讲的是如何创建这个DriverProgram的过程。作业提交方法以及参数我们先看一下用SparkSubmit提交的方法吧
dufufd·2017-05-25 08:56

sbt的安装以及用sbt编译打包scala编写的spark程序

众所周知，spark可以使用三种语言进行编写，分别是scala，phython，java三种语言，而且执行方式不同，Scala是用sbt编译打包，Java是用Maven进行编译打包，而phython则是用spark-submit
梦岚如雪·2017-05-18 17:59

spark-submit local本地运行问题

今天碰到一个很奇怪的问题，关于spark-submit三种运行模式：（1）本地local模式（2）在HadoopYARN-client模式（3）StandaloneCluster模式1问题描述首先说明一下我的集群
RiverCode·2017-05-10 16:17

Spark一系列入门流程

intellijidea2016.1.1,spark1.6.2(HDP),hadoop2.7.3(HDP)，scala2.10.5(编译环境),sbt管理依赖背景：spark单点运算不能解决大数据的问题的时候，就需要使用spark-submit
dufufd·2017-05-03 16:17

spark 提交任务参数说明

[size=medium]1.参数选取当我们的代码写完，打好jar，就可以通过bin/spark-submit提交到集群，命令如下：.
duncandai·2017-04-28 14:55

spark 提交任务参数说明

[size=medium]1.参数选取当我们的代码写完，打好jar，就可以通过bin/spark-submit提交到集群，命令如下：.
duncandai·2017-04-28 14:55

spark部署模式解析

如果使用spark-submit进行任务提交或者在ec
JasonZhangOO·2017-04-24 10:22

关于spark-submit报错java.lang.NoClassDefFoundError: scala/runtime/LambdaDeserialize

当使用spark-submit提交ScalaApp时，代码仅仅做了一个filter或者map操作。然后报了一长串的错。
Clockworkai·2017-04-23 08:55

Spark提交作业的流程以及作业是如何被触发在集群中运行的

首先使用脚本spark-submit将作业提交，这个过程实际上就是使用shell脚本调用java命令运行的SparkSubmit类的main方法，所以我们接下来需要看一下SparkSubmit的main
javartisan·2017-04-05 21:10

YARN上显示应用程序使用的vcores、memory不准确？

本文基于Spark2.1.0版本我们知道，使用yarn作为clustermanager时，spark（以client模式为例）用spark-submit提交应用程序（或者是spark-shell交互操作
俺是亮哥·2017-03-29 23:47

spark面试问题汇总（持续更新....）

spark-submit的时候如何引入外部jar包sparkshuffle的具体过程，你知道几种shuffle方式spark如何防止内存溢出cache和pesist的区别怎么处理数据倾斜简要描述Spark
mayuoo·2017-03-29 11:24

Spark源码分析-以wordcount为入口进行spark-submit源码分析

1、以wordcount开始spark源码分析1）Standalone模式启动启动Master，start-master.sh输出：/home/weiw/spark-1.6.3-bin-hadoop2.6/sbin/spark-daemon.shstartorg.apache.spark.deploy.master.Master1--ipubuntu--port7077--webui-port80
wangweislk·2017-03-14 17:04

Spark问题9之Spark通过JNI调用c的问题解决

SparkLearningSpark生态之Alluxio学习版本：alluxio（tachyon）0.7.1，spark-1.5.2,hadoop-2.6.01.问题描述1.1描述当scala通过JNI调用c时，使用spark-submit
KeepLearningBigData·2017-03-06 10:51

在本地将spark作业运行到远程集群

一般本机调试通过后会将作业打成jar包通过spark-submit提交运行。生产环境一般使用这种方式。本文介绍第3种方式：在本地将spark作业运行到远程集群中。这种方式比较少见，很多人认为不可行，包
铁头乔·2017-02-25 13:18

[Spark]Spark 应用程序部署工具spark-submit

1.简介Spark的bin目录中的spark-submit脚本用于启动集群上的应用程序。
SunnyYoona·2017-02-16 20:53

spark 内存分配

也可以在spark-submit命令时用参数--executor-memory设置。用于缓存
jhk9898·2017-02-14 16:37

使用spark-submit提交jar包到spark standalone集群(续)

继续上篇文章利用IntellijIdea在windows搭建spark开发环境(含打jar包过程）(一)以及Sparksql处理json日志[要求sparksql统计json日志条数存入mysql数据库]本章将把打好的jar提交到集群运行。[如何打jar包请看上文第一篇]环境：centos7,windows10,intellij2016.1.1jar包代码：[详细的步骤请看第二篇]importsc
Books易·2017-01-16 21:28

利用Intellij Idea在windows搭建spark 开发环境(含打jar包过程）(一)

intellijidea2016.1.1,spark1.6.2(HDP),hadoop2.7.3(HDP)，scala2.10.5(编译环境),sbt管理依赖背景：spark单点运算不能解决大数据的问题的时候，就需要使用spark-submit
Books易·2017-01-16 15:53

Spark sbt-assembly 打包

因为要用spark2.0，而集群上cdh5.7.1的spark版本是1.6的，在单独使用spark2.0的时候出现了hbase包找不到的问题，因为spark-submit–jars属性引的包太多，就干脆直接用
-ROOT-·2017-01-16 12:48

欢迎使用CSDN-markdown编辑器

spark-submit参数–masterMASTER_URL可以是spark://host:port,mesos://host:port,yarn,yarn-cluster,yarn-client,local–deploy-modeDEPLOY_MODEDriver
笑看灬生活·2017-01-09 22:42

JVM调优executor堆外内存和 连接时长

/usr/local/spark/bin/spark-submit\--classcom.hulb.sparkstudy.WordCount\--num-executors80\--driver-memory6g
唐予之_·2016-12-11 13:11

Spark性能优化：资源调优篇

Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。
张章章Sam·2016-12-07 14:15

Spark Streaming Kafka CreateDirectDStreaming 遇见的问题

问题1：spark-submit提交任务报错如下：分析：起初我的spark集群是部署在yarn上，所以在spark-env和spark-default下配置了hadoop相关参数。
javartisan·2016-12-01 19:55

Spark Streaming Kafka CreateDirectDStreaming 遇见的问题

问题1：spark-submit提交任务报错如下：分析：起初我的spark集群是部署在yarn上，所以在spark-env和spark-default下配置了hadoop相关参数。
javartisan·2016-12-01 19:55

spark submit参数调优

Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。
chenjieit619·2016-12-01 14:23

spark配置详解

spark-submit参数：Usage:spark-submit[options][appoptions]Options: --master       |MASTER_URL    spark://
年青人阿奔·2016-11-19 23:48

Spark程序提交到集群中

spark-submit提交任务时，报:InvalidsignaturefiledigestforManifestmainattributes问题来源：使用IDEA将编写好的Spark程序打包成jar包
CLHugh·2016-11-14 22:36

Spark submit依赖包管理！

使用spark-submit时，应用程序的jar包以及通过—jars选项包含的任意jar文件都会被自动传到集群中。
moviebat·2016-11-14 17:03

spark:spark内核架构

1.首先用spark-submit提交我们的application，那么在standalone模式下，会在client启动一个Driver进程，这个driver就是执行我们的application应用程序
过江小卒·2016-11-13 11:26

Spark：相关错误总结

/bin/spark-submit'居然是因为这个引发的错误：SPARK_HOME=~/ENV/spark应该改成SPARK_HOME=/home/
-柚子皮-·2016-10-24 22:21

spark命令行解析与找不到类scopt.OptionParser

阅读更多问题一:解析spark-submit命令行参数的时候用到了第三方包scopt，该包需要引入com.github.scoptscopt_2.103.2.0，引入之后直接使用idea打包(build-buildartifacts-rebuild
x10232·2016-10-12 16:00

Spark任务提交jar包依赖解决方案

http://blog.csdn.net/wzq294328238/article/details/48054525通常我们将Spark任务编写后打包成jar包，使用spark-submit进行提交，因为
iteye_5347·2016-09-26 10:24

spark运行方式及其常用参数

本文将介绍spark的几种运行方式，及常用的参数yarncluster模式例行任务一般会采用这种方式运行指定固定的executor数作业常用的参数都在其中指定了，后面的运行脚本会省略spark-submit
jiewuyou·2016-09-19 18:47

spark-submit 运行参数问题记录

importjava.io.Fileimportorg.apache.spark._objectWordCount{defmain(args:Array[String]){valfile=newFile(args(1))if(file.isDirectory&&file.exists()){deleteAllFilesOfDir(file)}valsc=newSparkContext("local
cswangs·2016-09-06 11:17

Spark学习: Spark-Scala-IntelliJ开发环境搭建和编译Jar包流程

使用scala编写spark脚本的话，可以直接在spark-shell中运行，如果要提交整个脚本的话，就必须将scala脚本编译成Jar包，然后通过spark-submit提交Jar包给spark集群，
databatman·2016-08-29 22:17

Spark学习: Spark-Scala-IntelliJ开发环境搭建和编译Jar包流程

      使用scala编写spark脚本的话，可以直接在spark-shell中运行，如果要提交整个脚本的话，就必须将scala脚本编译成Jar包，然后通过spark-submit提交Jar包给spark
databatman·2016-08-29 22:00

Spark查询Hive表时没有权限及无法找到表

用spark-submit执行python文件，进行hive表的操作时，会出现报错：java.lang.RuntimeException:java.lang.RuntimeException:Therootscratchdir
_北海岸的蔚蓝·2016-08-16 10:49

Spark性能调优-资源篇

Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。
菜鸟磊子·2016-08-10 11:31

Spark Transformation —— distinct 算子

代码测试测试数据准备在hdfs上放一个文件1.txt打开spark-shellspark-shell--masterspark://master:7077(重要的事情说多遍，spark-shell和spark-submit
搬砖小工053·2016-07-22 10:50

spark-submit 提交 spark-examples-1.6.1-hadoop2.6.0.jar

提交Demo任务切换到spark安装目录bin/spark-submit--masterspark://master:7077--classorg.apache.spark.examples.SparkPi--executor-memory2glib/spark-examples-1.6.1-hadoop2.6.0.jar–master指定master节点–class指定执行的类–executor
搬砖小工053·2016-07-21 20:33

spark-submit工具参数说明

my.oschina.net/u/140462/blog/519409＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝执行时需要传入的参数说明Usage:spark-submit
mrknowledge·2016-06-20 18:57

spark-submit工具参数说明

my.oschina.net/u/140462/blog/519409＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝执行时需要传入的参数说明Usage:spark-submit
Mrknowledge·2016-06-20 18:00

Spark性能优化：资源调优篇

Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。
铭霏·2016-06-11 18:44

scala构建工具SBT的使用_Hello_World

因为使用spark-submit命令需要将scala脚本打包成jar包运行，所以特地学习了一下scala下最流行的构建工具SBT。现将sbt官网的教程整理出来方便大家一起学习。
BUPT_WX·2016-06-03 20:55

spark-submit java.lang.OutOfMemoryError: Java heap space

原因：默认情况下每个节点分配的执行内存为1G解决办法：方法一：valconf=newSparkConf().setAppName("appname").set("spark.executor.memory","6g")方法二：修改spark-env.sh添加：exportSPARK_EXECUTOR_MEMORY=8G
xiaobin0303·2016-05-31 20:48

spark性能调优：资源优化

Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。
LW_GHY·2016-05-15 22:00
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他