spark-env.sh

Spark 启动脚本——sbin/start-slaves.sh

1.运行sbin/spark-config.sh，设置SPARK_HOME和SPARK_CONF_DIR2.如果conf/spark-env.sh，则运行该脚本，设置可选环境变量3.检测环境变量SPARK_MASTER_PORT
m635674608·2015-10-25 00:00

Spark官方文档: Spark Configuration（Spark配置）

Spark主要提供三种位置配置系统：环境变量：用来启动Sparkworkers，可以设置在你的驱动程序或者conf/spark-env.sh脚本中；java系统性能：可以控制内部的配置参数，两种设置方法
m635674608·2015-10-23 00:00

Spark 配置指南

这些属性可以通过SparkConf对象,或者Java系统属性.环境变量可以为每台机器配置，比如IP地址，通过每个节点上的conf/spark-env.sh脚本.可同通过log4j.properties配置日志
m635674608·2015-10-16 00:00

[置顶] Spark排错与优化

解决增加Master的内存占用，在Master节点spark-env.sh中设置：e
lsshlsw·2015-10-15 17:00

hive,spark的远程调试设置

spark的远程调试spark-env.sh文件里面，加上下面配置即可：if["$DEBUG_MODE"="true"];then exportSPARK_JAVA_OPTS+="-Xdebug-Xrunjdwp
bluejoe2000·2015-10-03 18:00

spark的standalone模式下HA的配置

在每个节点上的conf/spark-env.sh中配置 # for ha export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER
vonmomo·2015-09-29 11:00

spark standalone模式的HA

按照文档所说，在spark-env.sh中设置如下参数，重启即可。SPARK_DAEMON_JAVA_OPTS="-Dspar
cjun1990·2015-09-18 18:00

Spark（十二）--性能调优篇

spark-env.sh文件中配置：最近常使用的配置方式，格式可以参考其中的一些官方保
qq1010885678·2015-09-17 23:00

spark1.4.1配置及源码阅读

1.创建脚本cd /opt/spark-1.4.1-bin-hadoop2.6/conf cp spark-env.sh.template spark-env.sh cp slaves.template
以诚相待·2015-08-11 09:00

spark开启EventLog

start-history-server.sh 启动完成之后可以通过WEBUI访问，默认端口是18080：http://vmaxspark:18080以spark.history开头的需要配置在spark-env.sh
josephguan·2015-07-10 17:00

sparkSQL 集成hive异常问题解决

Unabletoinstantiateorg.apache.hadoop.hive.metastore.HiveMetaStoreClient是由于元数据默认到derby中找，所以提供mysql的解决：在spark-env.sh
谷雨hadoop·2015-06-15 17:19

spark 查看 job history 日志

spark.eventLog.enabled true spark.eventLog.dir hdfs://master:8020/var/log/spark spark.eventLog.compress true spark-env.sh
Stark_Summer·2015-06-11 17:00

spark 查看 job history 日志

spark.eventLog.enabled true spark.eventLog.dir hdfs://master:8020/var/log/spark spark.eventLog.compress true spark-env.sh
Stark_Summer·2015-06-11 17:00

Spark（十二） -- Spark On Yarn & Spark as a Service & Spark On Tachyon

就可以在在Yarn上运行Spark通过Yarn进行统一的资源管理和调度进而可以实现不止Spark，多种处理框架并存工作的场景部署SparkOnYarn的方式其实和Standalone是差不多的，区别就是需要在spark-env.sh
qq1010885678·2015-05-29 22:00

spark集群参数配置理解

一、spark-env.sh图1我自己的配置文件spark-env.shline7中指定hadoop安装目录的配置路径，如果不配置这一项，就要把${HADOOP_HOME}/etc/hadoop下的所有
shen_jz2012·2015-05-24 17:00

spark查看历史任务的信息

spark.eventLog.enabledtruespark.eventLog.dirhdfs://10.0.0.37:9000/sparklogsspark.eventLog.compresstrue2、在spark-env.sh
sxyqhyt·2015-05-18 15:00

spark-env.sh常用配置项

SPARK_MASTER_IP 绑定一个外部IP给master. SPARK_MASTER_PORT 从另外一个端口启动master(默认: 7077) SPARK_MASTER_WEBUI_PORT Master的web UI端口 (默认: 8080),这个端口太常用，建议换一个 SPARK_WORKER_PORT 启动Spark worker 的专用端口(默认：随机) SPAR
jxauwxj·2015-05-18 10:00

kafaka+spark+hdfs简单实例

vi spark-env.sh #!
hadasione·2015-05-09 12:00

spark用submit提交程序遇到的错误（机器内存较小）

部署使用的spark版本是spark1.3.0部署环境：主节点centos7操作系统2g内存从节点debian系统1g内存（2个）spark-env.sh的设置如下：exportSCALA_HOME=/
面朝大海&春暖花开·2015-04-23 15:16

Spark安装

nbsp; 1、下载配置 git clone git://github.com/mesos/spark.git   cd conf cp spark-env.sh-template spark-env.sh
arenzhj·2015-04-07 17:00

Spark源码走读10——Spark On Yarn

首先需要修改配置文件spark-env.sh。在这个文件中需要添加两个属性：ExportHADOOP_HOME=/../hadoop..ExportHADOOP_CONF_DIR=/..
莫然·2015-02-01 13:03

spark出现GC overhead limit exceeded和java heap space

java.lang.OutOfMemoryError: GC overhead limit exceeded和java.lang.OutOfMemoryError: java heap space 最直接的解决方式就是在spark-env.sh
wbj0110·2015-01-21 10:00

spark出现GC overhead limit exceeded和java heap space

java.lang.OutOfMemoryError: GC overhead limit exceeded和java.lang.OutOfMemoryError: java heap space 最直接的解决方式就是在spark-env.sh
wbj0110·2015-01-21 10:00

spark出现GC overhead limit exceeded和java heap space

java.lang.OutOfMemoryError: GC overhead limit exceeded和java.lang.OutOfMemoryError: java heap space 最直接的解决方式就是在spark-env.sh
wbj0110·2015-01-21 10:00

DevOps(6)Spark Deployment on VM 2

Workers Sync from Master under SPARK_HOME/conf/spark-env.sh   It works in cluster mode.
sillycat·2014-12-18 03:00

spark配置

1.spark可以在3处配置系统：sparkproperties控制大多数应用程序的参数，通过SparkConf对象或者Java系统property设置；环境变量在每一台机器上可以通过conf/spark-env.sh
jhonephone·2014-12-05 16:00

Spark学习笔记-Tachyon运行Spark

tachyon-0.5.0-bin.tar.gzSpark版本：spark-1.1.0-bin-hadoop2.4.tgzTachyon的安装部署可以参考：Tachyon学习笔记-安装部署与运行实例修改spark-env.sh
wulinshishen·2014-11-22 00:00

关于SPARK_WORKER_MEMORY和SPARK_MEM

SPARK_WORKER_MEMORY是计算节点worker所能支配的内存，各个节点可以根据实际物理内存的大小，通过配置conf/spark-env.sh来分配内存给该节点的worker进程使用。
哭你吃完·2014-11-14 09:00

Spark在Hadoop集群上的配置(spark-1.1.0-bin-hadoop2.4)

关键配置 修改conf/spark-env.sh文件： export JAVA_HOME=/usr/java/latest export HADOOP_CONF_DIR=/opt/hadoop-2.4.1
·2014-11-11 14:00

spark出现GC overhead limit exceeded和java heap space

java.lang.OutOfMemoryError:GCoverheadlimitexceeded和java.lang.OutOfMemoryError:javaheapspace最直接的解决方式就是在spark-env.sh
chuanjiaoye5017·2014-10-14 10:00

spark出现GC overhead limit exceeded和java heap space

java.lang.OutOfMemoryError:GCoverheadlimitexceeded和java.lang.OutOfMemoryError:javaheapspace最直接的解决方式就是在spark-env.sh
闵开慧·2014-10-14 10:00

spark 执行诡异问题

今天在centos6.3上搭建了hadoop+hive＋spark系统，在运行/usr/local/spark-1.0.0/bin/spark-shell 出现找不到hive相关的类，于是修改了spark-env.sh
死里逃生·2014-08-28 14:18

spark 执行诡异问题

今天在centos6.3上搭建了hadoop+hive＋spark系统，在运行/usr/local/spark-1.0.0/bin/spark-shell出现找不到hive相关的类，于是修改了spark-env.sh
死里逃生·2014-08-28 14:18

spark报错java.lang.OutOfMemoryError: Java heap space

针对spark报错：java.lang.OutOfMemoryError:Javaheapspace解决方式：在spark/conf/spark-env.sh中加大SPARK_WORKER_MEMORY
liuxuejiang158·2014-08-01 20:36

spark报错java.lang.OutOfMemoryError: Java heap space

针对spark报错：java.lang.OutOfMemoryError:Javaheapspace解决方式：  在spark/conf/spark-env.sh中加大SPARK_WORKER_MEMORY
liuxuejiang158·2014-08-01 20:00

【02】Scala集群配置

1、配置文件  /home/scipio/spark-1.0.0-bin-hadoop1/conf/spark-env.sh /home/scipio/spark-1.0.0-bin-hadoop1/conf
xixicat·2014-06-28 13:00

关于SPARK_WORKER_MEMORY和SPARK_MEM

SPARK_WORKER_MEMORY是计算节点worker所能支配的内存，各个节点可以根据实际物理内存的大小，通过配置conf/spark-env.sh来分配内存给该节点的worker进程使用。
mmicky20110730·2014-05-13 15:47

关于SPARK_WORKER_MEMORY和SPARK_MEM

SPARK_WORKER_MEMORY是计算节点worker所能支配的内存，各个节点可以根据实际物理内存的大小，通过配置conf/spark-env.sh来分配内存给该节点的worker进程使用。
book_mmicky·2014-05-13 15:00

spark参数配置调优

$SPARK_HOME/conf/spark-env.sh脚本上配置。
陈兴振·2013-09-19 22:07

spark参数配置调优

$SPARK_HOME/conf/spark-env.sh 脚本上配置。
chenxingzhen001·2013-09-19 22:00
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他