spark-env.sh

Spark环境搭建

1、官网下载安装包再通过WinSCP传到服务器上，并解压2、进入安装目录并修改配置文件（1）spark-env.sh的最后添加(配置信息顾名思义)exportJAVA_HOME=/root/training
奶茶多冰三分糖·2018-05-13 11:12

python下的pyspark报错集锦

解决的方法是，在spark-env.sh中加入一条SPARK_LOCAL_IP=127.0.0.1然后就完美解决报错了！
IT界的小小小学生·2018-05-11 17:05

Spark实战（5）_Spark Core核心编程

archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.9.0/如果用cdh5.9.0parcels离线安装自带的spark(onyarn)，启动时提示缺少包，需要修改spark-env.sh
padluo·2018-05-10 18:39

[Spark参数配置]--1.6.0版本的参数配置

Spark提供三个位置用来配置系统：(1)Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置(2)环境变量：可以通过每个节点的conf/spark-env.sh
highfei2011·2017-11-06 00:00

Spark on Yarn及相关问题解决

running-on-yarn.html配置安装1.安装hadoop:需要安装HDFS模块和YARN模块,HDFS必须安装,spark运行时要把jar包存放到HDFS上2.安装Spark:解压Spark安装程序到一台服务器上,修改spark-env.sh
长胖的wo一定特美·2017-10-31 15:09

Spark集群的安装

2.修改conf目录中的spark-env.sh文件，添加以下内容：exportJAVA_HOME=/usr/java/jdk1.7.0_45exportSPARK_MASTER_IP=cloudera-aexportSPARK_MASTER_PORT
山歌在努力·2017-09-01 11:28

从头安装3--spark

tar-zxfdownloads/spark-2.1.1-bin-hadoop2.7.tgz2.为方便以后,改名[root@base~]#mvspark-2.1.1-bin-hadoop2.7spark3.修改spark-env.sh
丁逸·2017-08-16 16:04

Spark官方文档: Spark Configuration（Spark配置）

Spark官方文档:SparkConfiguration（Spark配置）Spark主要提供三种位置配置系统：环境变量：用来启动Sparkworkers，可以设置在你的驱动程序或者conf/spark-env.sh
我不是九爷·2017-07-03 11:00

Spark任务卡死

spark阶段parkcorestandalone/yarn模式运行的时候client模式正常运行，cluster模式卡死spark-env.sh里的配置SPARK_MASTER_PORT=7077SPARK_MASTER_WEBUI_PORT
kequanjade·2017-06-17 14:30

第1章 对运行在YARN上的Spark进行性能调优

第1章对运行在YARN上的Spark进行性能调优1.1运行环境Jar包管理及数据本地性原理调优实践1.1.1运行环境Jar包管理及和数据本地性原理在YARN上运行Spark需要在Spark-env.sh
段智华·2017-06-06 16:58

第1章 对运行在YARN上的Spark进行性能调优

第1章  对运行在YARN上的Spark进行性能调优1.1     运行环境Jar包管理及数据本地性原理调优实践1.1.1运行环境Jar包管理及和数据本地性原理在YARN上运行Spark需要在Spark-env.sh
duan_zhihua·2017-06-06 16:00

Spark配置参数

Spark提供三个位置用来配置系统：Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：可以通过每个节点的conf/spark-env.sh脚本设置。
xiaomin_____·2017-05-19 18:37

SparkSQL与Hive的整合

的整合1.拷贝$HIVE_HOME/conf/hive-site.xml和hive-log4j.properties到$SPARK_HOME/conf/2.在$SPARK_HOME/conf/目录中，修改spark-env.sh
AISeekOnline·2017-04-25 14:19

spark-env.sh配置

SPARK_MASTER_PORT从另外一个端口启动master(默认:7077)SPARK_MASTER_WEBUI_PORTMaster的webUI端口(默认:8080),这个端口太常用，建议换一个SPARK_WORKER_PORT启动Sparkworker的专用端口(默认：随机)SPARK_WORKER_DIR伸缩空间和日志输入的目录路径(默认:SPARK_HOME/work);SPARK_
dufufd·2016-11-22 10:14

jdbc调用sparksql

driver-class-path/usr/local/hive-1.2.1/lib/mysql-connector-java-5.1.31-bin.jar或者需要在$SPARK_HOME/conf/spark-env.sh
山鹰的天空·2016-08-22 16:44

Spark配置参数详解

Spark提供三个位置用来配置系统：Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：可以通过每个节点的conf/spark-env.sh脚本设置。
guohecang·2016-08-01 20:55

Spark 官方文档（4）——Configuration配置

Spark可以通过三种方式配置系统:通过SparkConf对象,或者Java系统属性配置Spark的应用参数通过每个节点上的conf/spark-env.sh脚本为每台机器配置环境变量通过log4j.properties
bigbigtree·2016-07-19 16:00

spark内存溢出

java.lang.OutOfMemoryError:GCoverheadlimitexceeded和java.lang.OutOfMemoryError:javaheapspace最直接的解决方式就是在spark-env.sh
pumbaa.he·2016-07-10 15:50

spark内存溢出

java.lang.OutOfMemoryError:GCoverheadlimitexceeded和java.lang.OutOfMemoryError:javaheapspace最直接的解决方式就是在spark-env.sh
pumbaa51203889·2016-07-08 18:12

Spark源码学习（9）——Spark On Yarn

修改配置文件首先需要修改配置文件spark-env.sh。在这个文件中需要添加两个属性：ExportHADOOP_HOME=/../hadoop..ExportHADOOP_CONF_DIR=/..
sbq63683210·2016-06-20 13:00

SPARK启动历史任务查看

spark.eventLog.enabledtruespark.eventLog.dirhdfs://192.168.9.110:9000/eventLogsspark.eventLog.compresstrue修改spark-env.sh
谁伴我闯荡·2016-06-08 17:05

Spark执行过程出现outofmemory错误的解决方案

进入Spark的conf目录，找到spark-env.sh文件，添加如下值：exportSPARK_WORKER_MEMORY=4gexportSPARK_WORKER_INSTANCES=2exportSPARK_EXECUTOR_MEMORY
冰城警幻·2016-06-08 08:00

unable create table from sparksql

valueSTRING)")错误：MetaException(message:file:/user/hive/warehouse/srcisnotadirectoryorunabletocreateone)解决步骤：修改spark-env.sh
xiaobin0303·2016-06-01 17:11

spark-submit java.lang.OutOfMemoryError: Java heap space

默认情况下每个节点分配的执行内存为1G解决办法：方法一：valconf=newSparkConf().setAppName("appname").set("spark.executor.memory","6g")方法二：修改spark-env.sh
xiaobin0303·2016-05-31 20:48

spark使用hive出错,添加以下配置

错误：Failedtostartdatabase'metastore_db'withclassloaderorg.apache.spark.sqlSPARK_HOME/CONF/spark-env.sh
q383700092·2016-05-12 10:00

Spark中文手册11：Spark 配置指南

这些属性可以通过SparkConf对象,或者Java系统属性.环境变量可以为每台机器配置，比如IP地址，通过每个节点上的conf/spark-env.sh脚本.可同通过log4j.properties配置日志
wanmeilingdu·2016-05-09 21:00

Yarn Client模式下启动Spark的配置问题

由于YARNclient模式对用户不直接暴露用于提交YARN程序的辅助程序，因此许多参数是通过环境变量来设置的，可以在spark-env.sh中进行如下配置：spark-env.sh这是我的spark-env.sh
ZyZhu·2016-05-06 14:14

spark读取oracle的

在spark中使用jdbc：在Spark-env.sh文件中加入:exportSPARK_CLASSPATH=任务提交时加入:spark-submit–masterspark://master:7077
九指码农·2016-05-05 15:18

spark读取oracle的

在spark中使用jdbc：在Spark-env.sh文件中加入:exportSPARK_CLASSPATH=任务提交时加入:spark-submit–masterspark://master:7077
qq_14950717·2016-05-05 15:00

IMF SPARK 源代码发行定制班 预习课程 Spark框架源码的调试 (2) 从master worker main入口进行调试

1.在Master所在节点的conf/spark-env.sh脚本中添加以下配置：exportSPARK_MASTER_OPTS="$SPARK_MASTER_OPTS-Xdebug-server-Xrunjdwp
duan_zhihua·2016-05-02 12:00

Spark的配置参数

环境变量：可以通过每个节点的conf/spark-env.sh脚本设置。例如IP地址、端口等信息。日志配置：可以通过log4j.properties配置。Spark属性Spar
openthings·2016-03-17 17:00

spark-env.sh配置

SPARK_MASTER_IP    绑定一个外部IP给master.SPARK_MASTER_PORT    从另外一个端口启动master(默认:7077)SPARK_MASTER_WEBUI_PORT Master的webUI端口(默认:8080),这个端口太常用，建议换一个SPARK_WORKER_PORT    启动Sparkworker的专用端口(默认：随机)SPARK_WORKER_
如风达·2016-03-14 14:00

第45课：Spark性能优化第一季！

：Spark性能优化核心基石1，Spark是采用Master-Slaves的模式进行资源管理和任务执行的管理：a)资源管理：Master-Workers，在一台机器上可以有多个Workers，可以通过Spark-env.sh
snail_gesture·2016-02-29 16:00

Spark配置参数

Spark提供三个位置用来配置系统：Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：可以通过每个节点的conf/spark-env.sh脚本设置。
KevinZwx·2016-01-26 13:19

Spark官方文档: Spark Configuration（Spark配置）

Spark主要提供三种位置配置系统：环境变量：用来启动Sparkworkers，可以设置在你的驱动程序或者conf/spark-env.sh脚本中；java系统性能：可以控制内部的配置参数，两种设置方法
see_you_again·2016-01-07 15:00

在Yarn上运行spark-shell和spark-sql命令行

需要配置Yarn的配置文件目录，exportHADOOP_CONF_DIR=/etc/hadoop/conf这个可以配置在spark-env.sh中。运行命令：cd$SPARK_HOM
ggz631047367·2016-01-01 21:00

spark-env.sh 配置示例

#spark-env.sh JAVA_HOME=/home/hadoop/app/jdk1.7.0_60 SCALA_HOME=/home/hadoop/app/scala-2.10.3 SPARK_HOME
tneduts·2015-12-29 13:00

spark sql cli 配置使用

/usr/local/hive/conf/hive-site.xml/usr/local/spark-1.5.1/conf/2.配置sparkclasspath,添加mysql驱动类$vimconf/spark-env.sh
骑小象去远方·2015-12-28 15:00

1-1、Spark 的local模式安装

软件：jdk1.8centos6.5hadoop2.6.0spark-1.5.2-bin-hadoop2.6.tgz1、解压，编辑spark-env.sh文件[root@spark0conf]#cpspark-env.sh.templatespark-env.sh
baolibin528·2015-12-13 21:00

单机搭建基于Hadoop的Spark环境

从官网下载spark-binary解压后重命名conf/spark-env.sh.template为conf/spark-env.sh配置：添加一行类似于这样的HADOOP_CONF_DIR=~/tools
du00·2015-12-12 17:14

jdbc调用sparksql on yarn

（非必需）将mysql的jar包引入到spark的classpath，方式有如下两种：方式1：需要在$SPARK_HOME/conf/spark-env.sh中的SPARK_CLASSPATH添加jdbc
ggzone·2015-12-12 10:02

jdbc调用sparksql

driver-class-path/usr/local/hive-1.2.1/lib/mysql-connector-java-5.1.31-bin.jar或者需要在$SPARK_HOME/conf/spark-env.sh
ggz631047367·2015-12-12 10:00

spark连接mysql数据库（python语言）

1、将mysql-connector-java-5.1.22-bin.jar文件放入/opt/spark/lib/文件夹内（放到别的文件夹也可）2、修改spark-env.sh文件加入：exportSPARK_CLASSPATH
南若安好·2015-12-09 21:41

单机运行spark-shell出现ERROR Remoting: Remoting error: [Startup failed]

mail-archives.apache.org/mod_mbox/spark-user/201402.mbox/%[email protected]%3E只要将conf/spark-env.sh
ASIA_kobe·2015-11-16 22:00

Spark Standalone模式HA环境搭建

Spark Standalone模式常见的HA部署方式有两种：基于文件系统的HA和基于ZK的HA   本篇只介绍基于ZK的HA环境搭建： $SPARK_HOME/conf/spark-env.sh
·2015-11-13 02:46

【译】Spark官方文档——Spark Configuration（Spark配置）

vincent-hv/p/3316502.html   Spark主要提供三种位置配置系统： 环境变量：用来启动Spark workers，可以设置在你的驱动程序或者conf/spark-env.sh
·2015-11-12 21:40

spark jdbc(mysql) 读取并发度优化

在spark中使用jdbc在spark-env.sh文件中加入:exportSPARK_CLASSPATH=/path/mysql-connector-java-5.1.34.jar任务提交时加入:--
breeze_lsw·2015-11-11 23:39

spark jdbc(mysql) 读取并发度优化

在spark中使用jdbc在spark-env.sh文件中加入:exportSPARK_CLASSPATH=/path/mysql-connector-java-5.1.34.jar 任务提交时加入:-
lsshlsw·2015-11-11 23:00

spark Association failed with [akka.tcp:sparkMaster@ip:7077]

今搭建spark集群， conf/spark-env.sh 配制如下 export SPARK_MASTER_IP=masterexport SPARK_MASTER_PORT=7077export
·2015-11-11 07:44

Spark-1.5.1 on CDH-5.4.7

1.修改拷贝/root/spark-1.5.1-bin-hadoop2.6/conf下面spark-env.sh.template到spark-env.sh，并添加设置HADOOP_CONF_DIR:#
littlesuccess·2015-11-05 10:00
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他