E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark-env.sh
Spark环境搭建
1、官网下载安装包再通过WinSCP传到服务器上,并解压2、进入安装目录并修改配置文件(1)
spark-env.sh
的最后添加(配置信息顾名思义)exportJAVA_HOME=/root/training
奶茶多冰三分糖
·
2018-05-13 11:12
大数据
python下的pyspark报错集锦
解决的方法是,在
spark-env.sh
中加入一条SPARK_LOCAL_IP=127.0.0.1然后就完美解决报错了!
IT界的小小小学生
·
2018-05-11 17:05
python
spark
Spark实战(5)_Spark Core核心编程
archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.9.0/如果用cdh5.9.0parcels离线安装自带的spark(onyarn),启动时提示缺少包,需要修改
spark-env.sh
padluo
·
2018-05-10 18:39
Hadoop
Hadoop
[Spark参数配置]--1.6.0版本的参数配置
Spark提供三个位置用来配置系统:(1)Spark属性:控制大部分的应用程序参数,可以用SparkConf对象或者Java系统属性设置(2)环境变量:可以通过每个节点的conf/
spark-env.sh
highfei2011
·
2017-11-06 00:00
Spark
Spark on Yarn及相关问题解决
running-on-yarn.html配置安装1.安装hadoop:需要安装HDFS模块和YARN模块,HDFS必须安装,spark运行时要把jar包存放到HDFS上2.安装Spark:解压Spark安装程序到一台服务器上,修改
spark-env.sh
长胖的wo一定特美
·
2017-10-31 15:09
spark-on-yarn
Spark集群的安装
2.修改conf目录中的
spark-env.sh
文件,添加以下内容:exportJAVA_HOME=/usr/java/jdk1.7.0_45exportSPARK_MASTER_IP=cloudera-aexportSPARK_MASTER_PORT
山歌在努力
·
2017-09-01 11:28
spark
从头安装3--spark
tar-zxfdownloads/spark-2.1.1-bin-hadoop2.7.tgz2.为方便以后,改名[root@base~]#mvspark-2.1.1-bin-hadoop2.7spark3.修改
spark-env.sh
丁逸
·
2017-08-16 16:04
Spark官方文档: Spark Configuration(Spark配置)
Spark官方文档:SparkConfiguration(Spark配置)Spark主要提供三种位置配置系统:环境变量:用来启动Sparkworkers,可以设置在你的驱动程序或者conf/
spark-env.sh
我不是九爷
·
2017-07-03 11:00
文档
官方
Spark
Spark
Spark任务卡死
spark阶段parkcorestandalone/yarn模式运行的时候client模式正常运行,cluster模式卡死
spark-env.sh
里的配置SPARK_MASTER_PORT=7077SPARK_MASTER_WEBUI_PORT
kequanjade
·
2017-06-17 14:30
spark
第1章 对运行在YARN上的Spark进行性能调优
第1章对运行在YARN上的Spark进行性能调优1.1运行环境Jar包管理及数据本地性原理调优实践1.1.1运行环境Jar包管理及和数据本地性原理在YARN上运行Spark需要在
Spark-env.sh
段智华
·
2017-06-06 16:58
SparkInBeiJing
第1章 对运行在YARN上的Spark进行性能调优
第1章 对运行在YARN上的Spark进行性能调优1.1 运行环境Jar包管理及数据本地性原理调优实践1.1.1运行环境Jar包管理及和数据本地性原理在YARN上运行Spark需要在
Spark-env.sh
duan_zhihua
·
2017-06-06 16:00
Spark配置参数
Spark提供三个位置用来配置系统:Spark属性:控制大部分的应用程序参数,可以用SparkConf对象或者Java系统属性设置环境变量:可以通过每个节点的conf/
spark-env.sh
脚本设置。
xiaomin_____
·
2017-05-19 18:37
spark
SparkSQL与Hive的整合
的整合1.拷贝$HIVE_HOME/conf/hive-site.xml和hive-log4j.properties到$SPARK_HOME/conf/2.在$SPARK_HOME/conf/目录中,修改
spark-env.sh
AISeekOnline
·
2017-04-25 14:19
Spark
hive
spark-env.sh
配置
SPARK_MASTER_PORT从另外一个端口启动master(默认:7077)SPARK_MASTER_WEBUI_PORTMaster的webUI端口(默认:8080),这个端口太常用,建议换一个SPARK_WORKER_PORT启动Sparkworker的专用端口(默认:随机)SPARK_WORKER_DIR伸缩空间和日志输入的目录路径(默认:SPARK_HOME/work);SPARK_
dufufd
·
2016-11-22 10:14
Spark
jdbc调用sparksql
driver-class-path/usr/local/hive-1.2.1/lib/mysql-connector-java-5.1.31-bin.jar或者需要在$SPARK_HOME/conf/
spark-env.sh
山鹰的天空
·
2016-08-22 16:44
java
spark
Spark配置参数详解
Spark提供三个位置用来配置系统:Spark属性:控制大部分的应用程序参数,可以用SparkConf对象或者Java系统属性设置环境变量:可以通过每个节点的conf/
spark-env.sh
脚本设置。
guohecang
·
2016-08-01 20:55
spark
配置参数
详解
Spark
Spark 官方文档(4)——Configuration配置
Spark可以通过三种方式配置系统:通过SparkConf对象,或者Java系统属性配置Spark的应用参数通过每个节点上的conf/
spark-env.sh
脚本为每台机器配置环境变量通过log4j.properties
bigbigtree
·
2016-07-19 16:00
spark内存溢出
java.lang.OutOfMemoryError:GCoverheadlimitexceeded和java.lang.OutOfMemoryError:javaheapspace最直接的解决方式就是在
spark-env.sh
pumbaa.he
·
2016-07-10 15:50
spark内存溢出
java.lang.OutOfMemoryError:GCoverheadlimitexceeded和java.lang.OutOfMemoryError:javaheapspace最直接的解决方式就是在
spark-env.sh
pumbaa51203889
·
2016-07-08 18:12
hadoop
Spark源码学习(9)——Spark On Yarn
修改配置文件首先需要修改配置文件
spark-env.sh
。在这个文件中需要添加两个属性:ExportHADOOP_HOME=/../hadoop..ExportHADOOP_CONF_DIR=/..
sbq63683210
·
2016-06-20 13:00
源码
hadoop
spark
yarn
源码学习
SPARK启动历史任务查看
spark.eventLog.enabledtruespark.eventLog.dirhdfs://192.168.9.110:9000/eventLogsspark.eventLog.compresstrue修改
spark-env.sh
谁伴我闯荡
·
2016-06-08 17:05
SPARK
历史任务
SPARK
Spark执行过程出现outofmemory错误的解决方案
进入Spark的conf目录,找到
spark-env.sh
文件,添加如下值:exportSPARK_WORKER_MEMORY=4gexportSPARK_WORKER_INSTANCES=2exportSPARK_EXECUTOR_MEMORY
冰城警幻
·
2016-06-08 08:00
unable create table from sparksql
valueSTRING)")错误:MetaException(message:file:/user/hive/warehouse/srcisnotadirectoryorunabletocreateone)解决步骤:修改
spark-env.sh
xiaobin0303
·
2016-06-01 17:11
sql
spark
createtable
spark-submit java.lang.OutOfMemoryError: Java heap space
默认情况下每个节点分配的执行内存为1G解决办法:方法一:valconf=newSparkConf().setAppName("appname").set("spark.executor.memory","6g")方法二:修改
spark-env.sh
xiaobin0303
·
2016-05-31 20:48
spark
spark使用hive出错,添加以下配置
错误:Failedtostartdatabase'metastore_db'withclassloaderorg.apache.spark.sqlSPARK_HOME/CONF/
spark-env.sh
q383700092
·
2016-05-12 10:00
spark
hive出错
Spark中文手册11:Spark 配置指南
这些属性可以通过SparkConf对象,或者Java系统属性.环境变量可以为每台机器配置,比如IP地址,通过每个节点上的conf/
spark-env.sh
脚本.可同通过log4j.properties配置日志
wanmeilingdu
·
2016-05-09 21:00
spark
Yarn Client模式下启动Spark的配置问题
由于YARNclient模式对用户不直接暴露用于提交YARN程序的辅助程序,因此许多参数是通过环境变量来设置的,可以在
spark-env.sh
中进行如下配置:
spark-env.sh
这是我的
spark-env.sh
ZyZhu
·
2016-05-06 14:14
spark读取oracle的
在spark中使用jdbc:在
Spark-env.sh
文件中加入:exportSPARK_CLASSPATH=任务提交时加入:spark-submit–masterspark://master:7077
九指码农
·
2016-05-05 15:18
spark-sql
spark及问题解决
spark读取oracle的
在spark中使用jdbc:在
Spark-env.sh
文件中加入:exportSPARK_CLASSPATH=任务提交时加入:spark-submit–masterspark://master:7077
qq_14950717
·
2016-05-05 15:00
oracle
jdbc
spark
spark-sql
IMF SPARK 源代码发行定制班 预习课程 Spark框架源码的调试 (2) 从master worker main入口进行调试
1.在Master所在节点的conf/
spark-env.sh
脚本中添加以下配置:exportSPARK_MASTER_OPTS="$SPARK_MASTER_OPTS-Xdebug-server-Xrunjdwp
duan_zhihua
·
2016-05-02 12:00
Spark的配置参数
环境变量:可以通过每个节点的conf/
spark-env.sh
脚本设置。例如IP地址、端口等信息。日志配置:可以通过log4j.properties配置。Spark属性Spar
openthings
·
2016-03-17 17:00
spark
SparkConf
spark-env.sh
配置
SPARK_MASTER_IP 绑定一个外部IP给master.SPARK_MASTER_PORT 从另外一个端口启动master(默认:7077)SPARK_MASTER_WEBUI_PORT Master的webUI端口(默认:8080),这个端口太常用,建议换一个SPARK_WORKER_PORT 启动Sparkworker的专用端口(默认:随机)SPARK_WORKER_
如风达
·
2016-03-14 14:00
第45课:Spark性能优化第一季!
:Spark性能优化核心基石1,Spark是采用Master-Slaves的模式进行资源管理和任务执行的管理:a)资源管理:Master-Workers,在一台机器上可以有多个Workers,可以通过
Spark-env.sh
snail_gesture
·
2016-02-29 16:00
spark
Spark配置参数
Spark提供三个位置用来配置系统:Spark属性:控制大部分的应用程序参数,可以用SparkConf对象或者Java系统属性设置环境变量:可以通过每个节点的conf/
spark-env.sh
脚本设置。
KevinZwx
·
2016-01-26 13:19
Spark
Spark官方文档: Spark Configuration(Spark配置)
Spark主要提供三种位置配置系统:环境变量:用来启动Sparkworkers,可以设置在你的驱动程序或者conf/
spark-env.sh
脚本中;java系统性能:可以控制内部的配置参数,两种设置方法
see_you_again
·
2016-01-07 15:00
在Yarn上运行spark-shell和spark-sql命令行
需要配置Yarn的配置文件目录,exportHADOOP_CONF_DIR=/etc/hadoop/conf这个可以配置在
spark-env.sh
中。运行命令:cd$SPARK_HOM
ggz631047367
·
2016-01-01 21:00
yarn
spark-sql
spark-shel
spark-env.sh
配置示例
#
spark-env.sh
JAVA_HOME=/home/hadoop/app/jdk1.7.0_60 SCALA_HOME=/home/hadoop/app/scala-2.10.3 SPARK_HOME
tneduts
·
2015-12-29 13:00
spark sql cli 配置使用
/usr/local/hive/conf/hive-site.xml/usr/local/spark-1.5.1/conf/2.配置sparkclasspath,添加mysql驱动类$vimconf/
spark-env.sh
骑小象去远方
·
2015-12-28 15:00
1-1、Spark 的local模式安装
软件:jdk1.8centos6.5hadoop2.6.0spark-1.5.2-bin-hadoop2.6.tgz1、解压,编辑
spark-env.sh
文件[root@spark0conf]#cpspark-env.sh.templatespark-env.sh
baolibin528
·
2015-12-13 21:00
1-1Spark
的local模式安装
单机搭建基于Hadoop的Spark环境
从官网下载spark-binary解压后重命名conf/spark-env.sh.template为conf/
spark-env.sh
配置:添加一行类似于这样的HADOOP_CONF_DIR=~/tools
du00
·
2015-12-12 17:14
spark
jdbc调用sparksql on yarn
(非必需)将mysql的jar包引入到spark的classpath,方式有如下两种:方式1:需要在$SPARK_HOME/conf/
spark-env.sh
中的SPARK_CLASSPATH添加jdbc
ggzone
·
2015-12-12 10:02
Hive
Spark
jdbc调用sparksql
driver-class-path/usr/local/hive-1.2.1/lib/mysql-connector-java-5.1.31-bin.jar或者需要在$SPARK_HOME/conf/
spark-env.sh
ggz631047367
·
2015-12-12 10:00
jdbc
sparksql
spark连接mysql数据库(python语言)
1、将mysql-connector-java-5.1.22-bin.jar文件放入/opt/spark/lib/文件夹内(放到别的文件夹也可)2、修改
spark-env.sh
文件加入:exportSPARK_CLASSPATH
南若安好
·
2015-12-09 21:41
python
spark
单机运行spark-shell出现ERROR Remoting: Remoting error: [Startup failed]
mail-archives.apache.org/mod_mbox/spark-user/201402.mbox/%
[email protected]
%3E只要将conf/
spark-env.sh
ASIA_kobe
·
2015-11-16 22:00
spark
Spark Standalone模式HA环境搭建
Spark Standalone模式常见的HA部署方式有两种:基于文件系统的HA和基于ZK的HA 本篇只介绍基于ZK的HA环境搭建: $SPARK_HOME/conf/
spark-env.sh
·
2015-11-13 02:46
spark
【译】Spark官方文档——Spark Configuration(Spark配置)
vincent-hv/p/3316502.html Spark主要提供三种位置配置系统: 环境变量:用来启动Spark workers,可以设置在你的驱动程序或者conf/
spark-env.sh
·
2015-11-12 21:40
configuration
spark jdbc(mysql) 读取并发度优化
在spark中使用jdbc在
spark-env.sh
文件中加入:exportSPARK_CLASSPATH=/path/mysql-connector-java-5.1.34.jar任务提交时加入:--
breeze_lsw
·
2015-11-11 23:39
Spark
Spark
SQL
spark jdbc(mysql) 读取并发度优化
在spark中使用jdbc在
spark-env.sh
文件中加入:exportSPARK_CLASSPATH=/path/mysql-connector-java-5.1.34.jar 任务提交时加入:-
lsshlsw
·
2015-11-11 23:00
mysql
jdbc
spark
spark Association failed with [akka.tcp:sparkMaster@ip:7077]
今搭建spark集群, conf/
spark-env.sh
配制如下 export SPARK_MASTER_IP=masterexport SPARK_MASTER_PORT=7077export
·
2015-11-11 07:44
association
Spark-1.5.1 on CDH-5.4.7
1.修改拷贝/root/spark-1.5.1-bin-hadoop2.6/conf下面spark-env.sh.template到
spark-env.sh
,并添加设置HADOOP_CONF_DIR:#
littlesuccess
·
2015-11-05 10:00
上一页
1
2
3
4
5
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他