spark-env

Spark on hdp yarn cluster踩坑(timeline-service)

部署方案spark官网下载基于hdp的Hadoop版本的pre-built的spark安装包在机器上解压，并在spark-env中配置HADOOP_CONF_DIR，SPARK_CONF_DIR，spark-defaults
WestC·2023-03-28 16:07

Flume推送数据到SparkStreaming

Flume的安装：1.配置系统环境变量2.配置flume的conf文件，里面有agent，channel，sink3.可以在spark-env中配置java_home和java_opts关于数据采集flume
数据china·2020-09-11 22:46

Spark3 Mac单机环境搭建

Spark3.0Mac单机环境搭建1相关准备1.1JDK安装1.2Scala安装2Spark安装配置2.1Spark下载2.2Spark环境配置2.2.1配置spark-env文件2.2.2环境变量配置
猫新人·2020-07-15 00:54

Spark on hdp Yarn Cluster 踩坑(hdp.version)

开源Spark运行在hdp的yarn集群失败分析：部署方案spark官网下载基于hdp的Hadoop版本的pre-built的spark安装包在机器上解压，并在spark-env中配置HADOOP_CONF_DIR
WestC·2018-09-10 21:16

spark以standalone集群方式启动

折腾了一个下午，终于部署完成了，在这期间遇到几个需要注意的地方，记录下来，以防下次再被坑到1、在配置spark-env的时候需要exportjava_home所以需要查找JAVA_HOME，此处是centos7
qq_37587216·2018-04-11 09:26

Spark Streaming Kafka CreateDirectDStreaming 遇见的问题

问题1：spark-submit提交任务报错如下：分析：起初我的spark集群是部署在yarn上，所以在spark-env和spark-default下配置了hadoop相关参数。
javartisan·2016-12-01 19:55

Spark Streaming Kafka CreateDirectDStreaming 遇见的问题

问题1：spark-submit提交任务报错如下：分析：起初我的spark集群是部署在yarn上，所以在spark-env和spark-default下配置了hadoop相关参数。
javartisan·2016-12-01 19:55

spark jar包方式运行hive步骤

1,用maveninstall打包2，配置好下面的脚本，其中--driver-class-path要选择mysql的jar包所在的目录，另外有博客说可以在spark-env指定exportSPARK_CLASSPATH
技术蚂蚁·2016-08-23 21:37

spark ha讲解与配置

Master-Slaves架构的集群模式，和大部分的Master-slaves架构集群一样，存在Master单点故障问题,spark提供了两种解决方案:1、基于文件系统的单恢复基于文件系统的单点恢复,主要是在spark-env
wang_ying_198·2016-04-13 14:00

pyspark 使用 Ipython

如下：$SPARK_HOME/bin/pyspark 在client的spark-env中添加配置：exportIPYTHON=1 exportIPYTHON_OPTS=""再次使用，已经是ipython
lsshlsw·2015-11-20 23:00

在spark集群上运行自己的java程序

那么问题来了,对于我这个习惯中传统java命令执行程序的人来说怎么办,..而且这种方式不易于与其他程序合并,这里有一种很简洁的方式就是在conf/spark-env中配置:export SPARK_CLASSPATH
bgsnewlook·2015-09-24 22:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他