spark2.3.1

Spark2.3.1的安装运行(伪分布式)

一、spark的安装1、本地安装1、在安装spark之前需要先安装JDK和scala环境，hadoop环境2、解压安装即可2、standalone安装模式1、解压安装，配置环境变量(通过spark-shell来测试有没有安装成功)2、在conf/spark-env.sh下配置master节点的配置SPARK_MASTER_HOST=node1SPARK_MASTER_PORT=7077SPARK_
翻斗花园牛爷爷..·2023-11-30 02:30

Cannot initialize Cluster. Please check your configuration for mapreduce.framework .name and the cor

我知道问题点肯定在spark2.3.1集成hive3.1.0的版本问题上，因为hive3.1.0新增了很多功能，如事务等，发布时间没有长时间的积累，出问题很容易不受控制。
汐朔·2023-11-12 16:47

spark on yarn模式安装和配置carbondata

carbondata1.5.1的编译可以看上一篇版本:spark2.3.1,carbondata1.5.1前置条件HadoopHDFS和Yarn需要安装和运行。
JasonLee'blog·2020-09-15 03:10

Spark 学习笔记（一）使用Intellij Idea编写Spark应用程序（Scala+SBT）

运行环境阿里云主机Linux部署Spark2.3.1本地JDK1.8IntellijIdea(Version2018)安装Scala插件安装Scala插件,该Scala插件自带SBT工具。
安之_a·2020-09-11 06:06

spark2.3.1 on hive2.2.1集成

spark可以通过读取hive的元数据来兼容hive，读取hive的表数据，然后在spark引擎中进行sql统计分析，从而，通过sparksql与hive结合实现数据分析将成为一种最佳实践。配置步骤如下：1、启动hive的元数据服务hive可以通过服务的形式对外提供元数据读写操作，通过简单的配置即可下面是hive的基础配置javax.jdo.option.ConnectionURLjdbc:mys
mingchen_peng·2020-08-18 11:37

Spark2.3.1与Springboot集成

前几天有项目用到了大数据的计算服务，最后选了spark作大数据计算用版本用2.3.1，之前是大数据小白，没在项目里用过。项目用的是springboot,版本是2.0.3踩了版本的太多坑了，版本号得写清楚了。这次集成最重要的一件事是，查了好多帖子也都没有写到这一点的，如果是项目里不使用spark集群的话：只需要在项目里集成spark的相关包，就可以在本机使用spark计算，不需要在服务器再搭建spa
chouzhoujiu6282·2020-08-02 23:04

SparkStreaming 消费kafka数据，并存入Elasticsearch（java语言）

开发环境：spark2.3.1，es6.6.1，jdk1.8maven依赖：见末尾完整代码packagespark;importcom.google.gson.Gson;importorg.apache.kafka.clients.consumer.ConsumerConfig
深圳摆地摊er·2020-07-30 13:09

Spark2.3.1安装

环境：hadoop2.6.4jdk1.8centos4.8步骤如下：1.在Apache官网下载Spark2.3.1的安装包2.上传到Linux并解压tar-zxvfspark-2.3.1-bin-hadoop2.6
Miss Ring·2020-07-30 00:52

Kafka Source如何划分partition？

以下内容摘自Spark2.3.1源码中KafkaSource注释image.pngKafkaSourceOffset是为KafkaSource自定义的Offset，它包含一个TopicPartition
阿猫阿狗Hakuna·2020-07-06 04:01

大数据学习十七：Spark2.3.1编译

1、源码下载地址：http://spark.apache.org/downloads.html2、本次编译所用环境（请确保有VPN，否则一些包无法下载，会编译失败）JDK1.8Maven3.3.9Scala2.11.8Hadoop2.6.0-cdh-5.7.0Hive1.1.0Flume1.6.0zookeeper3.4.53、CentOS7下载Git#yuminstallgit-y4、修改/ho
RacyFu·2020-07-05 05:41

spark 2.3.1 Standalone 集群

1.先下载spark2.3.1下载地址:http://spark.apache.org/downloads.html2.安装spark2.3.1上传到/usr/spark目录下解压安装:tar-zxvfspark
zhangyongbo·2020-06-30 14:43

spark1.63升级到spark2.3.1环境变量配置

由于spark2.3需要jdk1.8的支持，因此spark-submit与spark-sql需要指定jdk版本，具体方式见测试用例1.修改个人用户配置文件.bashrc，注释以前的spark环境与java环境，添加vi~/.bashrc#exportSPARK_HOME=/opt/core/spark-1.6.3-bin-hadoop2.6#exportJAVA_HOME=/usr/java/jd
cjlion·2020-06-22 23:08

1小时快速搭建高可用集群（High Availability）

flowToken=1002412本次课程你将学到：最新Spark2.3.1版本，搭建高可用集群（HighAvailability）（1）HA集群原理（2）HA集群搭建步骤（3）Spark-shell测试
A尚学堂Nancy老师·2019-12-14 08:51

IDEA编写wordcount，读取hdfs文件，运行在Spark集群例子

前期：已安装好hadoop集群和spark集群，hadoop2.6.5，spark2.3.1，jdk1.8.scala2.1.0第一步：在idea编写scala程序，并且要打包（pom文件的build标签中配置好
璀璨下的一点星辰·2018-10-31 10:51

Spark2.3.1使用技巧

Spark2.3.1使用技巧Spark-SQL读取JSON文件时反射表头caseclassStudentInfo(id:Long,name:String,age:Int)valexample=spark.read.json
笨兔儿·2018-10-09 00:00

spark中 Dynamic Allocation 以及 num-executors 的问题

之前使用spark2.3.1的sparkstreaming时，发现spark-submite设置num-executors10时，没有起作用，spark作业的executors一度多大几百个，后来把dynamicAllocation.enabledfalse
EnterPine·2018-09-12 16:41

spark python安装配置 (初学)

参考博客https://blog.csdn.net/tyhj_sf/article/details/81907051需要：jdk10.0、spark2.3.1、Hadoop2.7.7（与spark对应的版本
PilviMannis·2018-09-04 14:22

centos7 安装spark2.3.1 。安装scala2.12.6

1.安装scala1).官网下载scala>wgethttps://downloads.lightbend.com/scala/2.12.6/scala-2.12.6.tgz2)解压>tar-zxvfscala-2.12.6.tgz3)修改环境变量>vim/etc/profileexportSCALA_HOME=/root/yao/scala-2.12.6exportPATH=$PATH:$SCA
kaolayao·2018-08-30 13:39

spark2.3.1集群安装方法hadoop2.7.6和scala2.11.6

spark2.3.1集群安装方法hadoop2.7.6和scala2.11.6下载安装包：spark-2.3.1-bin-hadoop2.7.tgzhttp://spark.apache.org/downloads.html
hsg77·2018-08-10 21:12

spark 2.3.1 Standalone 集群

阅读更多1.先下载spark2.3.1下载地址:http://spark.apache.org/downloads.html2.安装spark2.3.1上传到/usr/spark目录下解压安装:tar-zxvfspark
zhangyongbo·2018-07-18 19:00

spark 2.3.1 Standalone 集群

阅读更多1.先下载spark2.3.1下载地址:http://spark.apache.org/downloads.html2.安装spark2.3.1上传到/usr/spark目录下解压安装:tar-zxvfspark
zhangyongbo·2018-07-18 19:00

Win10--Spark2.3 + hadoop3.1 本地环境搭建

中间有部分坑(此篇为64位的环境，如果是32位则无需更换bin内容)准备工作Hadoop所需要更换的bin目录下的文件Hadoop3.1进行下载Spark2.3.1下载包JDK1.8进行配置将下载好的Hadoop
喜欢雨天的我·2018-07-11 23:25

Windows10/Centos7安装Spark2.3.1

环境Windows10Centos7.4java1.8.0-openjdk.x86_64scala2.12.6spark2.3.1Windows10安装Spark2.3.11.安装Java1.82.安装Scala2.12.63.设置Hadoop路径4.下载winutils5.修改hive文件夹权限6.安装Spark7.运行spark互动模式Centos7安装Spark2.3.11.安装Java1.
多空师·2018-07-10 15:22

CentOS7.5搭建spark2.3.1集群

一下载安装包1官方下载官方下载地址：http://spark.apache.org/downloads.html2安装前提Java8安装成功zookeeper安装参考：CentOS7.5搭建Zookeeper3.4.12集群hadoop安装参考：CentOS7.5搭建Hadoop2.7.6集群Scala安装成功注意：从Spark2.0版开始，默认使用Scala2.11构建。Scala2.10用户应
邓天翔·2018-07-09 13:10
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他