sparkshell

Spark从入门到精通8：Spark客户端之Spark Shell的使用

Spark的客户端（Driver）有两种：SparkSubmit和SparkShell。
金字塔下的小蜗牛·2020-04-02 08:53

Spark从入门到精通7：Spark客户端之Spark Submit的使用

通过前面的介绍我们知道，Spark的客户端（Driver）有两种：SparkSubmit和SparkShell。
金字塔下的小蜗牛·2020-04-02 08:47

[Spark Shell]各种操作及详细说明

Spark系列（二）SparkShell各种操作及详细说明-会飞的纸盒-博客园http://www.cnblogs.com/jianyuan/p/4004486.html?
葡萄喃喃呓语·2020-03-26 15:34

Spark hello word（加载本地文件和加载hdfs文件）

本节内容主要完成：使用sparkshell记载本地文件和hdfs文件spark处理的文件可能存在于本地文件系统中，也可能存在分布式文件系统中本地文件加载创建一个测试文件[root@sandboxhome
牛马风情·2020-03-20 13:28

Apache Spark 2.2.0 中文文档 - 快速入门 | ApacheCN

快速入门使用SparkShell进行交互式分析基础Dataset上的更多操作缓存独立的应用快速跳转本教程提供了如何使用Spark的快速入门介绍。
片刻_ApacheCN·2020-03-18 16:22

"hello world" in Spark Hadoop

Spark提供了一个交互式命令行工具sparkshell给我们使用，能够快
odirus·2020-03-05 03:37

SPARK命令行读取parquet数据

1，进入sparkshell.
light2081·2020-02-28 03:21

Spark-shell&Scala（一）

/spark-shell进入sparkshell中退出在scala>中输入：:quit退出（前面有个冒号）Scala基础类型Scala类型有：Byte、Char、Short、Int、Long、Float
sf705·2020-02-15 19:41

假期学习进度十二

/sparkShell命令安装后，还需要修改Spark的配置文件spark-env.shc
信1705-2张小军·2020-02-12 17:00

如何使用Spark连接与操作Mysql数据库

从MySQL中加载数据（SparkShell方式）1.启动SparkShell，必须指定mysql连接驱动jar包/home/hadoop/apps/spark/bin/spark-s
Togogo_net·2020-02-08 07:42

寒假日报day14

第一步：安装sparkhttp://spark.apache.org/downloads.html条件：安装成功截图：启动sparkshell，获取spark版本启动命令：1.进入相应的目录：cd/usr
masuo·2020-02-07 17:00

假期二

下载完Spark后，启动sparkshell然后建在了spark自带的本地测试文件，以及简单的RDD操作和退出sparkshell。caseclas
阡墨·2020-02-02 22:00

生活札记-大四

之前在学校只是部署过单节点的Hadoop环境，现在可以用scalacoding，使用Sparkshell单步调试，打包项目成jar，提交Spark作业。加深了Hadoop和Spark关系的认识。
KevinXU·2019-12-29 05:04

翻译：Hadoop权威指南之Spark-2

本文原始地址AScalaStandaloneApplication在Sparkshell中运行了一个小程序之后，你可能想要把它打包成自包含应用，这样就可以多次运行了。
qinm08·2019-12-22 00:22

scala spark

._3.启动sparkshell窗口，名字为zy,指定test队列spark2-shell--name"zytest"--masteryarn--queuetest
叫兽吃橙子·2019-11-29 16:28

Spark各个角色的功能 3.SparkShell的使用，spark编程入门（wordcount案例）

1.spark(standalone模式)的安装（1）下载spark安装包（spark官网）（2）上传spark安装包到Linux服务器上（3）解压spark安装包tar-zxvfspark-2.3.3-bin-hadoop2.7.tgz-C/usr/apps/（4）将conf目录下的spark-env.sh.template重命名为spark-env.sh，并修改内容如下exportJAVA_H
一y样·2019-11-28 10:00

org.apache.spark.SparkException: Task not serializable

在sparkshell中运行下述代码：valmax_array=max_read_fav_share_vote.collectvalmax_read=max_array(0)(0).toString.toDoublevalmax_fav
xwq-csdn·2019-08-17 16:33

Spark-03 scala

c.事先准备下面进入spark-shell，启动sparkshell不用先启动spark，如果加了/
WU大雄·2019-08-17 00:00

大数据学习笔记之Spark（一）：Spark基础解析

2.3下载Spark安装包2.4配置Spark2.5配置JobHistoryServer2.6配置SparkHA第3章执行Spark程序3.1执行第一个spark程序3.2Spark应用提交3.3启动SparkShell3.3.1
Leesin Dong·2019-08-13 08:06

Mapreduce和Spark的对比

的对比针对这两款计算框架从下边几个方面进行对比1.通用性1.1Spark一栈式，主要说的是，Spark不仅仅可以进行离线计算(SparkCore)，同时还可以进行流式处理(SparkStreaming)、交互式计算(SparkShell
大数据容器·2019-06-25 21:48

spark快速大数据分析之学习记录（三）

这是一个“连载”，主要用于记录并监督我每周的Spark学习进程一、编写第一个pyspark程序1.进入spark文件夹，该文件夹下有一个README.md文件，统计该文件的行数，以及输出第一行2.运行sparkshell
KYkankankan·2019-06-16 18:23

spark的dataframe写入mysql的坑

从SparkShell连接到MySQL：spark-shell--jars"/path/mysql-connector-java-5.1.42.jar可以使用DataSourcesAPI将来自远程数据库的表作为
大壮vip·2019-06-12 14:34

黑猴子的家：Spark 在 IDEA 中编写 WordCount 程序

sparkshell仅在测试和验证我们的程序时使用的较多，在生产环境中，通常会在IDE中编制程序，然后打成jar包，然后提交到集群，最常用的是创建一个Maven项目，利用Maven来管理jar包的依赖1
黑猴子的家·2019-06-10 17:12

Spark快速入门(6) 高级话题：调度和执行

在Sparkshell中，SparkContext会提前为我们创建好。SparkCont
MeazZa·2019-04-02 15:43

spark shell 启动 出现org.apache.spark.SparkException: Found both spark.executor.extraClassPath and SPARK

启动sparkshell报错：Settingdefaultloglevelto"WARN".Toadjustlogginglevelusesc.setLogLevel(newLevel).ForSparkR
liuhehe123·2019-02-26 18:38

Spark On Hive配置

hive.metastore.uristhrift://node01:9083启动Hive的metastore服务hive--servicemetastore启动zookeeper集群，启动Hadoop集群启动SparkShell
SunnyRivers·2018-12-21 10:07

spark-2.4.0-hadoop2.7-简单操作

1.说明本文基于：spark-2.4.0-hadoop2.7-高可用(HA)安装部署2.启动SparkShell在任意一台有spark的机器上执行1#--masterspark://mini02:7077
踏歌行666·2018-12-02 19:00

Spark基础 -- Spark Shell -- RDD -- 算子

Spark基础–SparkShell–RDD–算子文章目录Spark基础--SparkShell--RDD--算子一、简介二、Spark1.6.3部署准备工作解压安装配置spark，master高可用配置环境变量分发配置好的
Eva.努力学习·2018-11-20 09:57

【spark】命令行查看parquet文件内容

1，进入sparkshell.
bible_reader·2018-09-21 16:16

spark原理：概念与架构、工作机制

Spark特点：运行速度快，使用DAG执行引擎以支持循环数据流与内存计算，2、容易使用：多种语言编程，通过sparkshell进行交互式编程3、通用性：提供了完整而强大的技术栈，包括sQL查询、流式计算
black_hnu·2018-09-03 11:37

spark shell读取hadoop hdfs上文本文件统计wordcount的方法

sparkshell读取hadoophdfs上文本文件统计wordcount的方法hellospark文件内容如下所示：[hadoop3@masterapp]$hdfsdfs-cat/spark/hellosparkhellosparkhelloworldhellospark
hsg77·2018-08-17 15:18

Spark基础：(一)初识Spark

1、Spark中的Python和Scala的Shell(1)：Python的SparkShell也就是我们常说的PySparkShell进入我们的Spark目录中然后输入bin/pyspark(2):Scala
雪泪寒飞起来·2018-08-03 21:57

大数据笔记（六）：Spark

spark简介Spark具有如下几个主要特点：•运行速度快：使用DAG执行引擎以支持循环数据流与内存计算•容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过SparkShell
Ding_xiaofei·2018-05-30 23:16

Spark操作Mysql和Hive

从MySQL中加载数据（SparkShell方式）1.启动SparkShell，必须指定mysql连接驱动jar包/usr/local/spark-1.5.2-bin-hadoop2.6/bin/spark-shell
成功人士从不写博客·2018-04-28 08:47

SparkContext、SparkConf和SparkSession之间的联系及其初始化

SparkShell提供了一个名为“sc”的预配置Spark环境和一个名为“spark”的预配置Spark会话。
love666666shen·2018-02-05 17:02

spark入门之spark Driver Web UI

我们将在SparkUI上看到我们使用Sparkshell执行的作业的统计信息。在启动spark-shell时，调试信息会给出sparkdriver’sUI的入口，如：Sparkcont
minge_se·2018-01-24 11:09

Spark初步---spark-shell下RDD的wordcount实践

/bin/spark-shell进入sparkshell页面RDD：数据集合，集群里数据集合的映射在spark-shell里，用scala语法建立RDDsca
OliverChrist·2018-01-15 23:40

spark 两个rdd求交集，差集，并集

为了方便看到结果，在sparkshell中测试如下代码。
bitcarmanlee·2017-11-24 22:50

Spark SQL 基础学习 【一】命令行操作DataFrame

hdfsvistudent.txt内容：1,dayu,232,wangbaoqiang,283,xuzheng,30将文件上传到hdfshadoopfs-putstudent.txt/2.读取数据并分割在sparkshell
freefish_yzx·2017-08-27 16:26

spark读取gz文件

spark1.5.1是支持直接读取gz格式的压缩包的，和普通文件没有什么区别：使用spark-shell进入sparkshell交互界面：输入命令：sc.textFile("\huawei\mr\20161120
afei2530·2017-08-09 11:00

Spark-SQL从MySQL中加载数据以及将数据写入到mysql中（Spark Shell方式，Spark SQL程序）

1.1．从MySQL中加载数据（SparkShell方式）1.启动SparkShell，必须指定mysql连接驱动jar包[[email protected]]#
toto1297488504·2017-07-11 18:32

spark读取MySQL大Table的效能问题

在测试从SparkShell读取MySQL一张LargeTable时，发生了Outofmemory和connectiontimeout问题，记录一下处理的过程：MySQLTable资料笔数：1400万笔左右
GE12·2017-07-05 11:16

Spark 大规模机器学习官方文档 - 中文翻译

http://www.cnblogs.com/BYRans/1概述(Overview)2引入Spark(LinkingwithSpark)3初始化Spark(InitializingSpark)3.1使用SparkShell
我不是九爷·2017-07-03 11:15

Spark学习起步（二）：sparkContext

sparkshell跟sparkcontext调度关系：spark-shell-》spark-submit-》spark-class-》sparksubmit.main-》SparkILoop-》createSparkContextsparkcontext
linhao19891124·2017-06-04 17:08

Linux安装单机版Spark(CentOS7+Spark2.1.1+Scala2.12.2)

相关的配置3.1配置环境变量3.2配置conf目录下的文件3.2.1新建spark-env.h文件3.2.2新建slaves文件4测试单机模式的Spark4.1用单机模式运行Spark示例程序4.2启动SparkShell
陈南志·2017-05-17 13:42

Spark hello word（加载本地文件和加载hdfs文件）

本节内容主要完成：使用sparkshell记载本地文件和hdfs文件spark处理的文件可能存在于本地文件系统中，也可能存在分布式文件系统中本地文件加载创建一个测试文件[root@sandboxhome
邓闰土·2017-05-08 09:47

spark的Driver节点和Executor节点

如果你是用sparkshell，那么当你启动Sparkshell的时候，系统后台自启了一个Spark驱动器程序，就是在Sparkshell中预加载的一个叫作sc的SparkContext对象。
蜗牛0·2017-04-12 22:59

入门spark+python

user_data=sc.textFile("ml-100k/u.user")user_data.first()#此处如能输出数据文件首行，则说明环境搭建没问题sc是Sparkshell启动时自动创建的一个
bettesu·2017-03-28 23:02

记一次Hive元数据管理问题的处理过程

按照网上的教程，将hive的conf目录下hive-default.xml拷贝到spark的conf目录下（当前hive下没有hive-site.xml，当时没有意识到这个会有问题），启动sparkshell
mkflyfly·2016-12-02 16:04

第一次看到Spark崩溃：Spark Shell内存OOM的现象！

第一次看到Spark崩溃SparkShell内存OOM的现象要搞Spark图计算，所以用了Google的web-Google.txt，大小71.8MB。
moviebat·2016-11-13 22:00
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他