spark-shell

spark 本地运行出错集锦

Exceptioninthread"main"java.lang.NoSuchMethodError:scala.Predef$.refArrayOps([Lja](http://blog.csdn.net/u011835473/article/details/64457380)在spark-shell
Helen_Cat·2020-07-02 13:12

Spark 作业资源调度

第二，在每个spark作业内部，多个job也可以并行执行，比如说spark-shell就是一个sparkapplication，但是随着我们输入scalarddaction类代码
htfenght·2020-07-02 09:44

Spark入门教程（三）Spark运行模式（Local、Standalone、Yarn）

Spark运行模式Local模式Local[n]本地模式启动n个线程Local模式通常用于测试用，直接bin/spark-shell启动即可。
胖滚猪学编程·2020-07-01 02:35

【Spark学习】使用Spark SQL操作外部hive数据库

一.基本介绍默认情况下，spark自带hive，可以直接在spark-shell使用spark.sql("…")来操作内置的hive数据库二.使用外部hive①删除spark中内置的hive。
迪奥不及你的美·2020-06-30 01:52

如何在spark-shell命令行执行spark hql

clouderamanager装好的spark,直接执行spark-shell进入命令行后，写入如下语句：valhiveContext=neworg.apache.spark.sql.hive.HiveContext
xiao_jun_0820·2020-06-30 00:16

spark-shell 写成脚本执行后终端无法显示输入命令

spark-shell写成脚本执行后终端无法显示输入命令日前简单上手了一下spark，使用spark-shell跑命令时会出现一个很奇怪的问题，如标题。脚本如下：#!
whoamnew·2020-06-29 18:17

sparkSQL11(Spark SQL编程)

文章目录以编程方式执行SparkSQL查询1、编写SparkSQL程序实现RDD转换成DataFrame2、编写SparkSQL程序操作HiveContext数据源1、SparkSql从MySQL中加载数据2、通过spark-shell
Bitmao888·2020-06-29 16:53

Spark Streaming基础案例实现

一旦发现有新的文件生成，SparkStreaming就会自动把文件内容读取过来，使用用户自定义的处理逻辑进行处理套接字流SparkStreaming可以通过Socket端口监听并接收数据，然后进行相应的处理一、在spark-shell
忌颓废·2020-06-29 14:50

hive精选50题

Hivesql语句必练50题-入门到精通(1)spark-shell–masterspark://node1:7077–executor-memory1g–total-executor-cores2–jars
浮生若梦1379·2020-06-28 20:39

spark单词计数

文章目录一、spark-shell模式二、jar包方式2.1创建Scala项目2.2Scala代码2.3Scala打包2.4提交jar包到spark执行2.5sparkUI查看代码运行情况2.6下载hdfs
醉糊涂仙·2020-06-26 23:43

Jupyter notebook运行Spark+Scala

今天在intellij调试spark的时候感觉每次有新的一段代码，都要重新跑一遍，如果用spark-shell，感觉也不是特别方便，如果能像python那样，使用jupyternotebook进行编程就很方便了
mumumuyanyanyan·2020-06-26 11:15

Spark SQL，如何将 DataFrame 转为 json 格式

用过SparkSQL应该知道，Sparkdataframe本身有提供一个api可以供我们将数据转成一个JsonArray，我们可以在spark-shell里头举个栗子来看一下。
qq_43713668·2020-06-26 02:28

《Spark环境部署》spark-shell环境下配置本地读入文本信息时出现报错： console>:17: error: not found: value sc

Spark环境部署,配置本地读入文本信息时出现报错：Causedby:org.apache.hadoop.ipc.RemoteException:Cannotcreatedirectory/tmp/hive/root/648867dc-0554-406f-8a02-233cef6b6cf2.Namenodeisinsafemode.Thereportedblocks71needsadditiona
蜀大侠·2020-06-26 00:28

spark-shell计算某大学计算机系的成绩

数据集Data01.txt如下Aaron,OperatingSystem,100Aaron,Python,50Aaron,ComputerNetwork,30Aaron,Software,94Abbott,DataBase,18Abbott,Python,82Abbott,ComputerNetwork,76Abel,Algorithm,30Abel,DataStructure,38Abel,Op
Life_Will_Last·2020-06-25 15:13

pyspark的环境配置

/spark-shell，若出现以下界面，则表示spark配置ok了。spark环境配置配置SPARK_HOME环境变量。
liuwff·2020-06-24 07:38

spark MLlib 之构建机器学习系统

构建spark机器学习系统spark机器学习系统架构spark和hadoop集群的安装spark-shell加载数据探索数据数据统计信息数据质量分析数据特征分析数据可视化数据预处理数据清理数据变换数据集成数据归约构建模型模型评估方法组装模型选择或调优交叉验证
jslijb·2020-06-23 23:02

Spark 单机安装配置

追加：其实spark是可以独立于hadoop运行的，也就是说hadoop的是可以不安装的，也就是spark-shell从本地或者其他文件系统中获取数据源即可。0.Spark的安装准
天道酬勤厚积薄发·2020-06-23 20:28

如何使用Spark/Scala读取Hbase的数据

必须使用高亮参数启动Spark-shell,否则当你遍历RDD时会出现如下的Exceptionjava.io.NotSerializableException:org.apache.hadoop.hbase.io.ImmutableBytesWritablespark-shell
iteye_18979·2020-06-23 19:35

Spark学习（权限错误）

在集群的master上执行spark-shell时出现如下错误：16/09/0915:42:14ERRORspark.SparkContext:ErrorinitializingSparkContext.org.apache.hadoop.security.AccessControlException
接入信息·2020-06-23 13:43

Spark2.x学习笔记：4、Spark程序架构与运行模式

比如当我们运行一个spark-shell时，就创建了一个driver程序。Executor可以有多个，其职责是运
程裕强·2020-06-22 22:55

Spark2.1.0之初体验

运行spark-shell在《Spark2.1.0之运行环境准备》一文曾经简单运行了spark-shell，并用下图进行了展示（此处再次展示此
泰山不老生·2020-06-22 17:20

(课程)基于Spark的机器学习经验

但是今天一位做数据分析相关的朋友说，受这篇内容影响，他接受了Spark-Shell作为数据分析的工具，简单几个命令，轻松处理几千万行数据。于是我就重新整理了下这篇文章。Hi，大家好！
祝威廉·2020-06-22 13:10

大数据实战项目之新闻话题分析 学习笔记（十）

文章目录第21章：SparkSQL快速离线数据分析SparkSQL概述及特点SparkSQL服务架构SparkSQL与Hive集成（Spark-Shell）SparkSQL与Hive集成（Spark-sql
爱学习的Neehong·2020-06-22 05:50

Flume+Kafka+Spark搭建与案例实操

环境搭建Kafka控制台的一些命令操作JavaAPI控制KafkaFlume+Kafka配合SparkSpark简介Spark环境搭建在SparkShell中运行代码Scala编写wordCount在Spark-Shell
槐洛文·2020-06-22 00:18

【Spark】Spark-shell案例——单词计数统计

目录步骤一、准备本地文件以作测试二、通过--master启动本地模式三、开发scala单词统计代码步骤一、准备本地文件以作测试在第一台机器执行mkdir-p/export/servers/sparkdatascd/export/servers/sparkdatas/vimwordcount.txthellomehelloyouhelloher二、通过--master启动本地模式cd/export/
sqlBoy_·2020-06-21 18:17

六（1）、spark遇到的问题

1、意外退出spark-shell，而不是quit，然后再输入spark-shell命令的时候，报错：19/04/1113:42:32WARNutil.Utils:Service'SparkUI'couldnotbindonport4040
Angular_need·2020-06-21 16:04

Spark-shell --常用命令 （command）

Spark-shell--helpChinese最近笔者在学习关于Spark方面的知识，可以通过命令查看：(这里自己做了一个总结，希望能帮你们节约一秒钟的时间。)EnglishInthenearfuture,I`mstudyingcomputerprogramminglanguageaboutSpark.Youcanviewthroughthecommand.(Thereisasummary,ho
WuRoc·2020-06-06 00:00

Spark Local模式安装

本实验通过window环境下载安装配置spark，使用local进行样例测试，spark-shell的打开实验步骤1.安装jdk（1）官网下载jdk：https://download.oracle.com
ch123·2020-05-27 23:57

如何在本地调试你的 Spark Job

spark-shell本地运行Spark最直接的方式
黑客悟理·2020-05-21 22:00

如何避免jps中一大堆spark-submit+Spark交互模式启动速度+正确的退出spark-shell/pyspark/SparkR/hbase的习惯

如果经常强制退出交互模式，那么jps中就会有一大堆的submit大概是因为纯面向对象语言的关系，交互式模式不支持Java.启动交互式模式的命令所属大数据组件启动速度编程语言退出命令spark-shell--masteryarnSpark磨蹭scalascala>:qpyspark--masteryarnSpark最慢python>>>quit()sparkR--masteryarnSpark最快R
Applied Sciences·2020-05-05 14:34

spark-shell连接数据库java.sql.SQLSyntaxErrorException: Unknown databas

完整报错如下:2020-05-0511:16:50WARN TaskSetManager:66-Losttask1.0instage9.0(TID47,Laptop,executor2):java.sql.SQLSyntaxErrorException:Unknowndatabase'leaf'   atcom.mysql.cj.jdbc.exceptions.SQLError.createSQL
Applied Sciences·2020-05-05 11:22

Spark安装教程

SPARK_HOME：D:\software\spark-2.2.0-bin-hadoop2.6配置PATH：%SPARK_HOME%\bin、%SPARK_HOME%\sbin验证运行在cmd中启动spark-shell
一只特立独行的猪1991·2020-04-20 10:08

Spark学习笔记1

/bin/spark-shell–masterlocal[2]来进行交互式的操作，这是学习sprak
wangmin·2020-04-14 07:55

Jupyter notebook运行Spark+Scala教程

今天在intellij调试spark的时候感觉每次有新的一段代码，都要重新跑一遍，如果用spark-shell，感觉也不是特别方便，如果能像python那样，使用jupyternotebook进行编程就很方便了
mumumuyanyanyan·2020-04-10 16:53

（十四）Win10 IDEA环境下SparkSQL连接Hive的几个坑

在之前的文章中介绍了通过spark-shell访问hive中数据的方法，那么在IDEA中应该怎样连接Hive并访问数据呢？
白面葫芦娃92·2020-04-09 04:14

Spark配置管理

二.Spark程序配置加载过程Spark程序一般都是由脚本bin/spark-submit来提交的，交互式编程bin/spark-shell其实也是通过它来提交的。
云山之巅·2020-04-08 20:00

spark-shell 崩溃

spark-shell总是崩溃。查询原因时自己使用Ctrl+Z退出了，正确的方式应该是使用:quit解决办法如下。
crazydane·2020-03-18 17:23

2018-09-10

1、搭建环境:配置环境变量$SCALA_HOMEPATH2、环境小测试spark-shell窗口简单测试必要条件:2.1启动hadoop集群start-all.sh（建议配到环境变量里面，快速启动）2.2
basicGeek·2020-03-16 17:35

【Spark实战】SparkSQL实战

1实战环境使用Spark-Shell进行练习，Spark-Shell就是一种特殊的SparkSubmit，所以如果你想要使用Spark-Submit的话就需要使用IDE开发打成jar上传到节点上运行2数据格式格式如下
_和_·2020-03-11 14:11

spark-shell读写HBase,RDD方法,HFile写入

亲测有效spark-shell--jars/home/wsy/jars/hbase-spark-1.2.0-cdh5.7.1.jardefreadHbase(sc:org.apache.spark.SparkContext,readTableName:String="USER")={valhbaseConf=org.apache.hadoop.hbase.HBaseConfiguration.cr
HUAWEIMate20·2020-02-21 04:02

spark运行问题解决

如果无法运行pyspark/spark-shell，dfs,yarn,spark，三步都可能有问题dfs启动应该能看到localhost:50070，如果有问题：1core-site.xml的tmp目录
cdarling·2020-02-15 20:00

Spark-shell&Scala（一）

Spark-shell启动与退出启动在spark的bin目录中启动：.
sf705·2020-02-15 19:41

Spark源码分析：SparkContext初始化

spark一般从spark-shell开始，具体调用层次关系：Spark-shell->sparksubmit->real.main->sparkLoop—>createSparkcontext2.Spark
raincoffee·2020-02-14 08:43

(课程)基于Spark的机器学习经验

但是今天一位做数据分析相关的朋友说，受这篇内容影响，他接受了Spark-Shell作为数据分析的工具，简单几个命令，轻松处理几千万行数据。于是我就重新整理了下这篇文章。Hi，大家好！
祝威廉·2020-02-09 13:47

Spark-shell交互式编程--林子雨Spark实验四(1)

1.该系总共有多少学生vallines=sc.textFile("file:///usr/local/spark/sparksqldata/Data01.txt")valpar=lines.map(row=>row.split(",")(0))valdistinct_par=par.distinct()//去重操作distinct_par.count//取得总数2.该系共开设来多少门课程valli
daisy99lijing·2020-02-06 22:00

寒假第九天

今天完成了实验四，对于spark-shell交互式编程更加了解和RDD以及对于编写独立应用程序sbt的打包编程去重也有了了解之前安装完sbt后对于后面的打包需要下载一些文件一直失败，后来我把在网上查询解决方案
张利杰j·2020-02-03 12:00

大三寒假生活6

（1）在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数；$cd/usr/local/spark$.
哈萨K·2020-02-02 21:00

spark学习（五）

（一）进入spark-shell命令界面（默认使用scala的命令界面）1,如果进入了spark安装目录则使用、1，一台机器启动spark：.
寂天风·2020-01-28 23:00

Spark入门（一）--用Spark-Shell初尝Spark滋味

Spark-Shell的使用执行scala命令的spark-shell进入spark的sbin目录，打开键入.
阿布gogo·2020-01-10 20:00

spark初见

2.7.3版本，所以我选择了spark的2.0.2版本tar-xzvfspark-2.0.2-bin-hadoop2.7.tgz解压后，到bin目录下，让spark以standalone的模式运行bin/spark-shell
topwqp·2020-01-07 18:34
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他