spark-shell

spark sql操作hive sql 和mysql

bin.jar添加到SPARK_HOME/lib/目录下.将$HIVE_HOME/lib下的mysql-connector-java-5.1.27.jar复制到~/software文件夹下(这一步是为了spark-shell
唐伯虎怒点秋香·2020-09-10 23:14

CDH 给root 用户赋值 超级权限 和 hive 赋值操作 详细

在root用户下spark-shell和hdfs等命令没有读写hdfs系统上数据的权限每次都切换到hdfs用户下执行存在问题，还有在特定单独安装组件可能要求用root用户存在进程无法读取h
lianchaozhao·2020-09-10 22:02

在Zeppelin上运行Spark程序

前言不得不说，Spark在Zeppelin上的使用还是比较方便的，比你在终端启动一个spark-shell或者spark-sql强太多了。闲话少说，我们一起来看一看吧！
AaronLwx·2020-09-10 21:25

spark的原理和部署（二）on yarn

首先启动集群start-all.sh测试：本地运行spark-shell程序：wh@master:/usr/local/spark/bin$spark-shell--masterlocal[2]##读取
冷昕·2020-08-25 17:23

SparkSQL操作外部数据源

parquet数据hive表数据mysql表数据hive与mysql结合1.处理parquet数据启动spark-shell:spark-shell--masterlocal[2]--jars~/software
sparkle123·2020-08-25 11:19

实操_Spark_v1.0.0

/bin/spark-shell简单Demo测试任务任务提交简单Demo测试一下Spark提交自己编写的Scala或Java程序-待续部署安装包式部署-Hadoop已提
学生宫布·2020-08-25 06:21

使用Zeppelin来实现大数据分析的可视化

有点类似Spark-Shell的REPL。其结果可以直接用图表来展示，解决了前端白痴的苦逼。
linkse7en·2020-08-24 13:36

Spark on Yarn提交作业优化

问题复现我们这里直接用spark-shell测试，spark-submit底层也是调用的spark-shell[hadoop@hadoop001bin]$.
Try Everything、·2020-08-24 12:59

Spark之HiveSupport连接（spark-shell和IDEA）

本文介绍了使用Spark连接Hive的两种方式，spark-shell和IDEA远程连接。
阿坤的博客·2020-08-24 00:40

Spark词频统计的三种方式

利用spark-shell来编程spark-shell--masterspark://hadoop01:7077已经初始化好了SparkContextsc回顾wordcount的思路：读数据，切分并压平
俊杰梓·2020-08-22 04:01

使用Zeppelin来实现大数据分析的可视化

有点类似Spark-Shell的REPL。其结果可以直接用图表来展示，解决了前端白痴的苦逼。
linkse7en·2020-08-20 20:34

使用Zeppelin来实现大数据分析的可视化

有点类似Spark-Shell的REPL。其结果可以直接用图表来展示，解决了前端白痴的苦逼。
linkse7en·2020-08-20 20:33

[spark学习]之spark shell 入门

/spark-shell或者直接输入[hadoop@localhostbin]$./spark-shell14/05/2315:14:00INFOspark.Http
JokerCao·2020-08-20 18:07

spark-shell on yarn 出错（arn application already ended,might be killed or not able to launch applic）解决

今天想要将spark-shell在yarn-client的状态下结果出错：[[email protected]]$bin/spark-shell--masteryarn-clientSparkassemblyhasbeenbuiltwithHive
JokerCao·2020-08-20 18:07

spark-sql使用

spark-sqlspark-sql在cli端的操作使用spark-sql编程需要配置jar包通过反射推断schema通过structtype指定schema通过spark-shell从mysql中加载数据将数据保存到
metooman·2020-08-20 17:15

spark读取redis数据（交互式，scala单机版，java单机版）

交互式第一步：向redis中添加数据第二步：将jedisjar包放入~/lib目录下，开启spark服务第三步：通过spark-shell读取redis数据，并做相应处理scala单机版packagecom.testimportorg.apache.spark.SparkConfimportorg.apache.spark.SparkContextimportredis.clients.jedis
靖-Drei·2020-08-20 04:42

spark shell的词频统计，去重，排序及合并 （嚯啊嚯）

Spark技术RDD算子本地文件上传至HDFSRDD保存文件至HDFSHDFS保存文件到本地spark-shell基础操作wordcount统计去重distinct排序sortByKey合并join求平均值
嚯啊嚯·2020-08-19 03:50

spark (1)初学者对于spark的几个疑问

http://aperise.iteye.com/blog/2302535(3)SparkStandalone集群安装介绍http://aperise.iteye.com/blog/2305905(4)spark-shell
aperise·2020-08-18 13:41

SparkSQL代码笔记03——连接hive

使用内置hiveps:需要注意内置hive是非常容易出现问题的1.先启动集群/opt/software/spark-2.2.0-bin-hadoop2.7/sbin/start-all.sh2.进入到spark-shell
嘉平11·2020-08-18 12:28

Spark调优之旅

问题说明1：spark-shell启动时重复提示：executorupdated:app-2016***isnowRunningexecutorupdated:app-2016***isnowLoadingexecutorupdated
李木子兮·2020-08-18 12:46

Spark-shell启动的时候报Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionStateBuilder’错误

版权声明：未经允许，随意转载，请附上本文链接谢谢（づ￣3￣）づ╭❤～https://blog.csdn.net/xiaoduan_/article/details/79815692Spark-shell启动的时候报java.lang.IllegalArgumentException:Errorwhileinstantiating‘org.apache.spark.sql.hive.HiveSess
段渣渣·2020-08-18 12:42

解决HDFS和spark-shell启动的警告：Unable to load native-hadoop library for your platform... using builtin-java

一、问题在启动hadoop和spark-shell的时候会有警告：start-dfs.sh2018-10-0309:43:31,795WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform
StriveFarrell·2020-08-18 11:30

apach zeppelin中使用spark streaming:基本功能

一．需求在使用spark-streaming处理流式任务时，由于spark-shell需要登录到和生产集群相连的机器开启，使用起来也有诸多不便，且默认不支持kafka等源，所以萌生使用zeppelin中的
qwemicheal·2020-08-18 11:31

Spark运行模式-4种

目录Local模式使用Spark-shell提交流程wordcount数据流程分析:Standalone模式配置Standalone模式使用Standalone模式运行计算PI的程序在Standalone
Knight_AL·2020-08-18 11:59

Error while instantiating 'org.apache.spark.sql.hive.HiveExternalCatalog':

使用spark-shell连接外部hive，出现下面错误：[[email protected]]$bin/spark-shell19/08/1314:15:52WARNNativeCodeLoader
20993 23431 33322·2020-08-18 11:23

Spark-Core(三) - Stage剖析&&Spark on yarn的两种模式

一、Spark-Core（二）回顾二、Stage剖析2.1、遇到action产生job2.2、job产生stage2.3、rdd中的cache2.4、Spark-shell中测试rdd缓存&&StorageLevel2.5
Spark on yarn·2020-08-18 10:30

基于spark的流式数据处理—SparkStreaming开发demo—文件流

概述本文主要完成一个sparkstreaming的文件流demo，如果是编写一个独立的SparkStreaming程序，而不是在spark-shell中运行，则需要通过如下方式创建StreamingContext
心相印-Garrett·2020-08-16 22:20

spark集群模式下textFile读取file本地文件报错解决

前言如果在spark-shell中使用textFile(“file://path”)演示，在local模式下是没有问题的，因为毕竟就是在本机运行，读取本地的文件。
桥路丶·2020-08-15 19:58

spark-submit 和 spark-shell 后面可跟的参数

站在巨人的肩膀上：http://spark.apache.org/docs/latest/submitting-applications.htmlSubmittingApplicationsThespark-submitscriptinSpark’sbindirectoryisusedtolaunchapplicationsonacluster.ItcanuseallofSpark’ssuppor
TopDstar·2020-08-15 15:21

使用scala编写一个简单实例到spark集群运行

实际工作上很少在虚拟机上直接使用spark-shell去编写程序，更多的是在IDEA等编辑器上将写好的程序打包，使用spark-submit提交到集群上去执行。
灰尘666·2020-08-15 07:04

Spark2.0功能测试和日志查看

一、spark2.0功能测试1.Spark-shell在spark的sbin使用spark-shell命令开启，使用如下例子测试：scala>valfile=sc.textFile("hdfs://namenode
HappyBearZzz·2020-08-14 20:30

SparkCore：Spark on Yarn运行模式和过程、Client模式新增进程、参数配置

和Client两种模式2.1Cluster和Client对比2.2Cluster模式2.3Client模式3、测试，查看运行结果3.1cluster模式提交程序3.2client模式提交程序，或者通过spark-shell
11号车厢·2020-08-14 17:32

好玩的大数据之25：Spark实验1（用Spark-Shell读写外部数据源）

一、简介本实验参考《spark权威指南》第9章：DataSources（数据源）二、实验内容利用spark-shell读写以下类型的数据源csvjsonorcparquetjdbc三、实验前准备1.实验数据说明参考
张文斌_2020·2020-08-14 16:16

Dataframe保存文件

网上查看了Dataframe如何把结果保存成文件经过尝试都以失败告终，大多数的博客上写的都是使用：在spark-shell模式下先导入importorg.apache.saprk.sql.SaveMode
因渺小而伟大·2020-08-14 14:01

Spark Shell简单使用

/bin/spark-shell在SparkShell中，有一个专有的SparkContext已经为您创建好了，变量名叫做sc。自己创建的SparkContext将无法工作
universe_ant·2020-08-14 08:22

Failed to connect to server: :8032: retries get failed due to exceeded maximum allowed retries numbe

spark-shell报WARNipc.Client:Failedtoconnecttoserver:xxx/xxx.xxx.xx.xx:8032:retriesgetfailedduetoexceededmaximumallowedretriesnumber
sofo2017·2020-08-11 16:58

【大数据学习】之 用spark-sql和spark-shell操作hive里面的表数据

SparkSQL与Hive的交互有两种方式，一种是spark-sql,另一种是spark-shell。
奔走觅衣粮·2020-08-11 03:11

Spark 读写Hive 表

Spark操作Hive可以采用两种方式，一种是在Spark-sql中操作Hive表，另一种是通过Hive的MetaStore在IDEA中操作Hive表，接下来分别介绍这两种方式Spark-Shell操作
Nice_N·2020-08-11 02:02

[Spark] RDD中JOIN的使用

JOIN在SparkCore中的使用1.innerjoininnerjoin，只返回左右都匹配上的//启动spark-shell，定义两个rdd，做join操作[hadoop@hadoop01~]$spark-shell
cindysz110·2020-08-10 07:48

spark高级数据分析-scala学习（学习笔记）

1.进入sparkcmd后输入“spark-shell”进行scala版的sparklog4j:WARNNoappenderscouldbefoundforlogger(org.apache.hadoop.metrics2
多串君_Kwane·2020-08-10 02:25

Spark Web界面

/bin/spark-shell，出现下面的web界面信息：
John00000001·2020-08-09 18:31

spark 排序并添加编号添加行号和初始值

使用SparksortBy进行排序，使用zipWithIndex进行行号添加通常可用于count或添加索引或计算当前值是第几大等用途Case1:全局排序，输出原始值和对应的行号索引启动spark-shell
nice to meet you2·2020-08-09 13:55

spark-shell启动命令详细解析1

环境：spark2.3.3scala2.11.8Java1.8.0_141执行spark-shell命令后，会启动spark-shell交互命令行窗口：那么spark-shell命令的启动流程是怎样的呢
ustbxyls·2020-08-09 13:32

spark-shell 启动报错， error: not found: value spark（低级已解决）

查看报错原因：java.net.BindException:Cannotassignrequestedaddress:Service‘sparkDriver’failedafter16retries(startingfrom0)!Considerexplicitlysettingtheappropriateportfortheservice‘sparkDriver’(forexamplespark
holomain·2020-08-09 10:13

Spark Transformation算子---举例总结

（我这个是直接运行在spark-shell里面的）算子，通俗一点儿就是函数，方法spark里面的算子分两大类：（1）转换算子Transformation（只作转换）（2）行动算子Action（行动）以下提到的算子都是转换算子
Nurbiya_K·2020-08-09 06:32

spark-shell 基础操作（持续更新）

1.概述SparkSQL是Spark处理结构化数据的一个模块。与基础的SparkRDDAPI不同，SparkSQL提供了查询结构化数据及计算结果等信息的接口。在内部，SparkSQL使用这个额外的信息去执行额外的优化。有几种方式可以跟SparkSQL进行交互，包括SQL和DatasetAPI。当使用相同执行引擎进行计算时，无论使用哪种API/语言都可以快速的计算。这种统一意味着开发人员能够在基于提
Jiede1·2020-08-08 16:05

Windows环境搭建Spark开发环境

SparkWindows安装下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.0/解压后：添加环境变量Path追加打开cmd输入spark-shell
Venom码哥·2020-08-06 12:13

实例验证spark开发中的map与flatmap的区别

不多说，上实例验证一下：在spark集群中使用spark-shell对hdfs文件进行map、flatmap操作：map操作及结果：flatmap操作及结果：总结：map操作结果：Array[Array
十点进修·2020-08-06 11:17

spark启动时Cannot assign requested address: Service 'sparkDriver'问题分析

问题经过当使用bin/spark-shell命令或使用spark-submit提交任务时，会遇到如下报错。
fatpanda1·2020-08-04 06:26

执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client

1、执行Spark运行在yarn上的命令报错spark-shell--masteryarn-client，错误如下所示：18/04/2209:28:22ERRORSparkContext:ErrorinitializingSparkContext.org.apache.spark.SparkException:Yarnapplicationhasalreadyended!Itmighthavebe
weixin_30532973·2020-08-04 04:39
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他