spark-shell

Spark SQL，如何将 DataFrame 转为 json 格式

用过SparkSQL应该知道，Sparkdataframe本身有提供一个api可以供我们将数据转成一个JsonArray，我们可以在spark-shell里头举个栗子来看一下。
zzzzMing·2018-12-06 20:23

Spark SQL，如何将 DataFrame 转为 json 格式

用过SparkSQL应该知道，Sparkdataframe本身有提供一个api可以供我们将数据转成一个JsonArray，我们可以在spark-shell里头举个栗子来看一下。
zzzzMing·2018-12-06 20:00

Spark - 分布式计算引擎笔记

/bin/spark-shell术语RDD(ResilientDistributedDatasets)弹性分布式数据集-基于内存的只读数据分区集合Dataset/DataFrame高级RDD，提供了更抽象的操作接口
shaun_x·2018-11-27 11:38

Spark自学之路（十三）——Spark 机器学习库

提供了一个基于海量数据的机器学习库，它提供了常用机器学习算法的分布式实现开发者只需要有Spark基础并且了解机器学习算法的原理，以及方法相关参数的含义，就可以轻松的通过调用相应的API来实现基于海量数据的机器学习过程Spark-Shell
NIUNIU_SUISUI·2018-11-26 19:00

spark-shell与spark-sql的访问hive

1.spark-shell的使用：安装完spark之后，将spark/bin的路径配置到本地文件，即可不需要进入spark/bin目录下启动任务1）直接打开，运行以下命令会发现无法访问hive表的数据：spark-shell--masterlocal[2]spark.sql("showtables").show()2）将hive/conf目录下的hive-site.xml文件拷贝到spark/co
翰文不是瀚·2018-11-22 23:10

Error :spark-shell模式报错：java.sql.SQLException: A read-only user or a user in a read-only database

1.问题描述：启动spark-shelllocal的模式bin/spark-shell--masterlocal[2]报错：[[email protected]]$bin/spark-shell--masterlocal[2]Settingdefaultloglevelto"WARN".Toadjustlogginglevelusesc.setLogLev
RayBreslin·2018-11-03 11:28

Spark单词统计笔记

2.进入spark-shell$>spark-shell$scala>scAPI:SparkContextRDD:resilientdistributeddataset,弹性分布式数据集。等价于集合。
dravenxiaokai·2018-10-30 17:39

Spark简介、环境安装部署及词频统计实例

直接开始安装部署并进行实例测试首先在官网下载http://spark.apache.org/downloads.html注意要根据你的hadoop版本选择，2.7极以后可以选这个如果选SourceCode的话后面启动spark-shell
29DCH·2018-10-12 13:09

Spark简介、环境安装部署及词频统计实例

直接开始安装部署并进行实例测试首先在官网下载http://spark.apache.org/downloads.html注意要根据你的hadoop版本选择，2.7极以后可以选这个如果选SourceCode的话后面启动spark-shell
29DCH·2018-10-12 13:09

CDH权限问题的非最佳解决

然后再把hdfs内部的权限控制关掉就解决用root用户不能跑spark-shell的问题。虽然不太好。不过学习的时候就不管这么多了。临时记录。
LcYYYYYYYY·2018-09-15 09:35

Spark SQL/DataFrame/DataSet操作（一）-----读数据

所有示例代码均在spark-shell上运行，我使用的是spark2.2，其它版本方法类似。
微步229·2018-09-06 14:20

Spark学习笔记：Spark基础

的特点与MapReduce对比2.Spark体系结构与安装部署（1）Spark体系结构（2）Spark的安装与部署（3）SparkHA的实现3.执行SparkDemo（1）Spark-submit（2）Spark-shell
SetsunaMeow·2018-09-03 23:57

spark-sql执行hivesql

spark提交命令有spark-shell、spark-submit、spark-sql，spark-sql的提交命令很少见吧，不过已经被我发掘出来了。
大灰狼学编程·2018-08-27 14:02

Spark 运行模式

bin/spark-shell默认情况下，表示运行在localmode，在本地启动一个JVMProcess，在里面运行一些线程进行数据处理，每个线程运行一个Task任务。
bluesort·2018-08-13 09:19

Spark基础：(一)初识Spark

Scala的Shell(1)：Python的SparkShell也就是我们常说的PySparkShell进入我们的Spark目录中然后输入bin/pyspark(2):Scala中的Shellbin/spark-shell
雪泪寒飞起来·2018-08-03 21:57

Hadoop生态圈之Spark

入门使用1、spark-shell进入spark模式，scala2、简单示例//载入本地txt文件varxmfile=sc.textFile("file://Users/liuxunming/Desktop
xun-ming·2018-07-31 08:09

spark完整入门

，下载地址https://spark.apache.org/downloads.html2、上传到linux服务器，解压即可简单应用，具体验证是否可用步骤第一步：进入spark的bin目录第二步：执行spark-shell
m0_37601109·2018-07-27 18:35

【七】Spark SQL命令和Spark shell命令操作hive中的表

2.启动的时候带上MySQL的连接驱动Spark-shell命令使用spark-shell是通过得到sparksession然后调用sql方法执行hive的sql。
jy02268879·2018-07-26 20:39

Spark2.x学习笔记：2、Scala简单例子

2、Scala简单例子参考教程:https://yq.aliyun.com/topic/692.1交互式编程spark-shell是Spark交互式运行模式，提供了交互式编程，边敲代码边执行，不需要创建程序源文件
autumnLemon·2018-07-16 15:37

史上最快! 10小时大数据入门实战(九)- 前沿技术拓展Spark,Flink,Beam

sparkSpark开发语言及运行模式介绍Scala安装下载Scala配置到系统环境变量配置成功Spark环境搭建及wordCount案例实现下载spark解压编译spark-shell可执行程序如何提交应用程序开启
weixin_33713350·2018-06-26 17:00

spark 读取hive 数据

1.启动spark-shell需要加上mysqljar位置spark-shell--masterlocal[2]--jars/Users/walle/app/mysql-connector-java-8.0.11
瓦力冫·2018-06-22 19:45

Spark-shell批量命令执行脚本的方法

批量执行spark-shell命令，并指定提交参数#!
小蜗牛也有梦想·2018-06-19 16:59

windows安装spark出现The root scratch dir: /tmp/hive on HDFS should be writable

我安装的版本如下：Scala2.11.8javaversion“1.8.0_171”spark-2.2.0-bin-hadoop2.7hadoop-2.7.6另外安装了winutils到hadoopbin中*启动spark-shell
bhcgdh·2018-06-19 11:25

Scala日期操作

代码可以直接在spark-shell里运行（在scala里有的包没有）1、字符串转日期importjava.text.Si
董可伦·2018-06-15 09:53

spark-shell启动出现的Error creating transactional connection factory解决办法

版本信息：Spark：2.2.0-bin-2.6.0-cdh5.7.0Hive：1.1.0-cdh5.7.0MySQL：5.7.22问题：在使用Spark连接HIve，启动spark-shell的时候，
Hiwes·2018-06-13 11:56

Spark常用三种运行模式

Spark-shell参数Spark-shell是以一种交互式命令行方式将Spark应用程序跑在指定模式上，也可以通过Spark-submit提交指定运用程序，Spark-shell底层调用的是Spark-subm
banana`·2018-05-23 22:11

启动spark-shell遇到的问题

找了一下是启动spark-shell的时候就报错了已经报错信息如下：:14:error:notfound:valuesparkimportspark.implicits._^:14:error:notfoun
妈妈说名字要起的长看起来才够叼·2018-05-23 14:11

spark运行模式全解析

1.local本地模式：不需要hadoop（除非用到），不需要启动Master，Workerspark-shell（spark-shell–masterlocal[n]）spark-submit（spark-submit–masterlocal
Java_Soldier·2018-05-21 17:36

spark连接hive（spark-shell和eclipse两种方式）

我的原创地址：http://dongkelun.com/2018/03/25/sparkHive/1、在服务器（虚拟机）spark-shell连接hive1.1将hive-site.xml拷贝到spark
董可伦·2018-05-09 09:40

Spark之本地模式与集群模式

Spark之本地模式与集群模式1.spark-shell的本地模式和集群模式1.1local本地模式直接启动spark-shell命令窗口脚本启动后，会生成一个SparkContext的上下文对象sc。
张行之·2018-05-07 22:36

Win10 + spark +hadoop spark-shell 系统找不到指定的路径

/1621492https://blog.csdn.net/w417950004/article/details/77203501这里讲一个遇到的问题吧，找了很久才找到解决方案问题如下：在cmd下输入spark-shell
妈妈说名字要起的长看起来才够叼·2018-04-30 16:00

Spark操作Mysql和Hive

从MySQL中加载数据（SparkShell方式）1.启动SparkShell，必须指定mysql连接驱动jar包/usr/local/spark-1.5.2-bin-hadoop2.6/bin/spark-shell
成功人士从不写博客·2018-04-28 08:47

spark任务提交产生的问题，以及livy解决问题

/bin/spark-shell比如用户使用spark-shell或是pyspark脚本启动Spark应用程序，伴随应用程序启动的同时Spark会在当前终端启动REPL（Read–Eval–PrintLoop
前行中632·2018-04-23 20:08

Spark DataFrame sql使用记录（持续更新）

Spark-shell中使用2018/4/12exportSPARK_MAJOR_VERSION=2【ambari中装有两个版本的spark】importorg.apache.spark.sql.SparkSessionvalspark
haixwang·2018-04-13 18:59

sparkSQL 访问mysql数据

1、如果使用spark-shell操作，需要修改spark-defaults.conf配置spark.executor.extraClassPath=/opt/software/hive/lib/mysql-connector-java
qq_26369213·2018-04-04 22:42

Spark SQL整合Hive使用

SparkSQL整合Hive的使用步骤：将$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf下整合之后启动spark-shell：$>.
疯狂呼呼呼·2018-03-28 22:30

Spark SQL整合Hive使用

SparkSQL整合Hive的使用步骤：将$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf下整合之后启动spark-shell：$>.
疯狂呼呼呼·2018-03-28 22:30

spark学习系列——2 WordCount

经典的例子首先上传文件到hdfs，再启动spark-shell，进行计算[bdpos@BJHC-Client-18562spark]$hdfsdfs-mkdir/spark/input[bdpos@BJHC-Client
FisherWang_CN·2018-03-20 19:39

SparkContext、SparkConf和SparkSession之间的联系及其初始化

1SparkConf和SparkContext1.1启动spark-shell每个Spark应用程序都需要一个Spark环境，这是SparkRDDAPI的主要入口点。
love666666shen·2018-02-05 17:02

spark入门之spark Driver Web UI

在启动spark-shell时，调试信息会给出sparkdriver’sUI的入口，如：Sparkcont
minge_se·2018-01-24 11:09

配置和启动Spark | local模式以及standalone模式

SparkLocal模式直接在$SPARK_HOME/bin/spark-shell中运行sparkRDD程序，在UI界面http://nodename:4040/中可以看到jobs的执行情况[elon
gamedevv·2018-01-21 10:59

配置和启动Spark | local模式以及standalone模式

SparkLocal模式直接在$SPARK_HOME/bin/spark-shell中运行sparkRDD程序，在UI界面http://nodename:4040/中可以看到jobs的执行情况[elon
gamedevv·2018-01-21 10:59

Spark初步---spark-shell下RDD的wordcount实践

/bin/spark-shell进入sparkshell页面RDD：数据集合，集群里数据集合的映射在spark-shell里，用scala语法建立RDDsca
OliverChrist·2018-01-15 23:40

java.lang.UnsupportedClassVersionError : Unsupported major.minor version 52.0

在spark-shell中，遇到了如下的错误：Causedby:java.lang.UnsupportedClassVersionError:xxx/xxx/xxx/xxx:Unsupportedmajor.minorversion52.0atjava.lang.ClassLoader.defineClass1
bitcarmanlee·2018-01-11 16:21

圳鹏大数据：spark Rdd的默认分区

1.spark.default.parallelism2.文件块的大小spark.default.parallelism：（默认的并发数）本地模式下spark.default.parallelism：spark-shell
meijie770342·2018-01-11 14:28

SPARK 中 DriverMemory和ExecutorMemory

spark中，不论spark-shell还是spark-submit，都可以设置memory大小，但是有的同学会发现有两个memory可以设置。
a280966503·2018-01-10 19:02

Hadoop常见问题处理技巧汇总

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
ZhaoYingChao88·2018-01-08 18:55

spark-shell运行时报‘“E:Program”’'不是内部或外部命令，也不是可运行的程序

今天在Windows10上安装spark，安装流程参照http://blog.csdn.net/w417950004/article/details/77203501安装完成后直接在CMD中执行spark-shell
JavierWang·2018-01-04 11:46

SparkSQL操作Hive表数据

/sbin/start-all.sh启动Spark-Shell：.
zghgchao·2017-12-24 10:18

spark数据导入导出

【场景】1、数据导入：结构化数据，hive中2、代码提交：(1)spark-shell的方式(2)spark-submit的方式，代码已经编译好。
alexpeace·2017-12-22 11:06
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他