spark-shell

SparkContext、SparkConf和SparkSession之间的联系及其初始化

1SparkConf和SparkContext1.1启动spark-shell每个Spark应用程序都需要一个Spark环境，这是SparkRDDAPI的主要入口点。
love666666shen·2018-02-05 17:02

spark入门之spark Driver Web UI

在启动spark-shell时，调试信息会给出sparkdriver’sUI的入口，如：Sparkcont
minge_se·2018-01-24 11:09

配置和启动Spark | local模式以及standalone模式

SparkLocal模式直接在$SPARK_HOME/bin/spark-shell中运行sparkRDD程序，在UI界面http://nodename:4040/中可以看到jobs的执行情况[elon
gamedevv·2018-01-21 10:59

配置和启动Spark | local模式以及standalone模式

SparkLocal模式直接在$SPARK_HOME/bin/spark-shell中运行sparkRDD程序，在UI界面http://nodename:4040/中可以看到jobs的执行情况[elon
gamedevv·2018-01-21 10:59

Spark初步---spark-shell下RDD的wordcount实践

/bin/spark-shell进入sparkshell页面RDD：数据集合，集群里数据集合的映射在spark-shell里，用scala语法建立RDDsca
OliverChrist·2018-01-15 23:40

java.lang.UnsupportedClassVersionError : Unsupported major.minor version 52.0

在spark-shell中，遇到了如下的错误：Causedby:java.lang.UnsupportedClassVersionError:xxx/xxx/xxx/xxx:Unsupportedmajor.minorversion52.0atjava.lang.ClassLoader.defineClass1
bitcarmanlee·2018-01-11 16:21

圳鹏大数据：spark Rdd的默认分区

1.spark.default.parallelism2.文件块的大小spark.default.parallelism：（默认的并发数）本地模式下spark.default.parallelism：spark-shell
meijie770342·2018-01-11 14:28

SPARK 中 DriverMemory和ExecutorMemory

spark中，不论spark-shell还是spark-submit，都可以设置memory大小，但是有的同学会发现有两个memory可以设置。
a280966503·2018-01-10 19:02

Hadoop常见问题处理技巧汇总

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
ZhaoYingChao88·2018-01-08 18:55

spark-shell运行时报‘“E:Program”’'不是内部或外部命令，也不是可运行的程序

今天在Windows10上安装spark，安装流程参照http://blog.csdn.net/w417950004/article/details/77203501安装完成后直接在CMD中执行spark-shell
JavierWang·2018-01-04 11:46

SparkSQL操作Hive表数据

/sbin/start-all.sh启动Spark-Shell：.
zghgchao·2017-12-24 10:18

spark数据导入导出

【场景】1、数据导入：结构化数据，hive中2、代码提交：(1)spark-shell的方式(2)spark-submit的方式，代码已经编译好。
alexpeace·2017-12-22 11:06

spark算子运算

使用spark-shell进入scala命令行中./bin/spark-shell–masterspark://centos701:7077这样才能拿到sc对象。
lc900730·2017-12-10 13:04

每日问题记录20171114

spark-shell要打印一个string变量的全部怎么办？
轩脉刃·2017-11-14 22:00

spark windows环境下开发环境快速搭建。

IDEA开发环境搭建在有了上面的环境之后，可以在spark-shell下进行简单的练习，但是对于在命令行上编
fenghaichun·2017-11-09 18:40

使用Eclipse构建Spark Java集成开发环境

1.5.1-bin-hadoop2.6直接解压缩即可，在环境变量path中配置为你解压缩的路径+\bin，我的path为D:\spark-1.5.1-bin-hadoop2.6\bin，在cmd中输入spark-shell
qq_15846805·2017-10-23 11:36

大飞哥讲

/bin/spark-shell之后运行s
akfly·2017-10-12 10:48

spark读取gz文件

spark1.5.1是支持直接读取gz格式的压缩包的，和普通文件没有什么区别：使用spark-shell进入sparkshell交互界面：输入命令：sc.textFile("\huawei\mr\20161120
afei2530·2017-08-09 11:00

修改并编译spark源码

阅读更多这里说一下spark源码的编译，可以修改一些源码，进行编译，这里我们修改一下spark-shell启动时输出消息的代码，这地方不用多说，使用idea导入spark官网下载的spark1.6源码，
字母哥·2017-08-09 10:00

Spark学习笔记-windows环境搭建

下载解压下载地址:http://spark.apache.org/downloads.html环境配置先装好java,scala,HDFS配置SPARK_HOME,Path启动Spark-shell启动时出错
chensi6940·2017-07-16 22:00

Hadoop运维记录系列（二十）

在命令行方式下，spark-shell是完全可以直接读取lzo的。但是在Zeppelin里
Slaytanic·2017-07-12 18:13

大数据常见错误

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
51zhangyanfeng·2017-07-04 17:46

解决Spark导入jblas包提示不存在的问题

这是一种好办法，但是我目前是在终端下启动spark-shell进行操作，电脑太渣跑不动PyCharm一类的编译器，
chun19920827·2017-07-04 16:27

Spark-shell批量命令执行脚本

批量执行spark-shell命令，并指定提交参数#!
小蜗牛也有梦想·2017-05-20 09:02

spark常见问题解决

问题1：执行spark-shell进入交互界面时INFO信息过多解决方法：cd/usr/local/spark/confcplog4j.properties.templatelog4j.properties
兵工厂三剑客·2017-05-19 14:58

取出大文件里面的一部分数据

取出大文件里面的一部分数据给你一个几g的数据，你是不容易处理的，一方面加载等处理过程较长，而且还很有可能导致你的电脑死机，或者spark-shell崩溃有两个方法可以选择：randomSplitfilter
dufufd·2017-05-14 17:39

大数据常见错误解决方案

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
yjsmask·2017-04-28 16:00

大数据常见错误解决方案

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
yjsmask·2017-04-28 16:00

spark提交参数解析

上一节学习了Spark源码的编译方法，这一节我们跟踪一下spark-shell的启动.spark-shell是spark提供一个控制台，通过它我们可以方便的学习spark的API，类似于Scala的REPL.spark-shell
snail_knight·2017-04-27 23:44

大数据常见错误解决方案

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
mezhuang·2017-04-27 13:09

大数据常见错误解决方案

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
mezhuang·2017-04-27 13:00

spark部署模式解析

standalone模式类似于单机伪分布式模式，如果是使用spark-shell交互运行spark任务或者使用run-example运行官方示例，driver是运行在master节点上的。
JasonZhangOO·2017-04-24 10:22

spark-shell --master yarn-client(异常已经解决)

[root@node1~]#spark-shell--masteryarn-clientWarning:Masteryarn-clientisdeprecatedsince2.0.Pleaseusemaster"yarn"withspecifieddeploymodeinstead.UsingSpark'sdefaultlog4jprofile:org/apache/spark/log4j-def
程裕强·2017-04-09 21:36

单机运行Spark Shell遇到的一个低级错误

bin/spark-shell下载spark-2.1.0-bin-hadoop2.7.tgz，解压缩直接进入spark根目录，然后运行bin/spark-shell即可进入。
程裕强·2017-04-08 10:26

大数据学习笔记（七）-运行spark脚本【原创】

/spark-shell然后就可以运行脚本了scala>vala=sc.parallelize(1to9,3)a:org.apache.spark.rdd.RD
zhenggm·2017-04-06 14:00

大数据学习笔记（七）-运行spark脚本【原创】

/spark-shell然后就可以运行脚本了scala>vala=sc.parallelize(1to9,3)a:org.apache.spark.rdd.RD
zhenggm·2017-04-06 14:00

大数据学习笔记（七）-运行spark脚本【原创】

/spark-shell然后就可以运行脚本了scala>vala=sc.parallelize(1to9,3)a:org.apache.spark.rdd.RD
zhenggm·2017-04-06 14:00

YARN上显示应用程序使用的vcores、memory不准确？

本文基于Spark2.1.0版本我们知道，使用yarn作为clustermanager时，spark（以client模式为例）用spark-submit提交应用程序（或者是spark-shell交互操作
俺是亮哥·2017-03-29 23:47

大数据常见错误解决方案（转载）

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
defang0693·2017-02-24 10:00

spark-shell基本的RDD操作

sparkRDD的常用操作RDD的操作分为两种，一种是转化操作，一种是执行操作，转化操作并不会立即执行，而是到了执行操作才会被执行转化操作：map()参数是函数，函数应用于RDD每一个元素，返回值是新的RDDflatMap()参数是函数，函数应用于RDD每一个元素，将元素数据进行拆分，变成迭代器，返回值是新的RDDfilter()参数是函数，函数会过滤掉不符合条件的元素，返回值是新的RDDdist
小牛学堂2019·2016-12-07 17:50

基于spark2.0整合spark-sql + mysql + parquet + HDFS

一、概述spark2.0做出的改变大家可以参考官网以及其他资料，这里不再赘述由于spark1.x的sqlContext在spark2.0中被整合到sparkSession，故而利用spark-shell
CaramelCapucchino·2016-11-22 12:11

spark学习

Application:Application是创建了SparkContext实例对象的Spark用户，包含了Driver程序：Spark-shell是一个应用程序，因为spark-shell在启动的时候创建了一个
illbehere·2016-11-11 11:00

spark rdd详解二(transformation与action操作）

针对api中常用的一些方法进行说明，以下的代码均在spark-shell中测试通过，spark版本为1.6。1.map(func)map无疑是最重要也是最基本的操作了。
bitcarmanlee·2016-11-06 16:53

spark环境构建及示例

提供了三种集群模式：standalone、yarn以及Mesos，三种模式里面standalone模式是一个基础，本篇先从standalone模式讲解一个基础的spark集群搭建过程，并且基于这个集群我们再介绍一下spark-shell
flykinghg·2016-11-04 15:00

【Spark109】Windows上运行spark-shell

如何在Windows上运行spark-shell1.下载winutils.exe，加入放置到d:/software/Hadoop/bin/winutils.exe目录下，注意，winutils.exe文件的上级目录一定是bin2.开启一个windows命令行窗口，在d:/software/Hadoop/bin目录下执行winutils.exechmod777D:\tmp\hive3.打开一个win
axxbc123·2016-10-13 18:22

Sparksql 一个错误：org.apache.spark.sql.AnalysisException: character '　' not supported here;

遇到如下错误，但是在hive中单独运行，或者是在spark-shell中单独运行的也是毫无问题的，为何偏偏在sparksql中出问题，而且不存在所说的那个character’’。
mtj66·2016-09-21 16:59

spark (4)spark-shell 读写hdfs 读写redis 读写hbase

http://aperise.iteye.com/blog/2302535(3)SparkStandalone集群安装介绍http://aperise.iteye.com/blog/2305905(4)spark-shell
zilongzilong·2016-09-13 20:00

spark (4)spark-shell 读写hdfs 读写redis 读写hbase

http://aperise.iteye.com/blog/2302535(3)SparkStandalone集群安装介绍http://aperise.iteye.com/blog/2305905(4)spark-shell
zilongzilong·2016-09-13 20:00

spark (4)spark-shell 读写hdfs 读写redis 读写hbase

http://aperise.iteye.com/blog/2302535(3)SparkStandalone集群安装介绍http://aperise.iteye.com/blog/2305905(4)spark-shell
zilongzilong·2016-09-13 20:00

Python Pandas、Spark数据清洗

在spark-shell中调用会进一步优化内存，加快处理速度。
千寻千梦·2016-09-06 10:58
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他