spark-shell

spark数据导入导出

【场景】1、数据导入：结构化数据，hive中2、代码提交：(1)spark-shell的方式(2)spark-submit的方式，代码已经编译好。
alexpeace·2017-12-22 11:06

spark算子运算

使用spark-shell进入scala命令行中./bin/spark-shell–masterspark://centos701:7077这样才能拿到sc对象。
lc900730·2017-12-10 13:04

每日问题记录20171114

spark-shell要打印一个string变量的全部怎么办？
轩脉刃·2017-11-14 22:00

spark windows环境下开发环境快速搭建。

IDEA开发环境搭建在有了上面的环境之后，可以在spark-shell下进行简单的练习，但是对于在命令行上编
fenghaichun·2017-11-09 18:40

使用Eclipse构建Spark Java集成开发环境

1.5.1-bin-hadoop2.6直接解压缩即可，在环境变量path中配置为你解压缩的路径+\bin，我的path为D:\spark-1.5.1-bin-hadoop2.6\bin，在cmd中输入spark-shell
qq_15846805·2017-10-23 11:36

大飞哥讲

/bin/spark-shell之后运行s
akfly·2017-10-12 10:48

spark读取gz文件

spark1.5.1是支持直接读取gz格式的压缩包的，和普通文件没有什么区别：使用spark-shell进入sparkshell交互界面：输入命令：sc.textFile("\huawei\mr\20161120
afei2530·2017-08-09 11:00

修改并编译spark源码

阅读更多这里说一下spark源码的编译，可以修改一些源码，进行编译，这里我们修改一下spark-shell启动时输出消息的代码，这地方不用多说，使用idea导入spark官网下载的spark1.6源码，
字母哥·2017-08-09 10:00

Spark学习笔记-windows环境搭建

下载解压下载地址:http://spark.apache.org/downloads.html环境配置先装好java,scala,HDFS配置SPARK_HOME,Path启动Spark-shell启动时出错
chensi6940·2017-07-16 22:00

Hadoop运维记录系列（二十）

在命令行方式下，spark-shell是完全可以直接读取lzo的。但是在Zeppelin里
Slaytanic·2017-07-12 18:13

大数据常见错误

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
51zhangyanfeng·2017-07-04 17:46

解决Spark导入jblas包提示不存在的问题

这是一种好办法，但是我目前是在终端下启动spark-shell进行操作，电脑太渣跑不动PyCharm一类的编译器，
chun19920827·2017-07-04 16:27

Spark-shell批量命令执行脚本

批量执行spark-shell命令，并指定提交参数#!
小蜗牛也有梦想·2017-05-20 09:02

spark常见问题解决

问题1：执行spark-shell进入交互界面时INFO信息过多解决方法：cd/usr/local/spark/confcplog4j.properties.templatelog4j.properties
兵工厂三剑客·2017-05-19 14:58

取出大文件里面的一部分数据

取出大文件里面的一部分数据给你一个几g的数据，你是不容易处理的，一方面加载等处理过程较长，而且还很有可能导致你的电脑死机，或者spark-shell崩溃有两个方法可以选择：randomSplitfilter
dufufd·2017-05-14 17:39

大数据常见错误解决方案

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
yjsmask·2017-04-28 16:00

大数据常见错误解决方案

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
yjsmask·2017-04-28 16:00

spark提交参数解析

上一节学习了Spark源码的编译方法，这一节我们跟踪一下spark-shell的启动.spark-shell是spark提供一个控制台，通过它我们可以方便的学习spark的API，类似于Scala的REPL.spark-shell
snail_knight·2017-04-27 23:44

大数据常见错误解决方案

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
mezhuang·2017-04-27 13:09

大数据常见错误解决方案

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
mezhuang·2017-04-27 13:00

spark部署模式解析

standalone模式类似于单机伪分布式模式，如果是使用spark-shell交互运行spark任务或者使用run-example运行官方示例，driver是运行在master节点上的。
JasonZhangOO·2017-04-24 10:22

spark-shell --master yarn-client(异常已经解决)

[root@node1~]#spark-shell--masteryarn-clientWarning:Masteryarn-clientisdeprecatedsince2.0.Pleaseusemaster"yarn"withspecifieddeploymodeinstead.UsingSpark'sdefaultlog4jprofile:org/apache/spark/log4j-def
程裕强·2017-04-09 21:36

单机运行Spark Shell遇到的一个低级错误

bin/spark-shell下载spark-2.1.0-bin-hadoop2.7.tgz，解压缩直接进入spark根目录，然后运行bin/spark-shell即可进入。
程裕强·2017-04-08 10:26

大数据学习笔记（七）-运行spark脚本【原创】

/spark-shell然后就可以运行脚本了scala>vala=sc.parallelize(1to9,3)a:org.apache.spark.rdd.RD
zhenggm·2017-04-06 14:00

大数据学习笔记（七）-运行spark脚本【原创】

/spark-shell然后就可以运行脚本了scala>vala=sc.parallelize(1to9,3)a:org.apache.spark.rdd.RD
zhenggm·2017-04-06 14:00

大数据学习笔记（七）-运行spark脚本【原创】

/spark-shell然后就可以运行脚本了scala>vala=sc.parallelize(1to9,3)a:org.apache.spark.rdd.RD
zhenggm·2017-04-06 14:00

YARN上显示应用程序使用的vcores、memory不准确？

本文基于Spark2.1.0版本我们知道，使用yarn作为clustermanager时，spark（以client模式为例）用spark-submit提交应用程序（或者是spark-shell交互操作
俺是亮哥·2017-03-29 23:47

大数据常见错误解决方案（转载）

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
defang0693·2017-02-24 10:00

spark-shell基本的RDD操作

sparkRDD的常用操作RDD的操作分为两种，一种是转化操作，一种是执行操作，转化操作并不会立即执行，而是到了执行操作才会被执行转化操作：map()参数是函数，函数应用于RDD每一个元素，返回值是新的RDDflatMap()参数是函数，函数应用于RDD每一个元素，将元素数据进行拆分，变成迭代器，返回值是新的RDDfilter()参数是函数，函数会过滤掉不符合条件的元素，返回值是新的RDDdist
小牛学堂2019·2016-12-07 17:50

基于spark2.0整合spark-sql + mysql + parquet + HDFS

一、概述spark2.0做出的改变大家可以参考官网以及其他资料，这里不再赘述由于spark1.x的sqlContext在spark2.0中被整合到sparkSession，故而利用spark-shell
CaramelCapucchino·2016-11-22 12:11

spark学习

Application:Application是创建了SparkContext实例对象的Spark用户，包含了Driver程序：Spark-shell是一个应用程序，因为spark-shell在启动的时候创建了一个
illbehere·2016-11-11 11:00

spark rdd详解二(transformation与action操作）

针对api中常用的一些方法进行说明，以下的代码均在spark-shell中测试通过，spark版本为1.6。1.map(func)map无疑是最重要也是最基本的操作了。
bitcarmanlee·2016-11-06 16:53

spark环境构建及示例

提供了三种集群模式：standalone、yarn以及Mesos，三种模式里面standalone模式是一个基础，本篇先从standalone模式讲解一个基础的spark集群搭建过程，并且基于这个集群我们再介绍一下spark-shell
flykinghg·2016-11-04 15:00

【Spark109】Windows上运行spark-shell

如何在Windows上运行spark-shell1.下载winutils.exe，加入放置到d:/software/Hadoop/bin/winutils.exe目录下，注意，winutils.exe文件的上级目录一定是bin2.开启一个windows命令行窗口，在d:/software/Hadoop/bin目录下执行winutils.exechmod777D:\tmp\hive3.打开一个win
axxbc123·2016-10-13 18:22

Sparksql 一个错误：org.apache.spark.sql.AnalysisException: character '　' not supported here;

遇到如下错误，但是在hive中单独运行，或者是在spark-shell中单独运行的也是毫无问题的，为何偏偏在sparksql中出问题，而且不存在所说的那个character’’。
mtj66·2016-09-21 16:59

spark (4)spark-shell 读写hdfs 读写redis 读写hbase

http://aperise.iteye.com/blog/2302535(3)SparkStandalone集群安装介绍http://aperise.iteye.com/blog/2305905(4)spark-shell
zilongzilong·2016-09-13 20:00

spark (4)spark-shell 读写hdfs 读写redis 读写hbase

http://aperise.iteye.com/blog/2302535(3)SparkStandalone集群安装介绍http://aperise.iteye.com/blog/2305905(4)spark-shell
zilongzilong·2016-09-13 20:00

spark (4)spark-shell 读写hdfs 读写redis 读写hbase

http://aperise.iteye.com/blog/2302535(3)SparkStandalone集群安装介绍http://aperise.iteye.com/blog/2305905(4)spark-shell
zilongzilong·2016-09-13 20:00

Python Pandas、Spark数据清洗

在spark-shell中调用会进一步优化内存，加快处理速度。
千寻千梦·2016-09-06 10:58

如何使用Spark/Scala读取Hbase的数据

阅读更多必须使用高亮参数启动Spark-shell,否则当你遍历RDD时会出现如下的Exceptionjava.io.NotSerializableException:org.apache.hadoop.hbase.io.ImmutableBytesWritablespark-shell
flyfoxs·2016-09-05 17:00

如何使用Spark/Scala读取Hbase的数据

阅读更多必须使用高亮参数启动Spark-shell,否则当你遍历RDD时会出现如下的Exceptionjava.io.NotSerializableException:org.apache.hadoop.hbase.io.ImmutableBytesWritablespark-shell
flyfoxs·2016-09-05 17:00

spark本地模式

spark-shell还可带参数，设置开启几个线程spark-shell--masterlocal[3]设置开启3个线程去跑任务spark调度repartition(1)设置reduce的个数，这里设置为
CottonDuke·2016-09-03 09:37

Spark学习: Spark-Scala-IntelliJ开发环境搭建和编译Jar包流程

使用scala编写spark脚本的话，可以直接在spark-shell中运行，如果要提交整个脚本的话，就必须将scala脚本编译成Jar包，然后通过spark-submit提交Jar包给spark集群，
databatman·2016-08-29 22:17

Spark学习: Spark-Scala-IntelliJ开发环境搭建和编译Jar包流程

      使用scala编写spark脚本的话，可以直接在spark-shell中运行，如果要提交整个脚本的话，就必须将scala脚本编译成Jar包，然后通过spark-submit提交Jar包给spark
databatman·2016-08-29 22:00

spark-shell用非sql API 改写 hql

当我们在spark-shell用scala写程序的时候，如何不嵌入sql来查询Hive呢？
小爷Souljoy·2016-08-29 12:22

大数据工具：Spark配置遇到的坑

遇到的问题：在配置spark的时候，启动spark-shell正常启动和使用，但是使用脚本start-all.sh启动所有的服务时遇到问题，抛出Java异常：Unsupportedmajor.minorversion51.0
Utopi_a·2016-08-04 18:43

Spark Transformation —— distinct 算子

代码测试测试数据准备在hdfs上放一个文件1.txt打开spark-shellspark-shell--masterspark://master:7077(重要的事情说多遍，spark-shell和spark-submit
搬砖小工053·2016-07-22 10:50

spark-shell 数据文件 读成 表 的两种方式！！！ 相对路径！！hdfs dfs -ls

parkSQL应用 SparkShell启动后，就可以用SparkSQLAPI执行数据分析查询。 在第一个示例中，我们将从文本文件中加载用户数据并从数据集中创建一个DataFrame对象。然后运行DataFrame函数，执行特定的数据选择查询。 文本文件customers.txt中的内容如下： 100,JohnSmith,Austin,TX,78727 200,JoeJohnson,Dall
hzdxw·2016-07-20 23:00

spark shell 启动出错问题

错误描述：直接启动spark-shell，pia,出错了，之前一直是这样启动的啊，一点错也没有。心情不好的时候真的想一删了之，然后再下一个版本来用。
fjr_huoniao·2016-07-10 21:33

spark-shell中的简单操作

1.wordCount的几种写法一般函数式写法：sc.textFile("/user/chenjinghui/words").flatMap(x=>x.split("")).map(x=>(x,1)).reduceByKey((a,b)=>(a+b)).collect简洁写法：sc.textFile("/user/chenjinghui/words").flatMap(_.split("")).m
csdncjh·2016-07-09 10:10
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他