sparkshell

spark的三种模式的详细运行过程

一、Standalone模式1、使用SparkSubmit提交任务的时候(包括Eclipse或者其它开发工具使用newSparkConf()来运行任务的时候)，Driver运行在Client；使用SparkShell
do_what_you_can_do·2016-11-11 14:28

通过Spark结合使用Hive和ORC存储格式

在这篇博客中，我们将一起分析通过Spark访问Hive的数据，主要分享以下几点内容：1.如何通过SparkShell交互式访问Spark2.如何读取HDFS文件和创建一个RDD3.如何通过SparkAPI
Free World·2016-09-19 16:42

spark-shell 数据文件 读成 表 的两种方式！！！ 相对路径！！hdfs dfs -ls

parkSQL应用 SparkShell启动后，就可以用SparkSQLAPI执行数据分析查询。 在第一个示例中，我们将从文本文件中加载用户数据并从数据集中创建一个DataFrame对象。
hzdxw·2016-07-20 23:00

【spark学习】

倾情大奉送--Spark入门实战系列Spark入门实战系列--1.Spark及其生态圈简介（2016年5月12日完）Spark入门实战系列--3.Spark编程模型（上）--编程模型及SparkShell
ncutlh·2016-05-14 09:58

Spark 基础 —— RDD（二）

Spark有两种方法可以创建RDD：（1）用SparkContext基于外部数据源创建RDD，外部数据源包括HDFS上的文件通过JDBC访问的数据库表Sparkshell创建的本地对象集合（2）在一个或多个已有
lanchunhui·2016-04-23 15:00

Spark-快速上手

使用SparkShell。Spark的shell作为一个强大的交互式数据分析工具，提供了一个简单的方式来学习A
youdianjinjin·2016-04-21 22:00

机器学习：好用的工具包

libliner： logistic libfm：  矩阵分解xgboost： gbdt用于决策树的随机森林sparkshell：单机配置spark环境sublime3注册码：http://blog.sina.com.cn
ztf312·2016-04-12 10:00

Scala 基础

一、启动切换到Spark的根目录，使用bin/spark-shell进入sparkshell：[[email protected]]#.
lanchunhui·2016-03-18 18:00

Spark官方文档 - 中文翻译

http://www.cnblogs.com/BYRans/1概述(Overview)2引入Spark(LinkingwithSpark)3初始化Spark(InitializingSpark)3.1使用SparkShell
BYRans·2016-03-18 16:00

Spark官方文档 - 中文翻译

http://www.cnblogs.com/BYRans/1概述(Overview)2引入Spark(LinkingwithSpark)3初始化Spark(InitializingSpark)3.1使用SparkShell
BYRans·2016-03-18 16:00

测试spark集群是否安装成功：网页监控页面和运行spark shell

spark集群的状态，就是master的访问地址默认访问地址：http://master的ip:8080 2.查看spark集群执行的jobs默认访问地址：http://master的ip:4040二、运行sparkshell
cjun1990·2016-03-05 11:00

HADOOP HDFS的设计

Hadoop提供的对其HDFS上的数据的处理方式，有以下几种，1批处理，mapreduce2实时处理：apachestorm,sparkstreaming,ibmstreams3交互式:如pig,sparkshell
tneduts·2016-02-22 17:00

通过wordCount实战详解Spark RDD创建 -- （视频笔记）

DAG图（RDD依赖关系图，有向图，无环图）shuffledRDD为宽依赖 在sparkshell的页面上查看具体的job执行情况我们实际操作save 》》》valcache=sc.textFile("
逸新·2015-12-29 15:00

Spark快速入门指南(Quick Start Spark)

Sparkshell支持Scala和Python。可以通过以下方式进入到Sparkshell中。1#本文原文地址：http://www.iteblog.com/archi
qq_20545159·2015-12-27 15:00

8.Spark集群测试

Spark集群测试 把Spark安装包下的”README.txt”上传到hdfs通过hdfs的web控制台可以发现成功上传了文件：启动Sparkshell：接下来通过以下命令读取刚刚上传到HDFS上的“
丁明宇·2015-10-20 11:00

SparkContext类和SparkConf类

Sparkshell会自动初始化一个SparkContext,在编程中的具体实现为：valconf=newSparkConf().se
caiandyong·2015-10-18 21:33

Spark Shell由于Scala编译器原因不能正常启动

 最近开始学习spark，在windows上按照官方说明运行命令spark-shell进入到scala版本的sparkshell时，出现了下面的问题：Failedtoinitializecompiler
m635674608·2015-10-15 15:00

Spark学习知识点

内容包括Hadoop集群、Spark集群搭建，IntellijIDEASpark开发环境搭建,SparkShell的使用等。2.Spark运行原理。
My_good_science·2015-10-13 10:32

spark shell

转载：sparkshell的学习 Spark的交互式脚本是一种学习API的简单途径，也是分析数据集交互的有力工具。
cjun1990·2015-09-16 11:00

Spark核心概念介绍（翻译自Learning.Spark.Lightning-Fast.Big.Data.Analysis）

在之前的例子中，驱动程序是Sparkshell本身，你只需要在里面输入你想要运行的操作就行了。
l294265421·2015-08-29 20:00

Spark的Python和Scala shell介绍（翻译自Learning.Spark.Lightning-Fast.Big.Data.Analysis）

但实际上Sparkshell与其它大部分shell都不一样，其它大部分shell让你通过单个机器上的磁盘或者内存操作数据，
l294265421·2015-08-28 23:00

Spark入门实战系列--3.Spark编程模型（上）--概念及SparkShell实战

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送–Spark入门实战系列》获取1Spark编程模型1.1术语定义应用程序（Application）：基于Spark的用户程序，包含了一个DriverProgram和集群中多个的Executor；驱动程序（DriverProgram）：运行Application的main()函数并且创建SparkContext，通常用SparkContex
yirenboy·2015-08-13 09:00

Spark入门实战系列--3.Spark编程模型（上）--编程模型及SparkShell实战

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送--Spark入门实战系列》获取1、Spark编程模型1.1 术语定义l应用程序（Application）：基于Spark的用户程序，包含了一个DriverProgram和集群中多个的Executor；l驱动程序（DriverProgram）：运行Application的main()函数并且创建SparkContext，通常用SparkC
shishanyuan·2015-08-13 08:00

Spark 基于item和user 的协同过滤实现

但是要想在mahout算法上修改item-basedcf相对来说比较繁琐，比如改进相似度或者改进推荐结果计算公式，更加令人头疼的是mahout修改比较难调试，相比来说spark实现起来更加简单方便，同时sparkshell
mach_learn·2015-07-15 11:21

在spark上运行独立程序（Self-Contained Applications）

在hadoop集群上搭好spark环境及体验sparkshell之后可以重新做做官方的快速上手。
yijichangkong·2015-07-05 16:00

spark基础(二)-----------scala在spark shell里的应用

我们将先介绍sparkshell的API(pythonorscala),然后展示如何用JAVA,PYTHON,SCALA写应用。
happyAnger6·2015-06-07 20:00

Apache Zeppelin简介

(类似于ipythonnotebook，可以直接在浏览器中写代码、笔记并共享)多用途笔记本可实现你所需要的：-数据采集-数据发现-数据分析-数据可视化和协作支持多种语言，默认是scala(背后是sparkshell
sanfendi·2015-04-01 12:53

Apache Zeppelin简介

(类似于ipythonnotebook，可以直接在浏览器中写代码、笔记并共享)多用途笔记本可实现你所需要的：-数据采集-数据发现-数据分析-数据可视化和协作支持多种语言，默认是scala(背后是sparkshell
ozhaohuafei·2015-04-01 12:00

【Spark十一】Spark集群基本架构及相关术语

原因是，前面的篇幅更多的是在SparkShell上体验SparkAPI，以及对RDD一些粗浅的认识。
bit1129·2015-01-04 22:00

【Spark十一】Spark集群基本架构及相关术语

原因是，前面的篇幅更多的是在SparkShell上体验SparkAPI，以及对RDD一些粗浅的认识。
bit1129·2015-01-04 22:00

【Spark十一】Spark集群基本架构及相关术语

原因是，前面的篇幅更多的是在SparkShell上体验SparkAPI，以及对RDD一些粗浅的认识。
bit1129·2015-01-04 22:00

【Spark】Spark七： Spark概述

在前面几篇博客里，介绍了Spark的伪分布式安装，以及使用SparkShell进行交互式操作，本篇博客主要是对Spark整体上进行梳理。 
bit1129·2015-01-03 10:00

【Spark】Spark七： Spark概述

在前面几篇博客里，介绍了Spark的伪分布式安装，以及使用SparkShell进行交互式操作，本篇博客主要是对Spark整体上进行梳理。 
bit1129·2015-01-03 10:00

【Spark】Spark十： Spark SQL第一部分

本文以SparkShell交互式命令行终端简单的体验下Spark提供的类SQL的数据查询能力 上传数据到HDFS首先将测试数据上传到HDFS中，本文用到的测试数据来自于Spark安装里面的people.txt
axxbc123·2015-01-03 00:00

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第四步）（1）

第一步：通过Spark的shell测试Spark的工作 Step1:启动Spark集群，这一点在第三讲讲的极为细致，启动后的WebUI如下：Step2:启动SparkShell：此时可以通过如下Web控制台查看
Spark亚太研究院·2014-09-11 13:00

Spark快速入门指南

使用SparkShell进
十一月不远·2014-08-25 23:00

Spark操作hbase

企业中数据源会从HBase取出，这就涉及到了读取hbase数据，本文为了尽可能的让大家能尽快实践和操作Hbase，使用的是SparkShell来进行Hbase操作。
u014388509·2014-07-01 01:00

spark 官方动手练习二：用spark浏览维基百科的数据<转>

在本章中，我们将首先使用Sparkshell以交互方式浏览维基百科的数据。然后，我们会给出一个简要介绍了编写spark的程序。
yongjian_luo·2014-01-08 11:00

spark 官方动手练习二：用spark浏览维基百科的数据

在本章中，我们将首先使用Sparkshell以交互方式浏览维基百科的数据。然后，我们会给出一个简要介绍了编写spark的程序。
myboyliu2007·2013-12-31 12:00
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他