spark-shell

Spark的运行架构分析（二）之运行模式详解

Spark的运行模式一：SparkOnLocal此种模式下，我们只需要在安装Spark时不进行hadoop和Yarn的环境配置，只要将Spark包解压即可使用，运行时Spark目录下的bin目录执行bin/spark-shell
Thinkgamer_·2016-07-05 19:29

Spark的运行架构分析（二）之运行模式详解

Spark的运行模式一：SparkOnLocal此种模式下，我们只需要在安装Spark时不进行hadoop和Yarn的环境配置，只要将Spark包解压即可使用，运行时Spark目录下的bin目录执行bin/spark-shell
weixin_34034261·2016-07-05 19:00

Spark on mesos的坑以及解决办法

主要的一些问题：1.6版本开始dynamicallocation无法使用例如spark-shell之类的程序，空闲时期资源长期占用却无法释放，造成资源利用率低下。
breeze_lsw·2016-07-01 10:39

spark (3)Spark Standalone集群安装介绍

http://aperise.iteye.com/blog/2302535(3)SparkStandalone集群安装介绍http://aperise.iteye.com/blog/2305905(4)spark-shell
zilongzilong·2016-06-19 00:00

spark (3)Spark Standalone集群安装介绍

http://aperise.iteye.com/blog/2302535(3)SparkStandalone集群安装介绍http://aperise.iteye.com/blog/2305905(4)spark-shell
zilongzilong·2016-06-19 00:00

spark (2)spark开发环境搭建

http://aperise.iteye.com/blog/2302535(3)SparkStandalone集群安装介绍http://aperise.iteye.com/blog/2305905(4)spark-shell
zilongzilong·2016-06-01 23:00

spark (2)spark开发环境搭建

http://aperise.iteye.com/blog/2302535(3)SparkStandalone集群安装介绍http://aperise.iteye.com/blog/2305905(4)spark-shell
zilongzilong·2016-06-01 23:00

spark (1)初学者对于spark的几个疑问

http://aperise.iteye.com/blog/2302535(3)SparkStandalone集群安装介绍http://aperise.iteye.com/blog/2305905(4)spark-shell
zilongzilong·2016-06-01 19:00

TaskScheduler内幕天机：Spark shell案例，TaskScheduler和SchedulerBackend、FIFO与FAIR、Task运行时本地性算法详解

TaskSchedulerBackend与SchedulerBackendFIFO与FAIR两种调度模式Task数据本地性资源的分配一、TaskScheduler运行过程（Spark-shell角度）1
sundujing·2016-05-15 22:00

从Spark 架构中透视Job

spark-shell中默认情况下没有任何的Job默认的资源分配方式：在每个Worker上为当前程序分配一个ExecutorBackend进行，且默认情况下会最大化的使用Cores和Memory在一个Executor
sundujing·2016-05-13 23:00

spark-shell出错_解决方法

输入spark-shell出错（node1节点出错，其他节点正常），出错信息如下：修改配置文件spark-default.conf修改内容如下spark.authenticate=false spark.dynamicAllocation.enabled
sundujing·2016-05-12 17:00

Spark之RDD持久化、广播、累加器

RDD持久化、广播、累加器实质上分别涉及了RDD的数据如何保存，RDD在构建高效算法的时候涉及了persist或者checkpoint，以及广播和累加器，通过spark-shell可以试验一些小功能，spark-shell
凯茜·2016-05-08 08:14

Spark之RDD持久化、广播、累加器

        RDD持久化、广播、累加器实质上分别涉及了RDD的数据如何保存，RDD在构建高效算法的时候涉及了persist或者checkpoint，以及广播和累加器，通过spark-shell可以试验一些小功能
凯茜·2016-05-08 08:14

Spark算子：统计RDD分区中的元素及数量

具体看例子：//创建一个RDD，默认分区15个，因为我的spark-shell指定了一共使用15个CPU资源//–total-executor-cores15rdd1parititons//统
ZyZhu·2016-05-06 13:07

解决SecureCRT下spark-shell中scala无法删除问题

问题描述当使用SecureCRT来打开spark-shell的时候，有时会出现如下问题，当输错的时候想要按Backspace（退格键）或“Delete(删除键)”的时候，无法删除前面删除的内容。
huanbia·2016-05-04 21:00

解决spark-shell输出日志信息过多

当我们执行spark-shell的时候，会出现如下界面，如果觉得显示信息过多可通过修改conf文件夹下的log4j.properties文件让其只显示警告信息，而不显示所有的信息1。
huanbia·2016-05-04 16:00

spark-shell实现PageRank

talkischeap,showcodeScala代码实现:val links = sc.parallelize(Array( ('a', Array('d')),  ('b', Array('a')),  ('c', Array('a', 'b')),  ('d', Array('a', 'c')))) // 设置各页面的初始rank值为1.0 var ranks = sc.paralleli
宋挺·2016-05-04 14:00

Spark Standalone与Spark on YARN的几种提交方式

spark-shell用于调试，spark-submit用于生产。
光于前裕于后·2016-04-26 22:46

Spark Standalone与Spark on YARN的几种提交方式

SparkStandalone的几种提交方式spark-shell用于调试，spark-submit用于生产。
Dr_Guo·2016-04-26 22:00

spark-shell实现WordCount&按word排序&按count排序

输入:hello tom hello jerry hello kitty hello world hello tom读取HDFS中位于hdfs://node1:9000/wc/input目录下的文本文件,读取结果赋值给textRddval textRdd = sc.textFile("hdfs://node1:9000/wc/input") res1: Array[String] = Array
宋挺·2016-04-24 22:00

Spark 之SparkStreaming 1

本文假设读者已经完成了Spark安装，可以正常运行spark-shell启动spark-shell，# spark-shell窗口 .
柯里昂·2016-04-22 08:00

Spark生态之Spark-csv学习1之安装和简单的examples

更多代码请见：https://github.com/xubo245/SparkLearning1.安装：（1）Spark-shell：$SPARK_HOME/bin/spark-shell--packagescom.databricks
bob601450868·2016-04-19 00:00

在spark中操作mysql数据 ---- spark学习之七

RDD更高一个级别的抽象，可以应用SQL语句进行操作，详细参考：https://spark.apache.org/docs/latest/sql-programming-guide.html这里暂时使用spark-shell
javastart·2016-03-31 10:09

SecureCRT终端上使用spark-shell时按退格键无反应的解决方法

最近开始学习使用spark，安装部署好集群后，用SecureCRT远程连接至Spark集群，启动spark-shell却发现输错命令后却无法用退格键删除。虽然只是个小问题却挺恼人的。
u013468917·2016-03-29 17:00

spark-shell启动的问题解决

spark-shell启动的问题解决今儿在启动spark-shell的时候模型奇妙的出现如下几个问题1)端口占用：4040端口被占用，我们知道这里的4040是worker的端口使用，但是被占用啦，如下图所示
liyaohhh·2016-03-26 12:22

spark-shell启动的问题解决

                      spark-shell启动的问题解决   今儿在启动spark-shell的时候模型奇妙的出现如下几个问题  1)端口占用：4040端口被占用，我们知道这里的
liyaohhh·2016-03-26 12:00

SparkSQL读HBase的数据

引入依赖1、如果你使用的是spark-shell，可以如下操作：>$SPARK_HOME/bin/spark-shell--packagesHuawei-Spark:Spark-SQL-on-HBase
LW_GHY·2016-03-18 22:00

SparkSQL读HBase的数据

引入依赖1、如果你使用的是spark-shell，可以如下操作：>$SPARK_HOME/bin/spark-shell--packagesHuawei-Spark:Spark-SQL-on-HBase
Wei-L·2016-03-18 22:00

Scala 基础

一、启动切换到Spark的根目录，使用bin/spark-shell进入sparkshell：[[email protected]]#.
lanchunhui·2016-03-18 18:00

spark-shell和scala错误

运行spark-shell或者scala命令，出现以下错误：WelcometoScalaversion2.10.6(JavaHotSpot(TM)64-BitServerVM,Java1.8.0_66)
ggz631047367·2016-02-27 10:00

TaskScheduler和SchedulerBackend(DT大数据梦工厂)

内容：1、TaskScheduler与SchedulerBackend；2、FIFO与FAIR两种调度模式彻底解密；3、Task数据本地性资源分配源码实现；==========通过spark-shell
feiweihy·2016-02-21 11:22

基于Spark的机器学习经验

但是今天一位做数据分析相关的朋友说，受这篇内容影响，他接受了Spark-Shell作为数据分析的工具，简单几个命令，轻松处理几千万行数据。于是我就重新整理了下这篇文章。Hi，大家好！
kwu_ganymede·2016-02-19 16:00

spark例子

1、Wordcount程序测试：进入spark-shell中valtext_file=sc.textFile("hdfs://hadoop1:8020/ai/README.txt")valcounts=
qq_16365849·2016-02-19 15:00

读源码剖析TaskScheduler运行内幕及本地性算法确定

一：通过Spark-shell运行程序来观察TaskScheduler内幕1，当我们启动Spark-shell本身的时候命令终端反馈回来的主要是ClientEndpoint和SparkDeploySchedulerBackend
zhangym195·2016-02-14 12:47

spark-shell - 将结果保存成一个文件

sqlContext.sql("""   SELECTuser_no,cust_id,oper_code   FROMcui.operation_data_android   WHEREuser_no<>'null'""").repartition(1).saveAsTextFile("/out.txt")
LightingCui·2016-01-27 15:00

RDD持久化、广播、累加器

RDD持久化、广播、累加器本期内容：1action实战2RDD持久化剖析及实战3广播和累加器实战启动HDFS启动Spark-all.sh查看http://Master:18080启动Spark-shell
kxr0502·2016-01-24 17:46

Spark-Cassandra-Connector 插入数据函数saveToCassandra

在spark-shell中将数据保存到cassandra：vardata=normalfill.map(line=>line.split("\u0005")) data.map( line=>(
LightingCui·2016-01-21 17:00

spark-shell - 三个引号，让脚本阅读更开心

spark-shell中可以直接编写SQL语句从数据源中加载数据。可以利用scala语言中的多行字符串（三个引号）让SQL语句结构清晰更易于阅读。
LightingCui·2016-01-16 00:00

spark集群搭建时的一个问题

求大神解惑：spark1.6版本操作hdfs报错：在spark-shell里：valfile=sc.textFile("hdfs://master138:9000/sparktest/README.md
beat_it_·2016-01-14 16:00

spark集群搭建时的一个问题

阅读更多求大神解惑：spark1.6版本操作hdfs报错：在spark-shell里：valfile=sc.textFile("hdfs://master138:9000/sparktest/README.md
beat_it_·2016-01-14 16:00

基于Spark的机器学习经验

但是今天一位做数据分析相关的朋友说，受这篇内容影响，他接受了Spark-Shell作为数据分析的工具，简单几个命令，轻松处理几千万行数据。于是我就重新整理了下这篇文章。Hi，大家好！
祝威廉·2016-01-02 10:18

基于Spark的机器学习经验

但是今天一位做数据分析相关的朋友说，受这篇内容影响，他接受了Spark-Shell作为数据分析的工具，简单几个命令，轻松处理几千万行数据。于是我就重新整理了下这篇文章。Hi，大家好！
allwefantasy·2016-01-02 10:00

在Yarn上运行spark-shell和spark-sql命令行

转载自：http://lxw1234.com/archives/2015/08/448.htm如果你已经有一个正常运行的HadoopYarn环境，那么只需要下载相应版本的Spark，解压之后做为Spark客户端即可。需要配置Yarn的配置文件目录，exportHADOOP_CONF_DIR=/etc/hadoop/conf这个可以配置在spark-env.sh中。运行命令：cd$SPARK_HOM
ggz631047367·2016-01-01 21:00

在spark中操作mysql数据 ---- spark学习之七

RDD更高一个级别的抽象，可以应用SQL语句进行操作，详细参考：https://spark.apache.org/docs/latest/sql-programming-guide.html 这里暂时使用spark-shell
GZ.Jackey·2015-12-15 14:00

spark入门笔记（二）spark的stanalone模式

spark-shell是不支持clu
liyaohhh·2015-12-09 16:00

spark RDD transformation和action操作

sparkRDDtransformation和action1.启用spark-shell,使用根目录下的test.txt作为文件的示例scala>scres30:org.apache.spark.SparkContext
qq_20545159·2015-12-09 14:00

/spark-shell问题

/spark-shell时候出现scala了，但是后面紧接着出现了。
buster2014·2015-12-06 21:00

spark-shell on yarn 出错解决【启动命令bin/spark-shell --master yarn-client出现错误，类ExecutorLauncher 找不到】

文章来源：http://www.dataguru.cn/thread-331456-1-1.html今天想要将spark-shell在yarn-client的状态下结果出错：[python]viewplaincopy
buster2014·2015-12-01 18:02

spark-shell on yarn 出错解决【启动命令bin/spark-shell --master yarn-client出现错误，类ExecutorLauncher 找不到】

文章来源：http://www.dataguru.cn/thread-331456-1-1.html今天想要将spark-shell在yarn-client的状态下结果出错：[python] viewplaincopy
buster2014·2015-12-01 18:00

spark-spawn a app via spark-shell VS spark-submit

 yep,ucansubmitaapptosparkensemblebyspark-submitcommand,e.g.spark-submit--masterspark://gzsw-02:7077--classorg.apache.spark.examples.JavaWordCount--verbose--deploy-modeclient~/spark/spark-1.4.1-bin-ha
leibnitz·2015-11-25 12:00
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他