RDDs

王家林每日大数据语录Spark篇0013（2015.11.3于广州）

其中的narrow dependency指的是每一个parent RDD 的Partition最多被child RDD的一个Partition所使用，而wide dependency指的是多个child RDDs
王家林学院·2015-12-15 23:56

Spark Programming Guide

 RDDs原理、创建、操作RDDs(ResilientDistributedDatasets)，有两种方式可以创建RDDs：序列化一个存在的集合 valdata=Array(1,2,3,4,5) valdistData
OiteBody·2015-12-07 17:00

Spark SQL 之 Data Sources

一个DataFrame可以进行RDDs方式的操作，也可以被注册为临时表。把DataFrame注册为临时表之后，就可以对该DataFrame执行SQL查询。DataSources这部分首先描述
BYRans·2015-11-29 20:00

Spark开发指南Spark Programming Guide

   Overview   LinkingwithSpark   InitializingSpark       UsingtheShell   ResilientDistributedDatasets(RDDs
GarfieldEr007·2015-11-25 15:00

SparkSQL（一）

Spark支持两种方式将RDDs转为为SchemaRDDs：一种方法是使用反射来推断包含特定对象类型的RDD的模式（schema）；一种方法是通过编程接口来实现，这个接口允许你构造一个模式，然后在存在的
u010376788·2015-11-02 20:00

spark优化之临时目录

官方是这样说的： Directory to use for "scratch" space in Spark, including map output files and RDDs
·2015-10-31 11:05

Spark Streaming源码分析 – DStream

Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous sequence of RDDs
·2015-10-27 12:15

Spark MLlib数据类型

MLlib支持几种数据类型:本地向量(localvectors),和存储在一个简单机器中的矩阵(matrices),以及由一个或多个RDDs组成的分布式矩阵.1,本地向量(LocalVector)一个本地向量是由从
dabokele·2015-09-24 09:07

Spark MLlib数据类型

  MLlib支持几种数据类型:本地向量(localvectors),和存储在一个简单机器中的矩阵(matrices),以及由一个或多个RDDs组成的分布式矩阵.1,本地向量(LocalVector)  
dabokele·2015-09-24 09:00

Spark SQL and DataFrame Guide(1.4.1)——之DataFrames

等同于一张关系型数据库中的表或者R/Python中的dataframe，不过在底层做了很多优化；我们可以使用结构化数据文件、Hivetables，外部数据库或者RDDS来构造DataFrames。1
yijichangkong·2015-07-29 16:00

Spark流编程指引（六）-----------------------DStreams上的输出操作

尽管实际上，输出操作允许经过转换后的数据被外部系统消耗，它们也会触发执行所有DStreams上的转换操作（与RDDs上的action操作类似）。
happyAnger6·2015-07-16 15:00

Spark流编程指引（五）-----------------------------DStreams上的转换操作

与RDDs类似，转换操作允许对来自输入DStreams的数据进行修改。DStreams支持许多在通常SparkRDD上的转换操作。
happyAnger6·2015-07-08 00:00

Spark流编程指引(四)---------------------------DStreams基本模型，输入DStreams和接收者

在内部实现上，DStream代表了一系列连续的RDDs.RDDs是Spark对不可变的，分布式数据集的抽象。
happyAnger6·2015-06-29 15:00

Spark编程指引(三)-----------------RDD操作，shuffle和持久化

处理键－值对尽管Spark的大部操作支持包含所有对象类型的RDDs,但是还有一些操作只支持键－值对的的RDDs.最常见的是类似"洗牌"的操作，比如以键值来分组或聚合所有的元素。
happyAnger6·2015-06-20 21:00

Spark编程指引(一)-------------Spark的重要抽象，如何使用Spark。

RDDs可以由hadoop文件系统或者其它任何hadoop支持的文件系
happyAnger6·2015-06-14 22:00

Spark SQL demo

参考官网SparkSQL的例子——https://spark.apache.org/docs/1.2.1/sql-programming-guide.html#rdds，自己写了一个脚本:val sqlContext
周一帆·2015-05-21 20:00

【Spark八十六】Spark Streaming之DStream vs. InputDStream

Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous * sequence of RDDs
bit1129·2015-04-02 21:00

【Spark八十六】Spark Streaming之DStream vs. InputDStream

Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous * sequence of RDDs
bit1129·2015-04-02 21:00

【Spark八十六】Spark Streaming之DStream vs. InputDStream

Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous * sequence of RDDs
bit1129·2015-04-02 21:00

Spark编程指南-转

RDDs的创建可以从Hadoop文件系统（或者任何支持Hadoop的文件系统）上的一个文件开始，或者通过转换这个驱动程序中已存在的Sca
javastart·2015-02-04 08:00

Spark RDDs(弹性分布式数据集):为内存中的集群计算设计的容错抽象

本文是阅读《ResilientDistributedDatasets:AFault-TolerantAbstractionforIn-MemoryClusterComputing》过程中，抽了局部一些关注点翻译出来的文章，没有将全文都翻译。希望这些碎片化甚至不通顺的记录，可以帮助读者取代阅读原论文。论文地址http://www.cs.berkeley.edu/~matei/papers/2012/
zhongwen7710·2014-11-13 22:00

Spark编程指南

RDDs的创建可以从Hadoop文件系统（或者任何支持Hadoop的文件系统）上的一个文件开始，或者通过转换这个驱动程序中已存在的Sca
十一月不远·2014-08-20 23:00

弹性分布式数据集RDDs：基于内存的集群计算的容错性抽象

原文出处http://www.eecs.berkeley.edu/Pubs/TechRpts/2011/EECS-2011-82.pdf译文出处http://blog.sciencenet.cn/blog-425672-520947.html摘要：本文提出了弹性分布式数据集（RDD，ResilientDistributedDatasets），这是一种分布式的内存抽象，允许在大型集群上执行基于内存的
混绅士·2014-04-24 14:56

弹性分布式数据集RDDs：基于内存的集群计算的容错性抽象

原文出处 http://www.eecs.berkeley.edu/Pubs/TechRpts/2011/EECS-2011-82.pdf译文出处http://blog.sciencenet.cn/blog-425672-520947.html摘要：本文提出了弹性分布式数据集（RDD，ResilientDistributedDatasets），这是一种分布式的内存抽象，允许在大型集群上执行基于内存
混绅士·2014-04-24 14:56

【spark系列3】spark开发简单指南

分布式数据集创建之textFile    文本文件的RDDs可以通过SparkContext的textFile方法创建，该方法接受文件的URI地址（或者机器上的文件本地路径，或者一个hdfs://,sdn
sina微博_SNS程飞·2014-04-19 23:20

Spark RDDs(弹性分布式数据集):为内存中的集群计算设计的容错抽象

本文是阅读《ResilientDistributedDatasets:AFault-TolerantAbstractionforIn-MemoryClusterComputing》过程中，抽了局部一些关注点翻译出来的文章，没有将全文都翻译。希望这些碎片化甚至不通顺的记录，可以帮助读者取代阅读原论文。论文地址http://www.cs.berkeley.edu/~matei/papers/2012/
baiyangfu·2014-04-11 15:00

Spark RDDs(弹性分布式数据集):为内存中的集群计算设计的容错抽象

本文是阅读《ResilientDistributedDatasets:AFault-TolerantAbstractionforIn-MemoryClusterComputing》过程中，抽了局部一些关注点翻译出来的文章，没有将全文都翻译。希望这些碎片化甚至不通顺的记录，可以帮助读者取代阅读原论文。论文地址http://www.cs.berkeley.edu/~matei/papers/2012/
lantian0802·2014-03-29 16:00

Spark RDDs(弹性分布式数据集):为内存中的集群计算设计的容错抽象

本文是阅读《ResilientDistributedDatasets:AFault-TolerantAbstractionforIn-MemoryClusterComputing》过程中，抽了局部一些关注点翻译出来的文章，没有将全文都翻译。希望这些碎片化甚至不通顺的记录，可以帮助读者取代阅读原论文。论文地址http://www.cs.berkeley.edu/~matei/papers/2012/
zbf8441372·2013-08-15 20:00

spark overview

1、 ResilientDistributedDatasets（RDDs）Immutable,partitionedcollectionsofobjects不可变，对象分区Createdthroughparalleltransformations
jiezhu2007·2013-07-28 19:00

spark overview

1、 ResilientDistributedDatasets（RDDs）Immutable,partitionedcollectionsofobjects不可变，对象分区Createdthroughparalleltransformations
jiezhu2007·2013-07-28 19:00

spark overview

1、 ResilientDistributedDatasets（RDDs）Immutable,partitionedcollectionsofobjects不可变，对象分区Createdthroughparalleltransformations
jiezhu2007·2013-07-28 19:00
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他