E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
sparkrdd
Apache Ignite(三):核心特性之大数据处理、客户端和部署
一、Spark共享RDDApacheIgnite提供了一个
SparkRDD
抽象的实现,他允许跨越多个Spark作业时方便地在内存内共享状态,不管是在同一个应用内部还是在不同的Spark应用之间。
李玉珏
·
2015-12-29 00:00
RDD 到底是什么--(视频笔记)
4、RDD是分布式数据编程的一种抽象5、RDD的特征alistofpartitions(hdfs的一个分片就是一个partition,每个分片就是一个task;
sparkrdd
是被分区的,对于RDD来说
逸新
·
2015-12-28 19:00
Spark算子:RDD键值转换操作(2)–combineByKey、foldByKey
Spark算子:RDD键值转换操作(2)–combineByKey、foldByKey Spark
[email protected]
5个月前(07-06) 1241℃ 0评论关键字:Spark算子、
SparkRDD
江中炼
·
2015-12-21 20:00
foldByKey
Spark SQL学习
SparkSQL为我们提供了强大的数据分析能力,主要体现在以下三个方面:(1)
SparkRDD
可以通过反射推断Schema或编码指定Sche
wangqiaowqo
·
2015-12-18 13:00
spark RDD详解及源码分析
sparkRDD
详解及源码分析@(博客文章)[spark]
sparkRDD
详解及源码分析一基础一什么是RDD二RDD的适用范围三一些特性四RDD的创建1由一个已经存在的scala集合创建2由外部存储系统的数据创建五
lujinhong2
·
2015-12-14 10:00
源码
scala
spark
基于Spark实现的超大矩阵运算
由于标题强调了是在Spark平台实现的矩阵运算,所以本文会非常有针对性的介绍,甚至细节到
SparkRDD
的算子。
u010376788
·
2015-11-10 21:00
spark
矩阵运算
高效细粒度更新的RDD:Spark IndexedRDD
1.问题由来由于RDD是只读不可更改的,即
SparkRDD
的Immutable特性,如果想要更新或删除RDD里面的数据,就要遍历整个RDD进行操作,并生成一个新的RDD。
ZCF1002797280
·
2015-11-08 15:00
spark
Art
indexedrdd
Spark RDD算子源码解读
本文结合spark1.5.0的源码,简单介绍
SparkRDD
算子的功能、原理及调用接口。
tanglizhe1105
·
2015-11-02 09:00
scala
spark
RDD
RDD算子
Spark GraphX Programming Guide 编程指南
在一个高水平,GraphX通过引进一个新的图抽象扩展了
sparkRDD
:带有顶点和边属性的有向多重图。
sunbow0
·
2015-08-13 14:00
spark
GraphX
Spark SQL编程指南(Python)
它的核心是一个特殊类型的
SparkRDD
:SchemaRDD。
demigelemiao
·
2015-07-29 10:00
Spark SQL编程指南(Python)
它的核心是一个特殊类型的
SparkRDD
:SchemaRDD。
yurun
·
2015-07-29 10:00
Spark流编程指引(五)-----------------------------DStreams上的转换操作
DStreams支持许多在通常
SparkRDD
上的转换操作。
happyAnger6
·
2015-07-08 00:00
scala
hadoop
spark
spark
大数据
分布式
机器学习
Spark算子:统计RDD分区中的元素及数量
阅读更多关键字:Spark算子、
SparkRDD
分区、
SparkRDD
分区元素数量
SparkRDD
是被分区的,在生成RDD时候,一般可以指定分区的数量,如果不指定分区数量,当RDD从集合创建时候,则默认为该程序所分配到的资源的
superlxw1234
·
2015-07-06 11:00
spark
spark算子
Spark
RDD分区元素
Spark学习笔记之
SparkRDD
Spark学习笔记之
SparkRDD
一、基本概念RDD(resilientdistributeddatasets)弹性分布式数据集。
ChouYarn
·
2015-04-18 19:00
Spark RDD Action 详解---Spark学习笔记8
这次学习的是
SparkRDD
的Action部分函数。这次拿根目录下的kmeans_data.txt当数据源来实践。
u014388509
·
2014-04-04 17:00
jvm
scala
spark
RDD
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他